Анализатор текстов, Частотный, семантический анализ текстов Опции

[ProtasSoft]

Коллеги, есть ли какие-нибудь исходники по обработке текстовых файлов.
Обработка блоков тестков разделенных набором символов.
Поиск слов (словосочетаний) в этих блоках. Подсчет частоты встречаемости.
Работа с лексемами и т.д.
Жду Ваших предложений

[volvo]

Я не знаю, что именно ты задумывал в этой программе, и какие у тебя были файлы данных, но с моими файлами она в 2-х местах входила в бесконечный цикл:
1) в процедуре file_preprocess замени

 while not eof (f) do
   begin {1}

на

 while not seekeof (f) do
   begin {1}

2)

 while j<=i do begin {2}
      if bufer[j]<>'' then begin {3}
             stroka:=bufer[j];
             for k:=1 to i do begin {4}
                    if stroka=bufer[k] then begin

                                bufer[k]:='';
                                inc(schetchik);

                    end;
                    write (voc,stroka);write (voc,' -+- ');
                    write (voc,schetchik); writeln(voc);
             end;  {4}
      end; {3}

      inc(j);  { <--- !!! Увеличиваем J !!! --- }

 end; {2}

без отмеченной строчки будет выполняться очень долго, так что увеличение j все-таки добавь...