Анализатор текстов, Частотный, семантический анализ текстов Опции

[ProtasSoft]

Коллеги, есть ли какие-нибудь исходники по обработке текстовых файлов.
Обработка блоков тестков разделенных набором символов.
Поиск слов (словосочетаний) в этих блоках. Подсчет частоты встречаемости.
Работа с лексемами и т.д.
Жду Ваших предложений

[ProtasSoft]

все компилируется, но результата нет.
подскажите где проблема

program RFP;
const
  source='data.txt';
  file2='filt2.txt';
  vocab='vocabul.txt';

procedure file_preprocess(file1_,file2_:string);
var
  f,res:text;
  symb:char;

begin {0}

 assign (f,file1_);
 reset(f);

 assign (res,file2_);
 rewrite (res);

 while not eof (f) do
   begin {1}

        while not eoln do
            begin {2}

                  read (f,symb);

                  if symb<>' ' then write (res, symb)
                     else write (res,CHR(13));

            end;  {2}

   end; {1}
close (f);
close (res);
end;  {0}


{===========================================================}
{     Выделение всех уникальных элементов в массиве         }
{          (создание частотного словаря текста)             }
{===========================================================}

procedure create_vocabulary (file1_:string);


var
  bufer: array[1..10000] of string;
  stroka: string;
  f,voc: text;
  schetchik,i,j,k:integer;

begin

 file_preprocess(file1_,file2);

 i:=0;
 assign (f,file2);
 reset(f);
 assign (voc,vocab);
 rewrite(voc);

 while not eof (f) do
   begin {1}
         inc(i);
      readln (f,bufer[i]);

   end;  {1}

 j:=1;

 while j<=i do
   begin {2}
      if bufer[j]<>'' then
           begin {3}
             stroka:=bufer[j];
             for k:=1 to i do
                begin {4}
                    if stroka=bufer[k] then
                          begin

                                bufer[k]:='';
                                inc(schetchik);

                          end;
                     write (voc,stroka);write (voc,' -+- ');
                     write (voc,schetchik); writeln(voc);
                end;  {4}
           end; {3}
   end; {2}



 erase (f);
 close (voc);

end;

begin

create_vocabulary (source);
end.