Работа с текстовыми файлами, Удаление повторяющихся слов из файла Опции

[dened]

Суть задачи такая.
Нужно удалить из текстового файла повторяющиеся слова. Причем текстовый файл очень большой, порядка 200 000 строк и повторяющихся слов там тоже очень много
Пример
мама
папа
мама
бабушка
дед
мама
Результат должен быть
мама
папа
бабушка
дед

Может это уже решалось здесь, но честное слово искал около часа. Находил тока работу с символами. Хотя может это и почти одно и тоже.

[dened]

Мой пример кода, как и говорил volvo работает офигеть, как долго

Uses Crt;

Var
    s,st:string;
    f1,f2:text;
    x:INTEGER;
    label a;
Begin

 assign(f1,'C:\Pascal\zadachi\pere-ka\words2.txt');reset(f1);
 assign(f2,'C:\Pascal\zadachi\pere-ka\words3.txt');

 while not eof(f1) do
    begin
        while not eoln(f1) do
          begin
               read(f1,s);{Читаем слово из первого файла}
          end;
        readln(f1);
        reset(f2);
        while not eof(f2) do
             begin
               while not eoln(f2) do
                    begin
                        read(f2,st); {Читаем слова из второго файла}
                        if s=st then {Проверяем, есть ли совпадения}
                                    begin
                                        inc(x);
                                        goto a;
                                    end;
                    end;
                    readln(f2);
             end;
             a:
             append(f2);
             if x=0 then writeln(f2,s);{если совпадения не было,
                                       записываем слово во второй файл (f2)}
             x:=0;
    end;
    close(f1);
    close(f2);
end.

Поэтому буду разбиратся с динамическими структурами.

Зы: по поводу словаря. как упорядочить слова в словаре? по буквам?
пока тока идея попробывать с преобразованием букв в числа, и по этому методу упорядочить.

ЗЗЫ: to volvo. есть одна загвоздка, слова все русские, то есть написаны на киррилице. и поэтому массив [A..Z] не очень пригодится а массив [А..Я] не работает

Сообщение отредактировано: dened - 1.05.2007 19:08