Алгоритм

Задача.

Результаты работы алгоритма в виде списков, организованных в порядке убывания процента совпадения, приведены здесь. Списки составлены на основе вычисления информации, содержащейся в эталонном и выбираемых для сравнения текстах с учетом значения этой информации в языковой среде.

Работа алгоритма дает удовлетворительный результат, несмотря на его недостатки.

1. Не учитываются грамматические связи слов, и весьма грубо учитываются их грамматические трансформации.
2. Не учитывается влияние контекста на смысл слов и словосочетаний.
3. Словарь (23000 слов) не проверен, выборочная проверка показывает, что в нем имеются ошибки.
4. Алгоритм анализирует весь текст как единый смысловой объект. Это некорректно. Каждый текст следовало бы разбить (соответствующей программой) на отдельные фрагменты по смысловому признаку.
5. Исследуемый массив текстов статистически недостаточен для правильного определения частот употребления слов в языке.

Субъективный фактор присутствовал на стадии составления словаря. В словарь не вошли слова:

- состоящие менее чем из 3-х букв,
- слова, поддерживающие грамматику,
- "нововведения" авторов текстов,
- узкоспециальные технические термины,
- имена собственные, не являющиеся по мнению составителя общеизвестными

1. Ввиду того, что анализ является статистическим, размер текстов не может быть очень малым (не менее 30 - 50 слов), иначе возможны ошибки.
2. Ошибки возможны при использовании "иносказаний", когда содержание излагается лексикой других тем (как это принято, например, в баснях)
3. Затрудняется анализ текстов, не содержащих основного смысла, связующего его отдельные фрагменты, или этот смысл изложен слишком кратко.