В последние годы, с массовым развитием информационного общества, Интернет стал ценным источником информации практически для всех потенциальных областей знаний. Это побудило многих исследователей начать рассматривать веб в качестве законного хранилища для задач информационного поиска (IR) и получения знаний.

Веб состоит из огромного количества информации, относящейся ко всем возможным областям знаний, и его высокая избыточность может стать надежным источником знаний для вычисления сходства. Поэтому системы интеллектуального анализа текстов сталкиваются с огромным количеством атрибутов.

Для обнаружения знаний в системах баз данных необходимо представить входные тексты в виде набора атрибутов, чтобы работать с ними. Метод преобразования текста в представление известен как индексирование текста или документа, а атрибуты называются индексами.

Индексирование становится критически важной задачей в текстовом анализе, поскольку оно должно представлять информацию в тексте с минимальными потерями семантики для ее дальнейшего использования. .