WikiDer > Матрица документов-терминов
 | Эта статья не цитировать любой источники. (Декабрь 2009 г.) (Узнайте, как и когда удалить этот шаблон сообщения) |
А матрица документов-терминов или же термодокументная матрица математический матрица который описывает частоту употребления терминов в коллекции документов. В матрице документ-термин строки соответствуют документам в коллекции, а столбцы - терминам. Существуют различные схемы определения значения, которое должна принимать каждая запись в матрице. Одна из таких схем tf-idf. Они полезны в области обработка естественного языка.
Общая концепция
При создании базы данных термины которые появляются в наборе документы матрица документ-термин содержит строки, соответствующие документам, и столбцы, соответствующие терминам. Например, если у вас есть два (коротких) документа:
- D1 = "Мне нравятся базы данных"
- D2 = "Мне не нравятся базы данных",
тогда матрица документ-термин будет:
| я | подобно | не нравится | базы данных | |
|---|---|---|---|---|
| D1 | 1 | 1 | 0 | 1 |
| D2 | 1 | 0 | 1 | 1 |
который показывает, какие документы содержат какие термины и сколько раз они встречаются.
Обратите внимание, что можно использовать более сложные веса; одним из типичных примеров, среди прочего, может быть tf-idf.
Выбор условий
С точки зрения матрицы, каждая строка представляет собой документ. в векторная семантическая модель, который обычно используется для вычисления матрицы «документ-термин», цель состоит в том, чтобы представить тему документа по частоте встречаемости семантически значимых терминов. Термины являются смысловыми единицами документов. Часто предполагается, что Индоевропейские языки, что существительные, глаголы и прилагательные являются более значимыми категории, и что слова из этих категорий следует сохранить как термины. Добавление словосочетание как термины улучшает качество векторов, особенно при вычислении сходства между документами.
Приложения
Улучшение результатов поиска
Скрытый семантический анализ (LSA, выполнение сингулярное разложение в матрице "документ-термин") может улучшить результаты поиска за счет устранение неоднозначности многозначные слова и поиск синонимы запроса. Однако поиск в многомерном непрерывном пространстве намного медленнее, чем поиск в стандартном три структура данных поисковых систем.
Поиск тем
Многомерный анализ матрицы «документ-термин» может раскрывать темы / темы корпуса. Конкретно, латентно-семантический анализ и кластеризация данных можно использовать, а в последнее время вероятностный латентно-семантический анализ и неотрицательная матричная факторизация было установлено, что они хорошо справляются с этой задачей.
Смотрите также
Реализации
- Gensim: Фреймворк Python с открытым исходным кодом для моделирования векторного пространства. Содержит алгоритмы с эффективным использованием памяти для построения матриц терминов-документов из текста и общих преобразований (tf-idf, LSA, LDA).
 | Этот искусственный интеллект-связанная статья является заглушка. Вы можете помочь Википедии расширяя это. |