WikiDer > Обработка естественного языка - Википедия

An автоматический онлайн-помощник предоставление обслуживание клиентов на веб-странице - пример приложения, в котором обработка естественного языка является основным компонентом.^[1]

Обработка естественного языка (НЛП) является подполем лингвистика, Информатика, и искусственный интеллект связаны с взаимодействием между компьютерами и человеческим языком, в частности, как программировать компьютеры для обработки и анализа больших объемов естественный язык данные. В результате получается компьютер, способный «понимать» содержание документов, включая контекстные нюансы языка внутри них. Затем технология может точно извлекать информацию и идеи, содержащиеся в документах, а также классифицировать и систематизировать сами документы.

Проблемы при обработке естественного языка часто связаны с распознавание речи, понимание естественного языка, и генерация естественного языка.

История

Обработка естественного языка берет свое начало в 1950-х годах. Уже в 1950 г. Алан Тьюринг опубликовал статью под названием "Вычислительная техника и интеллект"который предложил то, что сейчас называется Тест Тьюринга в качестве критерия интеллекта, задача, которая включает автоматическую интерпретацию и создание естественного языка, но в то время не сформулирована как проблема, отдельная от искусственного интеллекта.

Символическое НЛП (1950-е - начало 1990-х)

Предпосылка символического НЛП хорошо резюмируется Джон Сирлс Китайская комната Эксперимент: учитывая набор правил (например, китайский разговорник с вопросами и подходящими ответами), компьютер имитирует понимание естественного языка (или другие задачи НЛП), применяя эти правила к данным, с которыми он сталкивается.

• 1950-е годы: The Джорджтаунский эксперимент в 1954 г. полностью задействованы автоматический перевод более шестидесяти русских предложений на английский язык. Авторы утверждали, что в течение трех-пяти лет машинный перевод станет решенной проблемой.^[2] Однако реальный прогресс был гораздо медленнее, и после Отчет ALPAC в 1966 году, когда выяснилось, что десятилетние исследования не оправдали ожиданий, финансирование машинного перевода резко сократилось. Небольшие дальнейшие исследования в области машинного перевода проводились до конца 1980-х годов, когда первые статистический машинный перевод системы были разработаны.
• 1960-е: Некоторые особенно успешные системы обработки естественного языка, разработанные в 1960-х годах, были ШРДЛУ, система естественного языка, работающая в ограниченном "блокирует миры"с ограниченным словарным запасом, и ELIZA, моделирование Роджерианский психотерапевт, написано Йозеф Вайценбаум между 1964 и 1966 годами. Практически не используя информации о человеческих мыслях или эмоциях, ELIZA иногда обеспечивала поразительно человеческое взаимодействие. Когда «пациент» превышает очень маленькую базу знаний, ELIZA может дать общий ответ, например, ответив на «Моя голова болит» словами «Почему вы говорите, что у вас болит голова?».
• 1970-е годы: В 1970-е годы многие программисты начали писать «концептуальные онтологии", который структурировал реальную информацию в понятные компьютеру данные. Примеры: MARGIE (Schank, 1975), SAM (Cullingford, 1978), PAM (Wilensky, 1978), TaleSpin (Meehan, 1976), QUALM (Lehnert, 1977) , Политика (Карбонелл, 1979) и Сюжетные единицы (Ленерт, 1981). болтуны были написаны (например, ПАРИРОВАТЬ).
• 1980-е: 1980-е и начало 1990-х годов знаменуют собой расцвет символических методов в НЛП. Основными направлениями того времени были исследования по синтаксическому анализу на основе правил (например, разработка HPSG как вычислительная операционализация порождающая грамматика), морфология (например, двухуровневая морфология^[3]), семантика (например, Алгоритм Леска), ссылка (например, в рамках теории центрирования^[4]) и других областях понимания естественного языка (например, в Теория риторической структуры). Были продолжены и другие направления исследований, например, разработка чаттер-ботов с Racter и Jabberwacky. Важным событием (которое в конечном итоге привело к статистическому повороту в 1990-е годы) стало растущее значение количественной оценки в этот период.^[5]

Статистическое НЛП (1990-е - 2010-е годы)

Вплоть до 1980-х годов большинство систем обработки естественного языка основывалось на сложных наборах рукописных правил. Однако, начиная с конца 1980-х, произошла революция в обработке естественного языка с появлением машинное обучение алгоритмы языковой обработки. Это было связано как с постоянным увеличением вычислительной мощности (см. Закон Мура) и постепенное уменьшение доминирования Хомский теории лингвистики (например, трансформационная грамматика), теоретические обоснования которого не поощряли корпусная лингвистика это лежит в основе подхода машинного обучения к обработке языка.^[6]

• 1990-е: Многие из первых заметных успехов статистических методов в НЛП произошли в области машинный перевод, особенно благодаря работе в IBM Research. Эти системы смогли использовать преимущества существующих многоязычных текстовые корпуса который был произведен Парламент Канады и Евросоюз в результате принятия законов, требующих перевода всех правительственных заседаний на все официальные языки соответствующих систем управления. Однако большинство других систем зависело от корпусов, специально разработанных для задач, реализуемых этими системами, что было (и часто остается) основным ограничением успеха этих систем. В результате большое количество исследований было посвящено методам более эффективного обучения на ограниченных объемах данных.
• 2000-е: С ростом Интернета с середины 1990-х годов становится доступным все больше необработанных (неаннотированных) языковых данных. Таким образом, исследования все больше сосредотачиваются на без присмотра и полу-контролируемое обучение алгоритмы. Такие алгоритмы могут учиться на данных, которые не были аннотированы вручную с желаемыми ответами, или с использованием комбинации аннотированных и неаннотированных данных. В общем, эта задача намного сложнее, чем контролируемое обучение, и обычно дает менее точные результаты для заданного количества входных данных. Однако доступно огромное количество неаннотированных данных (включая, среди прочего, все содержание Всемирная паутина), что часто может компенсировать худшие результаты, если используемый алгоритм имеет достаточно низкий временная сложность быть практичным.

Нейронное НЛП (настоящее время)

В 2010-е годы репрезентативное обучение и глубокая нейронная сетьМетоды машинного обучения в стиле машинного обучения получили широкое распространение в обработке естественного языка, отчасти из-за большого количества результатов, показывающих, что такие методы^[7][8] может достичь самых современных результатов во многих задачах естественного языка, например, в языковом моделировании,^[9] парсинг^[10][11] и много других.

Методы: правила, статистика, нейронные сети.

Раньше многие системы языковой обработки были разработаны с помощью символических методов, то есть путем ручного кодирования набора правил в сочетании с поиском по словарю:^[12][13] например, написав грамматику или разработав эвристические правила для остановка.

Более современные системы, основанные на машинное обучение Алгоритмы имеют много преимуществ перед правилами, созданными вручную:

• Процедуры обучения, используемые во время машинного обучения, автоматически сосредотачиваются на наиболее распространенных случаях, тогда как при написании правил вручную часто совсем не очевидно, на что следует направить усилия.
• В процедурах автоматического обучения могут использоваться алгоритмы статистического вывода для создания моделей, устойчивых к незнакомым входным данным (например, содержащим слова или структуры, которые ранее не встречались) и к ошибочным входным данным (например, с ошибками в написании слов или словами, случайно пропущенными). Как правило, изящная обработка такого ввода с помощью рукописных правил или, в более общем плане, создание систем рукописных правил, которые принимают мягкие решения, чрезвычайно сложно, подвержено ошибкам и требует много времени.
• Системы, основанные на автоматическом изучении правил, можно сделать более точными, просто предоставив больше входных данных. Однако системы, основанные на правилах, написанных от руки, можно сделать более точными, только увеличив сложность правил, что является гораздо более сложной задачей. В частности, существует предел сложности систем, основанных на рукописных правилах, за пределами которого системы становятся все более и более неуправляемыми. Однако создание большего количества данных для ввода в системы машинного обучения просто требует соответствующего увеличения количества отработанных человеко-часов, как правило, без значительного увеличения сложности процесса аннотации.

Несмотря на популярность машинного обучения в исследованиях НЛП, символические методы все еще широко используются (2020)

• когда объем обучающих данных недостаточен для успешного применения методов машинного обучения, например, для машинного перевода языков с низким уровнем ресурсов, таких как предоставляемые Apertium система,
• для предварительной обработки в конвейерах NLP, например, токенизация, или же
• для постобработки и преобразования вывода конвейеров NLP, например, для извлечение знаний из синтаксических разборов.

Статистические методы

Поскольку так называемая «статистическая революция»^[14][15] В конце 1980-х и середине 1990-х годов большая часть исследований в области обработки естественного языка в значительной степени опиралась на машинное обучение. Парадигма машинного обучения призывает вместо этого использовать статистические выводы автоматически изучать такие правила посредством анализа больших корпус (форма множественного числа корпус, представляет собой набор документов, возможно с человеческими или компьютерными аннотациями) типичных реальных примеров.

Многие разные классы алгоритмов машинного обучения были применены к задачам обработки естественного языка. Эти алгоритмы принимают в качестве входных данных большой набор «функций», которые генерируются из входных данных. Однако все больше исследований уделяется статистические модели, которые делают мягкими, вероятностный решения, основанные на прикреплении ценный веса для каждого входного объекта. Такие модели имеют то преимущество, что они могут выражать относительную уверенность многих различных возможных ответов, а не только одного, давая более надежные результаты, когда такая модель включается в качестве компонента более крупной системы.

Некоторые из наиболее ранних алгоритмов машинного обучения, например деревья решенийсоздал системы жестких правил «если-то», аналогичные существующим рукописным правилам. Тем не мение, теги части речи ввел использование скрытые марковские модели обработки естественного языка, и все больше исследований уделяется статистические модели, которые делают мягкими, вероятностный решения, основанные на прикреплении ценный весов к характеристикам, составляющим входные данные. В модели языка кеширования на котором многие распознавание речи Системы, которые сейчас полагаются, являются примерами таких статистических моделей. Такие модели, как правило, более надежны при вводе незнакомых входных данных, особенно входных данных, содержащих ошибки (что очень часто встречается в реальных данных), и дают более надежные результаты при интеграции в более крупную систему, состоящую из нескольких подзадач.

После нейронного поворота статистические методы в исследованиях НЛП в значительной степени были заменены нейронными сетями. Однако они по-прежнему актуальны для контекстов, в которых требуется статистическая интерпретируемость и прозрачность.

Нейронные сети

Главный недостаток статистических методов состоит в том, что они требуют сложной разработки функций. С начала 2010-х гг.^[16] Таким образом, эта область в значительной степени отказалась от статистических методов и переключилась на нейронные сети для машинного обучения. Популярные техники включают использование вложения слов для захвата семантических свойств слов и увеличения сквозного обучения задач более высокого уровня (например, ответов на вопросы) вместо того, чтобы полагаться на конвейер отдельных промежуточных задач (например, тегирование части речи и зависимость парсинг). В некоторых областях этот сдвиг повлек за собой существенные изменения в том, как проектируются системы НЛП, так что подходы, основанные на глубоких нейронных сетях, можно рассматривать как новую парадигму, отличную от статистической обработки естественного языка. Например, термин нейронный машинный перевод (NMT) подчеркивает тот факт, что подходы к машинному переводу, основанные на глубоком обучении, непосредственно учат от последовательности к последовательности преобразований, устраняя необходимость в промежуточных шагах, таких как выравнивание слов и моделирование языка, которые использовались в статистический машинный перевод (SMT).

Общие задачи НЛП

Ниже приведен список некоторых из наиболее часто исследуемых задач обработки естественного языка. Некоторые из этих задач имеют непосредственное реальное применение, в то время как другие чаще служат подзадачами, которые используются для помощи в решении более крупных задач.

Хотя задачи обработки естественного языка тесно взаимосвязаны, для удобства их можно разделить на категории. Ниже приводится приблизительное деление.

Обработка текста и речи

Оптическое распознавание символов (OCR)

Учитывая изображение, представляющее печатный текст, определите соответствующий текст.

Распознавание речи

Учитывая звуковой фрагмент речи человека или людей, определите текстовое представление речи. Это противоположность текст в речь и является одной из чрезвычайно сложных проблем, которую в просторечии называют "AI-полный"(см. выше). В естественная речь между последовательными словами почти не бывает пауз, и поэтому сегментация речи является необходимой подзадачей распознавания речи (см. ниже). В большинстве разговорных языков звуки, представляющие собой последовательные буквы, сливаются друг с другом в процессе, называемом коартикуляция, поэтому преобразование аналоговый сигнал для дискретных персонажей может быть очень сложный процесс. Кроме того, учитывая, что слова на одном языке произносятся людьми с разными акцентами, программное обеспечение для распознавания речи должно быть способно распознавать большое количество вводимых данных как идентичные друг другу с точки зрения их текстового эквивалента.

Сегментация речи

Учитывая звуковой фрагмент речи человека или людей, разделите его на слова. Подзадача распознавание речи и обычно сгруппированы вместе с ним.

Текст в речь

Для данного текста трансформируйте эти единицы и создайте речевое представление. Синтез речи может быть использован для помощи слабовидящим.^[17]

Сегментация слов (Токенизация)

Разделите кусок непрерывного текста на отдельные слова. Для такого языка, как английский, это довольно тривиально, поскольку слова обычно разделяются пробелами. Однако некоторые письменные языки, такие как Китайский, Японский и Тайский не отмечайте границы слов таким образом, и на этих языках сегментация текста является важной задачей, требующей знания словарный запас и морфология слов в языке. Иногда этот процесс также используется в таких случаях, как мешок слов (BOW) создание в интеллектуальном анализе данных.

Морфологический анализ

Лемматизация

Задача удаления только флективных окончаний и возврата базовой словарной формы слова, также известной как лемма.

Морфологическая сегментация

Разделяйте слова на отдельные морфемы и определить класс морфем. Сложность этой задачи во многом зависит от сложности морфология (т.е., структура слов) рассматриваемого языка. английский имеет довольно простую морфологию, особенно флективная морфология, и поэтому часто можно полностью игнорировать эту задачу и просто моделировать все возможные формы слова (например, "открыть, открыть, открыть, открыть") отдельными словами. На таких языках, как турецкий или же Meitei,^[18] очень агглютинированный Однако в индийском языке такой подход невозможен, поскольку каждая словарная статья имеет тысячи возможных словоформ.

Пометка части речи

Учитывая предложение, определите часть речи (POS) для каждого слова. Многие слова, особенно общие, могут служить несколькими части речи. Например, «книга» может быть имя существительное («книга на столе») или глагол («забронировать рейс»); "набор" может быть имя существительное, глагол или же прилагательное; и «out» может быть любой из пяти разных частей речи. В некоторых языках такой двусмысленности больше, чем в других.^{[сомнительный – обсуждать]} Языки с небольшим флективная морфология, Такие как английский, особенно подвержены такой двусмысленности. Китайский склонен к такой двусмысленности, потому что это тональный язык во время вербализации. Такое перегибание нелегко передать через объекты, используемые в орфографии для передачи предполагаемого значения.

Стемминг

Процесс приведения флективных (или иногда производных) слов к их корневой форме. (например, "close" будет корнем для "closed", "close", "close", "close" и т. д.).

Синтаксический анализ

Введение в грамматику^[19]

Создать формальная грамматика который описывает синтаксис языка.

Нарушение приговора (также известный как "неоднозначность границы предложения")

Для фрагмента текста найдите границы предложения. Границы предложений часто обозначаются периоды или другой знаки препинания, но эти же символы могут служить другим целям (например, маркировка сокращения).

Парсинг

Определить дерево синтаксического анализа (грамматический анализ) данного предложения. В грамматика за естественные языки является двусмысленный и типичные предложения имеют несколько возможных анализов: возможно, что удивительно, для типичного предложения могут быть тысячи потенциальных синтаксических разборов (большинство из которых покажутся совершенно бессмысленными для человека). Есть два основных типа синтаксического анализа: анализ зависимостей и анализ избирательного округа. Анализ зависимостей фокусируется на отношениях между словами в предложении (отмечая такие вещи, как первичные объекты и предикаты), тогда как синтаксический анализ избирательных округов фокусируется на построении дерева синтаксического анализа с использованием вероятностная контекстно-свободная грамматика (PCFG) (см. Также стохастическая грамматика).

Лексическая семантика (отдельных слов в контексте)

Лексическая семантика

Каково вычислительное значение отдельных слов в контексте?

Распределительная семантика

Как мы можем узнать семантические представления из данных?

Признание именной организации (NER)

Учитывая поток текста, определите, какие элементы в тексте соответствуют именам собственным, таким как люди или места, и каков тип каждого такого имени (например, человек, местоположение, организация). Несмотря на то что заглавные буквы может помочь в распознавании именованных сущностей на таких языках, как английский, эта информация не может помочь в определении типа именованных сущностей и, в любом случае, часто является неточной или недостаточной. Например, первая буква предложения также пишется с заглавной буквы, а названные объекты часто охватывают несколько слов, только некоторые из которых пишутся с заглавной буквы. Кроме того, многие другие языки в незападных шрифтах (например, Китайский или же арабский) вообще не имеют заглавных букв, и даже языки с заглавными буквами могут не всегда использовать их для различения имен. Например, Немецкий капитализирует все существительные, независимо от того, являются ли они именами, и Французский и испанский не пишите заглавными буквами имена, которые служат прилагательные.

Анализ настроений (смотрите также мультимодальный анализ настроений)

Обычно извлекают субъективную информацию из набора документов, часто используя онлайн-обзоры для определения «полярности» в отношении конкретных объектов. Это особенно полезно для выявления тенденций общественного мнения в социальных сетях, для маркетинга.

Извлечение терминологии

Целью извлечения терминологии является автоматическое извлечение релевантных терминов из заданного корпуса.

Устранение неоднозначности смысла слова

Многие слова имеют более одного смысл; мы должны выбрать значение, которое имеет наибольший смысл в контексте. Для этой задачи нам обычно дается список слов и связанных смыслов слов, например из словаря или онлайн-ресурса, например WordNet.

Реляционная семантика (семантика отдельных предложений)

Извлечение отношений

Учитывая кусок текста, определите отношения между названными объектами (например, кто с кем женат).

Семантический анализ

Для данного фрагмента текста (обычно предложения) создайте формальное представление его семантики в виде графа (например, в Анализ AMR) или в соответствии с логическим формализмом (например, в Разбор DRT). Эта задача обычно включает аспекты нескольких более элементарных задач НЛП из семантики (например, обозначение семантических ролей, устранение неоднозначности смысла слов) и может быть расширена, чтобы включить полноценный анализ дискурса (например, анализ дискурса, кореферентность; см. Понимание естественного языка ниже).

Маркировка семантических ролей (см. также неявное обозначение семантических ролей ниже)

Для одного предложения определите и устраните неоднозначность семантических предикатов (например, словесные кадры), затем определите и классифицируйте элементы каркаса (семантические роли).

Дискурс (семантика за пределами отдельных предложений)

Разрешение Coreference

Учитывая предложение или более крупный фрагмент текста, определите, какие слова («упоминания») относятся к одним и тем же объектам («сущностям»). Разрешение анафоры является конкретным примером этой задачи и конкретно касается сопоставления местоимения с существительными или именами, к которым они относятся. Более общая задача разрешения кореферентности также включает в себя определение так называемых «мостовых отношений», включающих ссылающиеся выражения. Например, в таком предложении, как «Он вошел в дом Джона через парадную дверь», «входная дверь» является отсылающим выражением, а связующее отношение, которое необходимо идентифицировать, - это тот факт, что упоминаемая дверь является входной дверью дома Джона. дом (а не какое-то другое строение, о котором также можно было бы упомянуть).

Анализ речи

В эту рубрику входит несколько связанных задач. Одна из задач - разбор дискурса, т. Е. Определение дискурс структура связного текста, то есть характер дискурсивных отношений между предложениями (например, проработка, объяснение, контраст). Другая возможная задача - распознать и классифицировать речевые акты в фрагменте текста (например, вопрос типа да-нет, вопрос содержания, утверждение, утверждение и т. д.).

Неявное обозначение семантических ролей

Для одного предложения определите и устраните неоднозначность семантических предикатов (например, словесные кадры) и их явные семантические роли в текущем предложении (см. Обозначение семантических ролей выше). Затем определите семантические роли, которые явно не реализованы в текущем предложении, классифицируйте их на аргументы, которые явно реализованы в другом месте текста, и те, которые не указаны, и сопоставьте первые с локальным текстом. Тесно связанная с этим задача - нулевое разрешение анафоры, то есть расширение разрешения кореферентности до языки pro-drop.

Распознавание текстового следования

Учитывая два фрагмента текста, определите, влечет ли истинность одного из них другой, влечет ли за собой отрицание другого или позволяет другому быть истинным или ложным.^[20]

Тематическая сегментация и признание

Получив кусок текста, разделите его на сегменты, каждый из которых посвящен определенной теме, и определите тему сегмента.

Приложения высокого уровня НЛП

Автоматическое суммирование (резюме текста)

Создайте читабельное резюме фрагмента текста. Часто используется для краткого изложения текста известного типа, такого как исследовательские работы, статьи в финансовом разделе газеты.

Книжное поколение

Не собственно задача НЛП, а расширение Естественного языка и других задач НЛП - создание полноценных книг. Первая книга, созданная машиной, была создана системой, основанной на правилах, в 1984 г. (Racter, Борода полицейского наполовину построена).^[21] Первая опубликованная работа нейронной сети была опубликована в 2018 году, 1 Дорога, продаваемый как роман, содержит шестьдесят миллионов слов. Обе эти системы в основном сложные, но бессмысленные (без семантики). языковые модели. Первая научная книга, созданная с помощью машин, была опубликована в 2019 году (Beta Writer, Литий-ионные батареи, Спрингер, Чам).^[22] В отличие от Racter и 1 Дорога, это основано на фактических данных и резюмировании текста.

Управление диалогом

Компьютерные системы, предназначенные для общения с человеком.

Документ AI

Платформа Document AI находится на вершине технологии NLP, позволяя пользователям, не имеющим опыта работы с искусственным интеллектом, машинным обучением или NLP, быстро обучать компьютер извлекать конкретные данные, которые им нужны, из различных типов документов. Document AI на основе NLP позволяет нетехническим командам быстро получать доступ к информации, скрытой в документах, например, юристам, бизнес-аналитикам и бухгалтерам.

Машинный перевод

Автоматический перевод текста с одного человеческого языка на другой. Это одна из самых сложных проблем, и она принадлежит к классу проблем, которые в просторечии называют "AI-полный", т. е. требуя правильного решения всех различных типов знаний, которыми обладают люди (грамматика, семантика, факты о реальном мире и т. д.).

Генерация естественного языка (NLG):

Преобразование информации из компьютерных баз данных или семантических намерений в читаемый человеческий язык.

Понимание естественного языка (NLU)

Преобразование фрагментов текста в более формальные представления, например логика первого порядка конструкции, которые легче компьютер программы для манипулирования. Понимание естественного языка включает в себя идентификацию предполагаемой семантики из множества возможных семантик, которые могут быть получены из выражения естественного языка, которое обычно принимает форму организованных обозначений понятий естественного языка. Введение и создание языковой метамодели и онтологии - эффективные, однако эмпирические решения. Явная формализация семантики естественного языка без путаницы с неявными предположениями, такими как предположение о замкнутом мире (CWA) vs. предположение об открытом мире, или субъективное Да / Нет против объективного Истина / Ложь ожидается для построения основы формализации семантики.^[23]

Ответ на вопрос

Если задан вопрос на человеческом языке, определите ответ. Типичные вопросы имеют конкретный правильный ответ (например, «Какая столица Канады?»), Но иногда также рассматриваются открытые вопросы (например, «В чем смысл жизни?»). В последних работах рассматриваются еще более сложные вопросы.^[24]

Познание и НЛП

Познание относится к «умственному действию или процессу приобретения знания и понимания через мысль, опыт и чувства».^[25] Наука о мышлении это междисциплинарное научное исследование разума и его процессов.^[26] Когнитивная лингвистика это междисциплинарный раздел лингвистики, сочетающий знания и исследования как из психологии, так и из лингвистики.^[27] Джордж Лакофф предлагает методологию построения алгоритмов обработки естественного языка (NLP) с точки зрения Наука о мышлении, наряду с выводами Когнитивная лингвистика:^[28]

Первым определяющим аспектом этой когнитивной задачи НЛП является применение теории Концептуальная метафора, объясненный Лакоффом как «понимание одной идеи с точки зрения другой», которая дает представление о намерениях автора.^[29]

Например, рассмотрим некоторые значения слова на английском языке "большой". При использовании в качестве Сравнительная степень, как в «Это большое дерево», вероятный вывод о намерениях автора состоит в том, что автор использует слово "большой" подразумевать утверждение о том, что дерево "Физически большой" по сравнению с другими деревьями или опытом авторов. При использовании в качестве Статический глагол, как в «Завтра большой день», вероятный вывод о намерениях автора "большой" используется для обозначения «Важность». Эти примеры представлены не для того, чтобы быть полными, а просто как индикаторы значения идеи Концептуальная метафора. Намерение, стоящее за другими использованиями, например в "Она большой человек" останется несколько двусмысленным как для человека, так и для когнитивного алгоритма НЛП без дополнительной информации.

Это приводит ко второму определяющему аспекту этой когнитивной задачи НЛП, а именно: Вероятностная контекстно-свободная грамматика (PCFG), который позволяет когнитивным алгоритмам НЛП присваивать относительные меры значения слову, фразе, предложению или фрагменту текста на основе информации, представленной до и после анализируемого фрагмента текста. Математическое уравнение для таких алгоритмов представлено в Патент США 9269353 :

${ displaystyle {RMM (token_ {N})} = {PMM (token_ {N})} times { frac {1} {2d}} left ( sum _ {i = -d} ^ {d} {((PMM (токен_ {N-1})} times {PF (токен_ {N}, токен_ {N-1})) _ {i}} right)}$

Где,
     RMM, является относительной мерой значения
     жетон, это любой блок текста, предложения, фразы или слова
     N, это количество анализируемых токенов
     PMM, - вероятная мера значения, основанная на корпусе
     d, - расположение токена в последовательности N-1 жетоны
     ПФ, является функцией вероятности, специфичной для языка

Смотрите также

Рекомендации

дальнейшее чтение

Викискладе есть медиафайлы по теме Обработка естественного языка.