WikiDer > Структура лексической разметки

Lexical Markup Framework

Управление языковыми ресурсами - структура лексической разметки (LMF; ISO 24613: 2008), является ISO Международная организация по стандартизации ISO / TC37 стандарт для обработка естественного языка (НЛП) и машиночитаемый словарь (MRD) лексиконы.[1]Объем стандартизация принципов и методов, касающихся языковых ресурсов в контексте многоязычного общения.

Цели

Цели LMF - предоставить общую модель для создания и использования лексические ресурсыдля управления обменом данными между этими ресурсами и для обеспечения возможности объединения большого количества отдельных электронных ресурсов для формирования обширных глобальных электронных ресурсов.

Типы индивидуальных экземпляров LMF могут включать одноязычные, двуязычные или многоязычные лексические ресурсы. Одни и те же спецификации должны использоваться как для малых, так и для больших лексиконов, как для простых, так и для сложных лексиконов, как для письменных, так и для устных лексических представлений. Описание варьируется от морфология, синтаксис, вычислительная семантика к компьютерный перевод. Охватываемые языки не ограничиваются Европейские языки но покрыть все естественные языки. Спектр целевого НЛП Приложения не ограничен. LMF может представлять большинство лексиконов, включая WordNet, Лексиконы EDR и PAROLE.

История

В прошлом стандартизация лексики изучалась и развивалась рядом проектов, таких как GENELEX, EDR, EAGLES, MULTEXT, PAROLE, SIMPLE и ISLE. Затем ISO / TC37 Национальные делегации решили обратиться к стандартам, посвященным НЛП и лексикону. Работа над LMF началась летом 2003 года с предложения нового рабочего элемента, опубликованного делегацией США. Осенью 2003 г. французская делегация представила техническое предложение на модель данных посвящен лексиконам НЛП. В начале 2004 года комитет ISO / TC37 решил сформировать общий проект ISO с Николеттой Кальцолари (CNR-ILC Италия) в качестве организатора и Жиль Франкопуло (Tagmatica France) и Monte George (ANSI США) в качестве редакторов. Первым шагом в разработке LMF было создание общей структуры, основанной на общих характеристиках существующих лексиконов, и разработка согласованной терминологии для описания компонентов этих лексиконов. Следующим шагом было собственно создание всеобъемлющей модели, которая лучше всего представляла все лексиконы в деталях. Большая группа из 60 экспертов представила широкий спектр требований к LMF, охватывающих многие типы лексиконов НЛП. Редакторы LMF работали в тесном сотрудничестве с группой экспертов, чтобы определить лучшие решения и прийти к консенсусу по дизайну LMF. Особое внимание было уделено морфологии, чтобы предоставить мощные механизмы для решения проблем на нескольких языках, которые были известны как сложные для решения. 13 версий были написаны, разосланы (назначенным национальными экспертами), прокомментированы и обсуждены в ходе различных технических встреч ISO. После пяти лет работы, включая многочисленные личные встречи и обмен электронной почтой, редакторы пришли к согласованной модели UML. В заключение, LMF следует рассматривать как синтез современного уровня в области лексики НЛП.

Текущий этап

Номер ISO - 24613. Спецификация LMF была официально опубликована как международный стандарт 17 ноября 2008 года.

Как один из членов семейства стандартов ISO / TC37

Стандарты ISO / TC37 в настоящее время разработаны на высоком уровне. технические характеристики и разобраться с сегментация слов (ISO 24614), аннотации (ISO 24611 a.k.a. MAF, ISO 24612 a.k.a. LAF, ISO 24615 a.k.a. SynAF, и ISO 24617-1 a.k.a. SemAF / Time), структуры функций (ISO 24610), мультимедийные контейнеры (ISO 24616 a.k.a. MLIF) и лексиконы (ISO 24613), Эти стандарты основаны на спецификациях низкого уровня, посвященных константам, а именно категориям данных (пересмотр ISO 12620), языковые коды (ISO 639), коды скриптов (ISO 15924), коды стран (ISO 3166) и Unicode (ISO 10646).

Двухуровневая организация образует последовательную семью стандартов со следующими общими и простыми правилами:

  • спецификация высокого уровня предоставляет структурные элементы, которые украшены стандартизованными константами;
  • спецификации низкого уровня предоставляют стандартизованные константы в виде метаданных.

Ключевые стандарты

Лингвистические константы, такие как / женский / или / транзитивный /, не определены в LMF, но записаны в Реестре категорий данных (DCR), который поддерживается в качестве глобального ресурса ISO / TC37 в соответствии с ISO / IEC 11179-3: 2003.[2] И эти константы используются для украшения структурных элементов высокого уровня.

Спецификация LMF соответствует принципам моделирования Единый язык моделирования (UML), как определено Группа управления объектами (О, МОЙ БОГ). Структура задается с помощью класса UML диаграммы. Примеры представлены с помощью диаграмм экземпляров (или объектов) UML.

XML DTD приведен в приложении к документу LMF.

Структура модели

LMF состоит из следующих компонентов:

  • Базовый пакет, который представляет собой структурный каркас, который описывает базовую иерархию информации в лексической статье.
  • Расширения основного пакета, которые выражены в структуре, описывающей повторное использование основных компонентов в сочетании с дополнительными компонентами, необходимыми для конкретного лексического ресурса.

Расширения специально предназначены для морфология, MRD, НЛП синтаксис, НЛП семантика, НЛП многоязычные обозначения, НЛП морфологические узоры, многословное выражение узоры, и выражение ограничения узоры.

пример

В следующем примере лексическая статья связана с леммой священник и две наклонные формы священник и священнослужители. Языковая кодировка устанавливается для всего лексического ресурса. Значение языка устанавливается для всего словаря, как показано ниже. UML пример диаграмма.

LMFMorphoClergymanInflected.svg

Элементы Лексический ресурс, Глобальная информация, Лексикон, Лексическая запись, Лемма, и Форма слова определить структуру лексики. Они указаны в документе LMF. languageCoding, язык, часть речи, имя нарицательное, WrittenForm, grammaticalNumber, единственное число, множественное число - это категории данных, взятые из реестра категорий данных. Эти знаки украшают конструкцию. Ценности ISO 639-3, священник, священнослужители представляют собой простые символьные строки. Значение eng берется из списка языков, как определено ISO 639-3.

С некоторой дополнительной информацией, например dtdVersion и подвиг, эти же данные можно выразить следующими XML фрагмент:

 dtdVersion ="15">    <GlobalInformation>        <подвиг att ="languageCoding" val =«ИСО 639-3»/>    </GlobalInformation>    <Lexicon>        <подвиг att ="язык" val ="анг"/>        <LexicalEntry>            <подвиг att ="часть речи" val ="имя нарицательное"/>            <Lemma>                <подвиг att ="WrittenForm" val ="священнослужитель"/>            </Lemma>            <WordForm>                 <подвиг att ="WrittenForm" val ="священнослужитель"/>                 <подвиг att ="grammaticalNumber" val ="единственное число"/>            </WordForm>            <WordForm>                <подвиг att ="WrittenForm" val ="священнослужители"/>                <подвиг att ="grammaticalNumber" val ="множественное число"/>            </WordForm>        </LexicalEntry>    </Lexicon></LexicalResource>

Этот пример довольно прост, в то время как LMF может представлять гораздо более сложные лингвистические описания, теги XML соответственно сложны.

Избранные публикации о LMF

Первая публикация о спецификации LMF, ратифицированная ISO (этот документ стал (в 2015 г.) 9-м по цитируемости в Языковые ресурсы и оценка конференции из статей LREC):

  • Языковые ресурсы и оценка LREC-2006 / Генуя: Хиль Франкопуло, Монте Джордж, Николетта Кальцолари, Моника Монакини, Нурия Бел, Мэнди Пет, Клаудиа Сориа: структура лексической разметки (LMF) [3]

О семантическом представлении:

  • Gesellschaft für linguistische Datenverarbeitung GLDV-2007 / Tübingen: Gil Francopoulo, Nuria Bel, Monte George Nicoletta Calzolari, Monica Monachini, Mandy Pet, Claudia Soria: Lexical Markup Framework Стандарт ISO для семантической информации в лексиконах НЛП [4]

Об африканских языках:

  • Traitement Automatique des langues naturelles, Марсель, 2014 г .: Мухамаду Куле, Мухамад Ндианко Тиам, Эль-Хадж Мамаду Нгуер: к созданию лексики языка волоф на основе LMF (Vers la mise en place d'un lexique basé sur LMF pour la langue wol ) [На французском][5]

Об азиатских языках:

  • Lexicography, Journal of ASIALEX, Springer 2014: Lexical Markup Framework: Gil Francopoulo, Chu-Ren Huang: Стандарт ISO для электронных лексиконов и его значение для азиатских языков DOI 10.1007 / s40607-014-0006-z

О европейских языках:

  • COLING 2010: Верена Хенрих, Эрхард Хинрихс: Стандартизация Wordnet в стандарте ISO LMF: Wordnet-LMF для GermaNet [6]
  • EACL 2012: Джудит Экл-Колер, Ирина Гуревич: Subcat-LMF: конкретизирует стандартизированный формат для взаимодействия фреймов подкатегории [7]
  • EACL 2012: Ирина Гуревич, Джудит Экл-Колер, Сильвана Хартманн, Майкл Матушек, Кристиан М. Мейер, Кристиан Вирт: UBY - крупномасштабный унифицированный лексико-семантический ресурс на основе LMF.[8]

О семитских языках:

  • Журнал инженерии естественного языка, Cambridge University Press (появится весной 2015 г.): Aida Khemakhem, Bilel Gargouri, Abdelmajid Ben Hamadou, Gil Francopoulo: Стандартное моделирование ISO большого арабского словаря.
  • Материалы седьмой Глобальной конференции Wordnet 2014: Надя Б. М. Кармани, Хсан Сусу, Адель М. Алими: Создание стандартизированной Wordnet в ISO LMF для языка aeb.[9]
  • Материалы семинара: HLT и NLP в арабском мире, LREC 2008: Нуреддин Лукил, Кайс Хаддар, Абдельмаджид Бен Хамаду: К синтаксическому лексикону арабских глаголов.[10]
  • Traitement Automatique des Langues Naturelles, Тулуза (на французском языке) 2007: Khemakhem A, Gargouri B, Abdelwahed A, Francopoulo G: Modélisation des paradigmes de flexion des verbes arabes selon la norme LMF-ISO 24613.[11]

Специальная книга

В 2013 году вышла книга: Структура лексической разметки LMF[12] который полностью посвящен LMF. Первая глава посвящена истории моделей лексики, вторая глава представляет собой формальное представление модели данных, а третья посвящена связи с категориями данных ISO-DCR. Остальные 14 глав посвящены лексикону или системе гражданского или военного назначения в рамках научно-исследовательских лабораторий или для промышленного применения. Это Wordnet-LMF, Prolmf, DUELME, UBY-LMF, LG-LMF, RELISH, GlobalAtlas (или Global Atlas) и Wordscape.

Связанные научные сообщения

Смотрите также

Рекомендации

  1. ^ «ISO 24613: 2008 - Управление языковыми ресурсами - Структура лексической разметки (LMF)». Iso.org. Получено 2016-01-24.
  2. ^ а б «Актуальность стандартов для исследовательских инфраструктур» (PDF). Hal.inria.fr. Получено 2016-01-24.
  3. ^ «Структура лексической разметки (LMF)» (PDF). Hal.inria.fr. Получено 2016-01-24.
  4. ^ «Структура лексической разметки (LMF) для многоязычных ресурсов NLP» (PDF). Hal.inria.fr. Получено 2016-01-24.
  5. ^ "Vers la mise en place d'un lexique basé sur LMF pour la langue wolof" (PDF). Aclweb.org. Получено 2016-01-24.
  6. ^ «Стандартизация Wordnet в стандарте ISO LMF: Wordnet-LMF для GermaNet» (PDF). Aclweb.org. Получено 2016-01-24.
  7. ^ «Subcat-LMF: конкретизация стандартизированного формата для взаимодействия кадра подкатегории» (PDF). Aclweb.org. Получено 2016-01-24.
  8. ^ «UBY - масштабный унифицированный лексико-семантический ресурс на основе LMF» (PDF). Aclweb.org. Получено 2016-01-24.
  9. ^ «Создание стандартизированной сети Wordnet в ISO LMF для языка aeb» (PDF). Aclweb.org. Получено 2016-01-24.
  10. ^ «Труды LREC 2008». Lrec-conf.org. Получено 2016-01-24.
  11. ^ «Моделирование парадигм сгибания арабских арабов по норме LMF - ISO 24613» (PDF). Aclweb.org. Получено 2016-01-24.
  12. ^ Gil Francopoulo (отредактировал) LMF Lexical Markup Framework, ISTE / Wiley 2013 (ISBN 978-1-84821-430-9)

внешняя ссылка