WikiDer > Категория полезности

Category utility

Категория полезности является мерой "качественности категории", определенной в Глюк и Кортер (1985) и Кортер и Глюк (1992). Он пытается максимизировать как вероятность того, что два объекта в одной категории имеют общие значения атрибутов, так и вероятность того, что объекты из разных категорий имеют разные значения атрибутов. Он был предназначен для замены более ограниченных критериев качества категории, таких как "действительность реплики" (Рид 1972; Рош и Мервис 1975) и "индекс коллокации" (Джонс 1983). Он обеспечивает нормативный теоретико-информационный мера прогностическое преимущество полученный наблюдателем, который владеет знаниями о данной структуре категории (т. е. метками классов экземпляров), над наблюдателем, который нет владеть категориальной структурой. В этом смысле мотивация меры полезности категории аналогична мотивации получение информации метрика, используемая в Древо решений учусь. В некоторых презентациях он также формально эквивалентен взаимная информация, как описано ниже. Обзор полезности категории в ее вероятностном воплощении с приложениями к машинное обучение, предоставляется в Виттен и Франк (2005С. 260–262).

Теоретико-вероятностное определение полезности категории

В теоретико-вероятностный определение полезности категории, данное в Фишер (1987) и Виттен и Франк (2005) как следует:

куда размер- набор из -возможности, и это набор категории. Период, термин обозначает предельная вероятность эта особенность приобретает ценность , а срок обозначает категорию -условная возможность эта особенность приобретает ценность данный что рассматриваемый объект относится к категории .

Мотивация и развитие этого выражения полезности категории и роль множимого как грубый контроль переобучения, приведен в вышеуказанных источниках. Свободно (Фишер 1987), период, термин ожидаемое количество значений атрибутов, которые может быть правильно угадан наблюдателем с помощью сопоставление вероятностей стратегии вместе со знанием ярлыков категорий, в то время как - это ожидаемое количество значений атрибутов, которые может быть правильно угадан наблюдателем при той же стратегии, но без каких-либо сведений о метках категорий. Таким образом, их различие отражает относительное преимущество, получаемое наблюдателем от знания структуры категорий.

Теоретико-информационное определение полезности категории

В теоретико-информационный определение полезности категории для набора сущностей с размером - двоичный набор функций , и бинарная категория дается в Глюк и Кортер (1985) следующее:

куда это априорная вероятность лица, принадлежащего к положительной категории (при отсутствии информации о характеристиках), это условная вероятность того, что объект имеет функцию учитывая, что объект принадлежит к категории , аналогично условная вероятность того, что объект имеет особенность учитывая, что объект принадлежит к категории , и априорная вероятность того, что объект обладает характеристикой (при отсутствии информации о категории).

Интуиция, стоящая за этим выражением, заключается в следующем: Термин представляет собой стоимость (в битах) оптимального кодирования (или передачи) информации о характеристиках, когда известно, что описываемые объекты принадлежат к категории . Аналогично, термин представляет собой стоимость (в битах) оптимального кодирования (или передачи) информации о характеристиках, когда известно, что описываемые объекты принадлежат к категории . Таким образом, сумма этих двух членов в скобках равна средневзвешенное из этих двух затрат. Последний срок, , представляет стоимость (в битах) оптимального кодирования (или передачи) информации о характеристиках, когда информация о категории недоступна. Значение полезности категории в приведенной выше формулировке будет отрицательным (???).

Категория полезности и взаимная информация

Глюк и Кортер (1985) и Кортер и Глюк (1992) упомяните, что служебная программа категории эквивалентна взаимная информация. Вот простая демонстрация природы этой эквивалентности. Предположим, что набор сущностей имеет одинаковые особенности, т.е. набор функций , где каждая переменная функции имеет мощность . То есть каждая функция может принимать любую из различные ценности (которые требуют нет быть заказанным; все переменные могут быть номинальными); для особого случая эти особенности будут рассмотрены двоичный, но в целом для любого , функции просто Мэри. В целях этой демонстрации, без потери общности, набор функций можно заменить одной совокупной переменной что имеет мощность , и принимает уникальное значение соответствует каждой комбинации функций в Декартово произведение . (Ординальность делает нет имеет значение, потому что взаимная информация нечувствительна к порядку.) В дальнейшем такой термин, как или просто относится к вероятности, с которой принимает особую ценность . (Использование совокупной переменной функции заменяет несколько суммирований и упрощает последующую презентацию.)

Для этой демонстрации также предположим, что есть переменная одной категории , имеющая мощность . Это эквивалентно системе классификации, в которой есть непересекающиеся категории. В частном случае есть рассмотренный выше случай с двумя категориями. Из определения взаимной информации для дискретных переменных взаимная информация между агрегированной переменной признака и переменная категории дан кем-то:

куда это априорная вероятность переменной функции принятие ценности , это предельная вероятность категории переменной принятие ценности , и это совместная вероятность переменных и одновременно принимая эти соответствующие ценности. В терминах условных вероятностей это можно переписать (или определить) как

Если оригинал определение категории полезности сверху переписано с ,

Это уравнение явно имеет то же самое форма как (синий) уравнение, выражающее взаимную информацию между набором функций и переменной категории; разница в том, что сумма в уравнении полезности категории работает над независимыми двоичными переменными , а сумма во взаимной информации перебегает значения сингла -арная переменная . Эти две меры фактически эквивалентны, тогда Только когда особенности , находятся независимый (и предполагая, что слагаемые в сумме, соответствующие также добавлены).

Нечувствительность категории полезности к порядку

Как и взаимная информация, утилита категории не чувствительна ни к каким заказ в значениях переменных функции или категории. То есть, что касается полезности категории, набор категорий {small, medium, large, jumbo} качественно не отличается от набора категорий {стол, рыба, дерево, швабра} поскольку формулировка полезности категории не учитывает какой-либо порядок переменных класса. Точно так же переменная функции, принимающая значения {1,2,3,4,5} качественно не отличается от переменной характеристики, принимающей значения {Фред, Джо, Боб, Сью, Элейн}. Что касается категории полезности или взаимная информация обеспокоены, все Переменные категории и функции номинальные переменные. По этой причине полезность категории не отражает никаких гештальт аспекты «качественности категории», которые могут быть основаны на таких эффектах упорядочивания. Одна из возможных поправок на эту нечувствительность к порядку дается схемой взвешивания, описанной в статье для взаимная информация.

Категория «добро»: модели и философия

В этом разделе дается некоторая справочная информация о происхождении и необходимости формальных мер "качества категории", таких как полезность категории, а также некоторые истории, которые привели к развитию этой конкретной метрики.

Что делает категорию хорошей?

По крайней мере, со времен Аристотель в философии было огромное увлечение природой концепции и универсалии. Какого рода юридическое лицо такое понятие как «лошадь»? Такие абстракции не обозначают какого-либо конкретного человека в мире, и все же мы едва ли можем представить себе возможность постижения мира без их использования. Следовательно, существует ли понятие «лошадь» независимо вне ума? Если да, то каков локус этого независимого существования? Вопрос локуса был важным вопросом, по которому классические школы Платон и Аристотель классно различались. Однако они остались согласны с тем, что универсалии сделал действительно иметь независимое от разума существование. Следовательно, всегда был факт к делу о том, какие понятия и универсалии существуют в мире.

В конце Средний возраст (возможно, начиная с Оккам, несмотря на то что Порфирий также делает гораздо более раннее замечание, указывающее на определенный дискомфорт в связи со статус-кво), однако уверенность, существовавшая по этому вопросу, начала ослабевать, и она стала приемлемой среди так называемых номиналисты и эмпирики рассматривать концепции и универсалии как строго ментальные сущности или условности языка. При таком взгляде на концепции - что они являются чисто репрезентативными конструкциями - возникает новый вопрос: «Почему мы обладаем одним набором концепций, а не другим?» Что делает один набор понятий «хорошим», а другой набор понятий «плохим»? Это вопрос, который современные философы, а впоследствии машинное обучение теоретики и ученые-когнитивисты боролись с этим на протяжении многих десятилетий.

Какой цели служат концепции?

Один из подходов к ответу на такие вопросы - исследовать «роль» или «цель» концепций в познании. Таким образом, ответ на вопрос: «Для чего концепции хороши в первую очередь?» к Мельница, 1843/1936 г., п. 425) и многих других заключается в том, что классификация (зачатие) является предшественником индукция: Навязывая вселенную определенную категоризацию, организм приобретает способность одинаково справляться с физически неидентичными объектами или ситуациями, тем самым получая существенные возможности прогнозирования (Смит и Медин 1981; Харнад 2005). В качестве J.S. Мельница кладет это (Мельница, 1843/1936 г., стр. 466–468).,

Общая проблема классификации ... [заключается] в обеспечении того, чтобы вещи рассматривались в таких группах и в этих группах в таком порядке, который лучше всего способствует запоминанию и установлению их законов ... [и ] одно из применений такой классификации, что, привлекая внимание к свойствам, на которых она основана и которые, если классификация хороша, являются признаками многих других, она облегчает открытие этих других.

С этой базы Мельница приходит к следующему выводу, который предвещает многие последующие размышления о добродетели категории, включая понятие полезности категории:

Цели научной классификации лучше всего достигаются, когда объекты объединяются в группы, в отношении которых может быть сделано большее количество общих предложений, и эти предложения более важны, чем те, которые могут быть сделаны в отношении любых других групп, в которых могут быть распределены одни и те же вещи. Следовательно, свойства, в соответствии с которыми классифицируются объекты, должны, если возможно, быть теми, которые являются причиной многих других свойств; или, во всяком случае, которые являются их верными знаками.

Это можно сравнить с "гипотезой полезности категории", предложенной Кортер и Глюк (1992): «Категория полезна в той степени, в которой можно ожидать, что она улучшит способность человека точно предсказывать особенности экземпляров этой категории». Милл здесь, по-видимому, предполагает, что лучшая структура категорий - это та, в которой свойства (свойства) объекта максимально информативны о классе объекта, и, одновременно, класс объекта является максимально информативным относительно свойств объекта. Другими словами, полезная схема классификации - это такая схема, в которой знания о категориях могут использоваться для точного вывода свойств объекта, а знания о свойствах могут использоваться для точного вывода классов объектов. Можно также сравнить эту идею с Аристотелькритерий противодействие для дефиниционных предикатов, а также для понятия концептов, описанных в формальный анализ концепции.

Попытки формализации

Было предложено множество различных мер с целью формального закрепления этого понятия «категория добродетели», наиболее известным из которых, вероятно, является «действительность реплики". Указать на достоверность функции по категории определяется как условная вероятность категории с учетом признака (Рид 1972;Рош и Мервис 1975;Рош 1978), , или как отклонение условной вероятности от базовой ставки категории (Эджелл 1993;Крушке и Йохансен, 1999 г.), . Ясно, что эти меры количественно определяют только вывод от характеристики к категории (т. Е. действительность реплики), но не от категории к функции, т.е. срок действия категории . Кроме того, хотя достоверность реплики изначально предназначалась для учета очевидного появления основные категории в человеческом познании - категории определенного уровня общности, которым, очевидно, отдают предпочтение обучающиеся-люди, - в этом отношении быстро выявился ряд серьезных недостатков в достоверности реплики (Джонс 1983;Мерфи 1982;Кортер и Глюк 1992, и другие).

Одна попытка решить обе проблемы, одновременно максимизируя валидность функций и валидность категории, была предпринята Джонс (1983) в определении "индекса коллокации" как продукта , но эта конструкция была довольно специальной (см. Кортер и Глюк 1992). Полезность категории была введена как более сложное уточнение достоверности реплики, которое пытается более строго количественно оценить полную выводную силу структуры классов. Как показано выше, в определенном представлении служебная программа категории эквивалентна взаимной информации между переменной функции и переменной категории. Было высказано предположение, что категории, имеющие наибольшую общую полезность категории, - это не только те категории, которые являются «лучшими» в нормативном смысле, но и те категории, которые люди-люди предпочитают использовать, например, «базовые» категории (Кортер и Глюк 1992). Другими родственными мерами категории добродетели являются «сплоченность» (Хансон и Бауэр 1989;Дженнари, Лэнгли и Фишер, 1989 г.) и "заметность" (Дженнари 1989).

Приложения

Смотрите также

Рекомендации

  • Кортер, Джеймс Э .; Глюк, Марк А. (1992), «Объяснение основных категорий: предсказуемость функций и информация» (PDF), Психологический бюллетень, 111 (2): 291–303, Дои:10.1037/0033-2909.111.2.291, заархивировано из оригинал (PDF) на 2011-08-10
  • Эджелл, Стивен Э. (1993), «Использование конфигурационной и размерной информации», в Н. Джон Кастеллан (ред.), Принятие индивидуальных и групповых решений: текущие проблемы, Хиллсдейл, Нью-Джерси: Лоуренс Эрлбаум, стр. 43–64.
  • Фишер, Дуглас Х. (1987), «Приобретение знаний посредством постепенной концептуальной кластеризации», Машинное обучение, 2 (2): 139–172, Дои:10.1007 / BF00114265
  • Дженнари, Джон Х. (1989), «Формирование сфокусированной концепции», в Альберто Мария Сегре (ред.), Материалы шестого международного семинара по машинному обучению, Итака, штат Нью-Йорк: Морган Кауфманн, стр. 379–382.
  • Gennari, John H .; Лэнгли, Пэт; Фишер, Дуг (1989), «Модели инкрементального формирования концепции», Искусственный интеллект, 40 (1–3): 11–61, Дои:10.1016/0004-3702(89)90046-5
  • Gluck, Mark A .; Кортер, Джеймс Э. (1985), «Информация, неопределенность и полезность категорий», Программа седьмой ежегодной конференции Общества когнитивных наук, стр. 283–287
  • Хансон, Стивен Хосе; Бауэр, Малкольм (1989), «Концептуальная кластеризация, категоризация и полиморфия», Машинное обучение, 3 (4): 343–372, Дои:10.1007 / BF00116838
  • Харнад, Стеван (2005), «Познать - значит категоризировать: Познание - это категоризация», в Анри Коэне и Клэр Лефевр (ред.), Справочник по категоризации в когнитивной науке, Амстердам: Elsevier, стр. 19–43.
  • Джонс, Грегори В. (1983), «Определение основных категорий», Психологический бюллетень, 94 (3): 423–428, Дои:10.1037/0033-2909.94.3.423
  • Крушке, Джон К .; Йохансен, Марк К. (1999), "Модель вероятностного категорийного обучения", Журнал экспериментальной психологии: обучение, память и познание, 25 (5): 1083–1119, Дои:10.1037/0278-7393.25.5.1083, PMID 10505339
  • Милл, Джон Стюарт (1843), Система логических, рациональных и индуктивных: взаимосвязанный взгляд на принципы доказательств и методы научного исследования, Лондон: Longmans, Green and Co..
  • Мерфи, Грегори Л. (1982), «Признак достоверности и уровни категоризации», Психологический бюллетень, 91 (1): 174–177, Дои:10.1037/0033-2909.91.1.174
  • Рид, Стивен К. (1972), «Распознавание образов и категоризация», Когнитивная психология, 3 (3): 382–407, Дои:10.1016 / 0010-0285 (72) 90014-х
  • Рош, Элеонора (1978), «Принципы категоризации», в Элеоноре Рош и Барбаре Б. Ллойд (ред.), Познание и категоризация, Хиллсдейл, Нью-Джерси: Лоуренс Эрлбаум, стр. 27–48.
  • Рош, Элеонора; Мервис, Кэролайн Б.(1975), "Семейные сходства: исследования внутренней структуры категорий", Когнитивная психология, 7 (4): 573–605, Дои:10.1016/0010-0285(75)90024-9, S2CID 17258322
  • Смит, Эдвард Э .; Медин, Дуглас Л. (1981), Категории и понятия, Кембридж, Массачусетс: Издательство Гарвардского университета
  • Виттен, Ян Х .; Франк, Эйбе (2005), Интеллектуальный анализ данных: практические инструменты и методы машинного обучения, Амстердам: Морган Кауфманн