WikiDer > Максимальный информационный коэффициент

Эта статья поднимает множество проблем. Пожалуйста помоги Улучши это или обсудите эти вопросы на страница обсуждения. (Узнайте, как и когда удалить эти сообщения-шаблоны) эта статья требует внимания эксперта по предмету. Пожалуйста, добавьте причина или разговаривать в этот шаблон, чтобы объяснить проблему со статьей. При размещении этого тега учитывайте связывая этот запрос с ВикиПроект. (Январь 2012 г.) эта статья слишком полагается на Рекомендации к основные источники. Пожалуйста, улучшите это, добавив вторичные или третичные источники. (Май 2012 г.) (Узнайте, как и когда удалить этот шаблон сообщения) (Узнайте, как и когда удалить этот шаблон сообщения)

В статистика, то максимальный информационный коэффициент (MIC) является мерой силы линейной или нелинейной связи между двумя переменными. Икс иY.

MIC относится к классу статистики максимальной информационной непараметрической разведки (MINE).^[1] В исследовании с моделированием MIC превзошел некоторые выбранные тесты с низким энергопотреблением,^[1] однако были высказаны опасения относительно сокращения статистическая мощность в обнаружении некоторых ассоциаций в условиях с низким размером выборки по сравнению с мощными методами, такими как корреляция расстояний и Хеллера – Хеллера – Горфина (HHG).^[2] Сравнение с этими методами, в которых МПК была лучше, чем у Саймона и Тибширани.^[3] и у Горфина, Хеллера и Хеллера.^[4] Утверждается^[1] что MIC приблизительно удовлетворяет свойству, называемому справедливость что проиллюстрировано избранными исследованиями моделирования^[1] Позже было доказано, что никакой нетривиальный коэффициент не может точно удовлетворять справедливость свойство, как определено Reshef et al.,^[1][5] хотя этот результат был оспорен.^[6] Некоторые критические замечания в адрес MIC адресованы Reshef et al. в дальнейших исследованиях, опубликованных на arXiv.^[7]

Обзор

Максимальный информационный коэффициент использует биннинг как средство применения взаимная информация на непрерывных случайных величинах. Биннинг в течение некоторого времени использовался как способ применения взаимной информации к непрерывным распределениям; Кроме того, MIC вносит свой вклад в методологию выбора количества ячеек и максимума по множеству возможных ячеек.

Обоснованием является то, что ячейки для обеих переменных должны быть выбраны таким образом, чтобы взаимная информация между переменными была максимальной. Это достигается всякий раз, когда ${ Displaystyle mathrm {H} left (X_ {b} right) = mathrm {H} left (Y_ {b} right) = mathrm {H} left (X_ {b}, Y_ { яркий)}$.^{[Примечание 1]} Таким образом, когда взаимная информация максимальна по группировке данных, мы должны ожидать, что следующие два свойства сохранятся, насколько это возможно благодаря собственной природе данных. Во-первых, бункеры должны иметь примерно одинаковый размер, потому что энтропия ${ Displaystyle mathrm {H} (X_ {b})}$ и ${ displaystyle mathrm {H} (Y_ {b})}$ максимизируются за счет биннинга равного размера. Во-вторых, каждая корзина Икс будет примерно соответствовать корзине в Y.

Поскольку переменные X и Y являются действительными, почти всегда можно создать ровно одну корзину для каждой (Икс,у) datapoint, и это даст очень высокое значение MI. Чтобы избежать такого тривиального разбиения, авторы статьи предлагают взять несколько бинов ${ displaystyle n_ {x}}$ за Икс и ${ displaystyle n_ {y}}$ продукт которого относительно невелик по сравнению с размером выборки данных N. Конкретно они предлагают:

${ Displaystyle п_ {х} раз п_ {у} ​​leq mathrm {N} ^ {0,6}}$

В некоторых случаях удается добиться хорошего соответствия между ${ displaystyle X_ {b}}$ и ${ displaystyle Y_ {b}}$ с номерами до ${ displaystyle n_ {x} = 2}$ и ${ displaystyle n_ {y} = 2}$, в то время как в других случаях количество требуемых ящиков может быть больше. Максимум для ${ Displaystyle mathrm {I} (X_ {b}; Y_ {b})}$ определяется H (X), который, в свою очередь, определяется количеством ячеек на каждой оси, поэтому значение взаимной информации будет зависеть от количества ячеек, выбранных для каждой переменной. Чтобы сравнить значения взаимной информации, полученные с разделами разного размера, значение взаимной информации нормализуется путем деления на максимальное достижимое значение для данного размера раздела. Стоит отметить, что аналогичная процедура адаптивного бинирования для оценки взаимной информации была предложена ранее.^[8]Энтропия максимизируется за счет равномерного распределения вероятностей или, в данном случае, бинов с тем же количеством элементов. Кроме того, совместная энтропия сводится к минимуму благодаря взаимно однозначному соответствию между ячейками. Если подставить такие значения в формулу${ Displaystyle I (X; Y) = H (X) + H (Y) -H (X, Y)}$, мы видим, что максимальное значение, достигаемое ИМ для данной пары ${ displaystyle n_ {x}, n_ {y}}$ подсчета бункеров ${ displaystyle log min left (n_ {x}, n_ {y} right)}$. Таким образом, это значение используется как нормализующий делитель для каждой пары счетчиков бинов.

Наконец, нормализованное максимальное значение взаимной информации для различных комбинаций ${ displaystyle n_ {x}}$ и ${ displaystyle n_ {y}}$ заносится в таблицу, а максимальное значение в таблице выбирается в качестве значения статистики.

Важно отметить, что пробовать все возможные схемы биннинга, удовлетворяющие ${ Displaystyle п_ {х} раз п_ {у} ​​leq mathrm {N} ^ {0,6}}$ вычислительно невыполнимо даже для малых n. Поэтому на практике авторы применяют эвристику, которая может найти или не найти истинный максимум.

Примечания

Рекомендации