WikiDer > Передача энтропии - Википедия

Передача энтропии это непараметрическая статистика измерение величины направленной (несимметричной по времени) передачи Информация между двумя случайные процессы.^[1][2][3] Перенос энтропии из процесса Икс к другому процессу Y уменьшается количество неопределенности в будущих значениях Y зная прошлые значения Икс учитывая прошлые ценности Y. В частности, если ${ displaystyle X_ {t}}$ и ${ displaystyle Y_ {t}}$ за ${ Displaystyle т в mathbb {N}}$ обозначают два случайных процесса, а количество информации измеряется с помощью Энтропия Шеннона, энтропия переноса может быть записана как:

${ displaystyle T_ {X rightarrow Y} = H left (Y_ {t} mid Y_ {t-1: tL} right) -H left (Y_ {t} mid Y_ {t-1: tL) }, X_ {t-1: tL} right),}$

куда ЧАС(Икс) - энтропия Шеннона Икс. Приведенное выше определение энтропии переноса было расширено другими типами энтропия такие меры, как Энтропия Реньи.^[3][4]

Энтропия передачи условная взаимная информация,^[5][6] с историей изменяемой переменной ${ displaystyle Y_ {t-1: t-L}}$ в состоянии:

${ displaystyle T_ {X rightarrow Y} = I (Y_ {t}; X_ {t-1: t-L} mid Y_ {t-1: t-L}).}$

Энтропия переноса уменьшается до Причинность Грейнджера за векторные авторегрессивные процессы.^[7] Следовательно, это выгодно, когда модельное предположение о причинности Грейнджера не выполняется, например, анализ нелинейные сигналы.^[8][9] Однако для точной оценки обычно требуется больше образцов.^[10]Вероятности в формуле энтропии можно оценить, используя различные подходы (бининг, ближайшие соседи) или, чтобы уменьшить сложность, используя неоднородное вложение.^[11]Хотя изначально он был определен для двумерный анализ, энтропия переноса расширена до многомерный формы, либо обусловленные другими потенциальными исходными переменными^[12] или с учетом передачи из коллекции источников,^[13] хотя для этих форм снова требуется больше образцов.

Энтропия переноса была использована для оценки функциональная связь из нейроны^[13][14][15] и влияние общества в социальные сети.^[8]Энтропия переноса - это конечная версия Направленная информация который был определен в 1990 г. Джеймс Мэсси ^[16] в качестве ${ displaystyle I (X ^ {n} to Y ^ {n}) = sum _ {i = 1} ^ {n} I (X ^ {i}; Y_ {i} | Y ^ {i-1 })}$, куда ${ displaystyle X ^ {n}}$ обозначает вектор ${ displaystyle X_ {1}, X_ {2}, ..., X_ {n}}$ и ${ displaystyle Y ^ {n}}$ обозначает ${ displaystyle Y_ {1}, Y_ {2}, ..., Y_ {n}}$. В направленная информация играет важную роль в характеристике фундаментальных пределов (пропускная способность канала) каналов связи с обратной связью или без ^{[17] [18]} и играть в азартные игры с причинно-следственной информацией,^[19]

Смотрите также

• Условная взаимная информация
• Причинно-следственная связь
• Причинность (физика)
• Структурное моделирование уравнение
• Причинно-следственная модель Рубина
• Взаимная информация

Рекомендации

внешняя ссылка

• «Панель инструментов передачи энтропии». Код Google., набор инструментов, разработанный в C ++ и MATLAB, для вычисления энтропии переноса между цепочками импульсов.
• "Набор инструментов динамики информации Java (JIDT)". GitHub. 2019-01-16., набор инструментов, разработанный в Ява и можно использовать в MATLAB, GNU Octave и Python, для вычисления энтропии переноса и связанных теоретико-информационных мер как в дискретных, так и в непрерывных данных.
• «Набор инструментов для многомерной энтропии переноса (MuTE)». GitHub. 2019-01-09., набор инструментов, разработанный в MATLAB, для вычисления энтропии переноса с разными оценками.