WikiDer > Неравенство Гиббса - Википедия

Джозайя Уиллард Гиббс

В теория информации, Неравенство Гиббса это заявление о информационная энтропия дискретного распределение вероятностей. Несколько других оценок энтропии вероятностных распределений выводятся из неравенства Гиббса, включая Неравенство ФаноВпервые он был представлен Дж. Уиллард Гиббс в 19 ​​веке.

Неравенство Гиббса

Предположим, что

${ Displaystyle P = {p_ {1}, ldots, p_ {n} }}$

это распределение вероятностей. Тогда для любого другого распределения вероятностей

${ Displaystyle Q = {q_ {1}, ldots, q_ {n} }}$

следующее неравенство между положительными величинами (поскольку p_я и q_я находятся между нулем и единицей):^[1]:68

${ displaystyle - sum _ {i = 1} ^ {n} p_ {i} log p_ {i} leq - sum _ {i = 1} ^ {n} p_ {i} log q_ {i }}$

с равенством тогда и только тогда, когда

${ displaystyle p_ {i} = q_ {i}}$

для всех я. Проще говоря, информационная энтропия распределения P меньше или равно его перекрестная энтропия с любым другим дистрибутивом Q.

Разница между двумя величинами - это Дивергенция Кульбака – Лейблера или относительная энтропия, поэтому неравенство также можно записать:^[2]:34

${ Displaystyle D _ { mathrm {KL}} (P | Q) Equiv sum _ {i = 1} ^ {n} p_ {i} log { frac {p_ {i}} {q_ {i }}} geq 0.}$

Обратите внимание, что использование base-2 логарифмы не является обязательным и позволяет называть количество по обе стороны неравенства "средним неожиданный"измеряется в биты.

Доказательство

Для простоты докажем утверждение, используя натуральный логарифм (ln), поскольку

${ displaystyle log a = { frac { ln a} { ln 2}},}$

выбранный нами конкретный логарифм только масштабирует отношение.

Позволять ${ displaystyle I}$ обозначим множество всех ${ displaystyle i}$ для которого п_я не равно нулю. Тогда, поскольку ${ Displaystyle пер х leq х-1}$ для всех х> 0, с равенством тогда и только тогда, когда х = 1, у нас есть:

${ displaystyle - sum _ {i in I} p_ {i} ln { frac {q_ {i}} {p_ {i}}} geq - sum _ {i in I} p_ {i } left ({ frac {q_ {i}} {p_ {i}}} - 1 right)}$${ displaystyle = - sum _ {i in I} q_ {i} + sum _ {i in I} p_ {i} = - sum _ {i in I} q_ {i} +1 geq 0}$

Последнее неравенство является следствием п_я и q_я часть вероятностного распределения. В частности, сумма всех ненулевых значений равна 1. Некоторые ненулевые q_яоднако их можно было исключить, поскольку выбор индексов зависит от п_я быть ненулевым. Следовательно, сумма q_я может быть меньше 1.

Пока по набору индексов ${ displaystyle I}$, у нас есть:

${ displaystyle - sum _ {я in I} p_ {i} ln { frac {q_ {i}} {p_ {i}}} geq 0}$,

или эквивалентно

${ displaystyle - sum _ {i in I} p_ {i} ln q_ {i} geq - sum _ {i in I} p_ {i} ln p_ {i}}$.

Обе суммы могут быть распространены на всех ${ Displaystyle я = 1, ldots, п}$, т.е. включая ${ displaystyle p_ {i} = 0}$, напоминая, что выражение ${ displaystyle p ln p}$ стремится к 0 как ${ displaystyle p}$ стремится к 0, а ${ displaystyle (- ln q)}$ как правило ${ displaystyle infty}$ в качестве ${ displaystyle q}$ стремится к 0. Мы приходим к

${ displaystyle - sum _ {i = 1} ^ {n} p_ {i} ln q_ {i} geq - sum _ {i = 1} ^ {n} p_ {i} ln p_ {i }}$

Для выполнения равенства потребуем

1. ${ displaystyle { frac {q_ {i}} {p_ {i}}} = 1}$ для всех ${ displaystyle i in I}$ так что равенство ${ displaystyle ln { frac {q_ {i}} {p_ {i}}} = { frac {q_ {i}} {p_ {i}}} - 1}$ держит,
2. и ${ Displaystyle сумма _ {я in I} q_ {я} = 1}$ что значит ${ displaystyle q_ {i} = 0}$ если ${ displaystyle i notin I}$, то есть, ${ displaystyle q_ {i} = 0}$ если ${ displaystyle p_ {i} = 0}$.

Это может произойти тогда и только тогда, когда ${ displaystyle p_ {i} = q_ {i}}$ за ${ Displaystyle я = 1, ldots, п}$.

Альтернативные доказательства

В качестве альтернативы результат можно доказать, используя Неравенство Дженсена, то неравенство логарифмической суммы, или тот факт, что дивергенция Кульбака-Лейблера является формой Расхождение Брегмана. Ниже мы приводим доказательство, основанное на неравенстве Дженсена:

Поскольку журнал является вогнутой функцией, мы имеем следующее:

${ displaystyle sum _ {i} p_ {i} log { frac {q_ {i}} {p_ {i}}} leq log sum _ {i} p_ {i} { frac {q_ {i}} {p_ {i}}} = log sum _ {i} q_ {i} leq 0}$

Где первое неравенство связано с неравенством Дженсена, а последнее равенство - по той же причине, что и в приведенном выше доказательстве.

Кроме того, поскольку ${ displaystyle log}$ строго вогнутая, по условию равенства неравенства Йенсена равенство получается, когда

${ displaystyle { frac {q_ {1}} {p_ {1}}} = { frac {q_ {2}} {p_ {2}}} = cdots = { frac {q_ {n}} { p_ {n}}}}$

и

${ Displaystyle сумма _ {я} q_ {я} = 1}$

Предположим, что это отношение равно ${ displaystyle sigma}$, то имеем

${ displaystyle 1 = sum _ {i} q_ {i} = sum _ {i} sigma p_ {i} = sigma}$

Где мы используем тот факт, что ${ displaystyle p, q}$ - распределения вероятностей. Следовательно, равенство происходит, когда ${ displaystyle p = q}$.

Следствие

В энтропия из ${ displaystyle P}$ ограничено:^[1]:68

${ displaystyle H (p_ {1}, ldots, p_ {n}) leq log n.}$

Доказательство тривиально - просто положите ${ displaystyle q_ {i} = 1 / n}$ для всех я.

Смотрите также

• Информационная энтропия
• Расхождение Брегмана

Рекомендации