WikiDer > Лемма Штейнса - Википедия

Steins lemma - Wikipedia

Лемма Штейна,^[1] назван в честь Чарльз Штайн, это теорема из теория вероятности что представляет интерес в первую очередь из-за его применения в статистические выводы - в частности, чтобы Оценка Джеймса – Стейна и эмпирические байесовские методы - и его приложения к теория выбора портфеля. Теорема дает формулу для ковариация одного случайная переменная со значением функции другого, когда две случайные величины совместно нормально распределенные.

Утверждение леммы

Предполагать Икс это нормально распределенный случайная переменная с ожидание μ и отклонение σ². Далее предположим грамм - функция, для которой два ожидания E (грамм(Икс) (Икс - μ)) и E (грамм ′(Икс)) оба существуют. (Существование математического ожидания любой случайной величины равносильно конечности ожидания ее абсолютная величина.) Потом

{ displaystyle E { bigl (} g (X) (X- mu) { bigr)} = sigma ^ {2} E { bigl (} g '(X) { bigr)}.}

В общем, допустим Икс и Y совместно нормально распространяются. потом

{ displaystyle operatorname {Cov} (g (X), Y) = operatorname {Cov} (X, Y) E (g '(X)).}

Доказательство

Одномерный функция плотности вероятности для одномерного нормального распределения с математическим ожиданием 0 и дисперсией 1

{ displaystyle varphi (x) = {1 over { sqrt {2 pi}}} e ^ {- x ^ {2} / 2}}

и плотность для нормального распределения с математическим ожиданием μ и дисперсией σ² является

{ displaystyle {1 over sigma} varphi left ({x- mu over sigma} right).}

Затем используйте интеграция по частям.

Более общее заявление

Предполагать Икс находится в экспоненциальная семья, то есть, Икс имеет плотность

{ Displaystyle f _ { eta} (x) = exp ( eta 'T (x) - Psi ( eta)) h (x).}

Предположим, у этой плотности есть поддержка ${ Displaystyle (а, б)}$ куда ${ displaystyle a, b}$ может быть ${ displaystyle - infty, infty}$ и, как ${ displaystyle x rightarrow a { text {или}} b}$ , ${ Displaystyle ехр ( eta 'T (x)) час (x) g (x) rightarrow 0}$ куда ${ displaystyle g}$ - любая дифференцируемая функция такая, что ${ Displaystyle E | g '(X) | < infty}$ или же ${ Displaystyle ехр ( eta 'T (x)) час (x) rightarrow 0}$ если ${ displaystyle a, b}$ конечно. потом

{ displaystyle E ((h '(X) / h (X) + sum eta _ {i} T_ {i}' (X)) g (X)) = - Eg '(X).}

Вывод такой же, как и в частном случае, а именно интегрирование по частям.

Если бы мы только знали ${ displaystyle X}$ имеет поддержку ${ Displaystyle mathbb {R}}$ , тогда может случиться так, что ${ Displaystyle E | g (X) | < infty { text {and}} E | g '(X) | < infty}$ но ${ displaystyle lim _ {x rightarrow infty} f _ { eta} (x) g (x) not = 0}$ . Чтобы увидеть это, просто положите ${ Displaystyle г (х) = 1}$ и ${ displaystyle f _ { eta} (х)}$ с бесконечными всплесками к бесконечности, но все же интегрируемым. Один такой пример может быть адаптирован из ${ displaystyle f (x) = { begin {case} 1 & x in [n, n + 2 ^ {- n}) 0 & { text {else}} end {cases}}}$ так что ${ displaystyle f}$ гладко.