WikiDer > Теорема Кохрана - Википедия

В статистика, Теорема Кохрана, разработанный Уильям Дж. Кокран,^[1] это теорема используется для обоснования результатов, относящихся к распределения вероятностей статистики, которая используется в дисперсионный анализ.^[2]

Заявление

Предполагать U₁, ..., U_N i.i.d. стандарт нормально распределенный случайные переменные, и существуют положительно полуопределенные матрицы ${ Displaystyle B ^ {(1)}, B ^ {(2)}, ldots, B ^ {(k)}}$, с ${ Displaystyle сумма _ {я = 1} ^ {k} B ^ {(я)} = I_ {N}}$. Далее предположим, что ${ displaystyle r_ {1} + cdots + r_ {k} = N}$, куда р_я это классифицировать из ${ Displaystyle B ^ {(я)}}$. Если мы напишем

${ displaystyle Q_ {i} = sum _ {j = 1} ^ {N} sum _ { ell = 1} ^ {N} U_ {j} B_ {j, ell} ^ {(i)} U _ { ell}}$

таким образом Q_я находятся квадратичные формы, тогда Теорема Кохрана заявляет, что Q_я находятся независимый, и каждый Q_я имеет распределение хи-квадрат с р_я степени свободы.^[1]

Менее формально это количество линейных комбинаций, включенных в сумму квадратов, определяющих Q_я, при условии, что эти линейные комбинации линейно независимы.

Доказательство

Сначала покажем, что матрицы B^(я) возможно одновременно диагонализованный и что их ненулевые собственные значения все равны +1. Затем мы используем векторный базис которые диагонализируют их, чтобы упростить их характеристическая функция и показать свою независимость и распространение.^[3]

Каждая из матриц B^(я) имеет классифицировать р_я и поэтому р_я ненулевой собственные значения. Для каждого я, сумма ${ Displaystyle С ^ {(я)} эквив сумма _ {j neq i} B ^ {(j)}}$ имеет самый высокий ранг ${ displaystyle sum _ {j neq i} r_ {j} = N-r_ {i}}$. С ${ Displaystyle В ^ {(я)} + С ^ {(я)} = I_ {N раз N}}$, следует, что C^(я) имеет ровно звание N − р_я.

Следовательно B^(я) и C^(я) возможно одновременно диагонализованный. Это можно показать, сначала диагонализируя B^(я). В этой основе он имеет вид:

${ displaystyle { begin {bmatrix} lambda _ {1} & 0 & 0 & cdots & cdots && 0 0 & lambda _ {2} & 0 & cdots & cdots && 0 0 & 0 & ddots &&&& vdots vdots & vdots && lambda _ {r_ {i}} && vdots & vdots &&& 0 & 0 & vdots &&&& ddots 0 & 0 & ldots &&&& 0 end {bmatrix}}.}$

Таким образом, нижний ${ displaystyle (н-р_ {я})}$ строки равны нулю. С ${ Displaystyle С ^ {(я)} = I-B ^ {(я)}}$, следует, что эти строки в C^(я) в этой базе содержится правый блок, который является ${ Displaystyle (Н-р_ {я}) раз (Н-р_ {я})}$ единичная матрица с нулями в остальных строках. Но с тех пор C^(я) имеет звание N − р_я, в другом месте он должен быть равен нулю. Таким образом, диагональна и в этом базисе. Отсюда следует, что все ненулевые собственные значения обоих B^(я) и C^(я) +1. Более того, приведенный выше анализ можно повторить в диагональном базисе для ${ Displaystyle C ^ {(1)} = B ^ {(2)} + sum _ {j> 2} B ^ {(j)}}$. В этой основе ${ displaystyle C ^ {(1)}}$ это личность ${ Displaystyle (Н-р_ {1}) раз (Н-р_ {1})}$ векторное пространство, поэтому оба B⁽²⁾ и ${ Displaystyle сумма _ {j> 2} B ^ {(j)}}$ одновременно диагонализируемы в этом векторном пространстве (а значит, и вместе с B⁽¹⁾). По итерации следует, что все B-s одновременно диагонализуемы.

Таким образом, существует ортогональная матрица ${ displaystyle S}$ такой, что для всех ${ displaystyle i}$, ${ Displaystyle S ^ { mathrm {T}} B ^ {(я)} S эквив B ^ {(я) prime}}$ диагональная, где любая запись ${ Displaystyle В_ {х, у} ^ {(я) прайм}}$ с индексами ${ displaystyle x = y}$, ${ displaystyle sum _ {j = 1} ^ {i-1} r_ {j}$, равно 1, а любая запись с другими индексами равна 0.

Позволять ${ Displaystyle U_ {я} ^ { prime}}$ обозначают определенную линейную комбинацию всех ${ displaystyle U_ {i}}$ после преобразования ${ displaystyle S}$. Обратите внимание, что ${ displaystyle sum _ {я = 1} ^ {N} (U_ {i} ^ { prime}) ^ {2} = sum _ {i = 1} ^ {N} U_ {i} ^ {2 }}$ за счет сохранения длины ортогональная матрица S, что якобиан линейного преобразования - это матрица, связанная с самим линейным преобразованием, и что определитель ортогональной матрицы имеет модуль 1.

Характеристическая функция Q_я является:

${ displaystyle { begin {align} varphi _ {i} (t) = {} & (2 pi) ^ {- N / 2} int du_ {1} int du_ {2} cdots int du_ {N} e ^ {itQ_ {i}} cdot e ^ {- u_ {1} ^ {2} / 2} cdot e ^ {- u_ {2} ^ {2} / 2} cdots e ^ {-u_ {N} ^ {2} / 2} = {} & (2 pi) ^ {- N / 2} left ( prod _ {j = 1} ^ {N} int du_ { j} right) e ^ {itQ_ {i}} cdot e ^ {- sum _ {j = 1} ^ {N} u_ {j} ^ {2} / 2} = {} & (2 pi) ^ {- N / 2} left ( prod _ {j = 1} ^ {N} int du_ {j} ^ { prime} right) e ^ {it cdot sum _ {m = r_ {1} + cdots + r_ {i-1} +1} ^ {r_ {1} + cdots + r_ {i}} (u_ {m} ^ { prime}) ^ {2}} cdot e ^ {- sum _ {j = 1} ^ {N} {u_ {j} ^ { prime}} ^ {2} / 2} = {} & (2 pi) ^ {- N / 2} left ( int e ^ {u ^ {2} (it - { frac {1} {2}})} du right) ^ {r_ {i}} left ( int e ^ { - { frac {u ^ {2}} {2}}} du right) ^ {N-r_ {i}} = {} & (1-2it) ^ {- r_ {i} / 2} конец {выровнено}}}$

Это преобразование Фурье из распределение хи-квадрат с р_я степени свободы. Следовательно, это распределение Q_я.

Более того, характеристическая функция совместного распределения всех Q_яs это:

${ displaystyle { begin {align} varphi (t_ {1}, t_ {2}, ldots, t_ {k}) & = (2 pi) ^ {- N / 2} left ( prod _ {j = 1} ^ {N} int dU_ {j} right) e ^ {i sum _ {i = 1} ^ {k} t_ {i} cdot Q_ {i}} cdot e ^ { - sum _ {j = 1} ^ {N} U_ {j} ^ {2} / 2} & = (2 pi) ^ {- N / 2} left ( prod _ {j = 1 } ^ {N} int dU_ {j} ^ { prime} right) e ^ {i cdot sum _ {i = 1} ^ {k} t_ {i} sum _ {k = r_ {1 } + cdots + r_ {i-1} +1} ^ {r_ {1} + cdots + r_ {i}} (U_ {k} ^ { prime}) ^ {2}} cdot e ^ { - sum _ {j = 1} ^ {N} {U_ {j} ^ { prime}} ^ {2} / 2} & = (2 pi) ^ {- N / 2} prod _ {i = 1} ^ {k} left ( int e ^ {u ^ {2} (it_ {i} - { frac {1} {2}})} du right) ^ {r_ {i} } & = prod _ {i = 1} ^ {k} (1-2it_ {i}) ^ {- r_ {i} / 2} = prod _ {i = 1} ^ {k} varphi _ {i} (t_ {i}) end {align}}}$

Из этого следует, что все Q_яs независимы.

Примеры

Среднее значение выборки и дисперсия выборки

Если Икс₁, ..., Икс_п независимые нормально распределенные случайные величины со средним μ и стандартное отклонение σ тогда

${ displaystyle U_ {i} = { frac {X_ {i} - mu} { sigma}}}$

является стандартный нормальный для каждого я. Обратите внимание, что общая Q равно сумме квадратов Us, как показано здесь:

${ displaystyle sum _ {i} Q_ {i} = sum _ {ijk} U_ {j} B_ {jk} ^ {(i)} U_ {k} = sum _ {jk} U_ {j} U_ {k} sum _ {i} B_ {jk} ^ {(i)} = sum _ {jk} U_ {j} U_ {k} delta _ {jk} = sum _ {j} U_ {j } ^ {2}}$

что вытекает из исходного предположения, что ${ Displaystyle B_ {1} + B_ {2} ldots = I}$.Поэтому вместо этого мы рассчитаем это количество и позже разделим его на Q_яс. Можно написать

${ displaystyle sum _ {i = 1} ^ {n} U_ {i} ^ {2} = sum _ {i = 1} ^ {n} left ({ frac {X_ {i} - { overline {X}}} { sigma}} right) ^ {2} + n left ({ frac {{ overline {X}} - mu} { sigma}} right) ^ {2} }$

(здесь ${ displaystyle { overline {X}}}$ это выборочное среднее). Чтобы увидеть эту идентичность, умножьте все на ${ displaystyle sigma ^ {2}}$ и обратите внимание, что

${ displaystyle sum (X_ {i} - mu) ^ {2} = sum (X_ {i} - { overline {X}} + { overline {X}} - mu) ^ {2} }$

и развернуть, чтобы дать

${ displaystyle sum (X_ {i} - mu) ^ {2} = sum (X_ {i} - { overline {X}}) ^ {2} + sum ({ overline {X}} - mu) ^ {2} +2 sum (X_ {i} - { overline {X}}) ({ overline {X}} - mu).}$

Третий член равен нулю, потому что он равен константе, умноженной на

${ displaystyle sum ({ overline {X}} - X_ {i}) = 0,}$

а второй срок только что п идентичные термины сложены вместе. Таким образом

${ displaystyle sum (X_ {i} - mu) ^ {2} = sum (X_ {i} - { overline {X}}) ^ {2} + n ({ overline {X}} - mu) ^ {2},}$

и поэтому

${ displaystyle sum left ({ frac {X_ {i} - mu} { sigma}} right) ^ {2} = sum left ({ frac {X_ {i} - { overline) {X}}} { sigma}} right) ^ {2} + n left ({ frac {{ overline {X}} - mu} { sigma}} right) ^ {2} = overbrace { sum _ {i} left (U_ {i} - { frac {1} {n}} sum _ {j} {U_ {j}} right) ^ {2}} ^ {Q_ {1}} + overbrace {{ frac {1} {n}} left ( sum _ {j} {U_ {j}} right) ^ {2}} ^ {Q_ {2}} = Q_ {1} + Q_ {2}.}$

Сейчас же ${ displaystyle B ^ {(2)} = { frac {J_ {n}} {n}}}$ с ${ displaystyle J_ {n}}$ то матрица единиц который имеет ранг 1. В свою очередь ${ displaystyle B ^ {(1)} = I_ {n} - { frac {J_ {n}} {n}}}$ при условии ${ Displaystyle I_ {п} = В ^ {(1)} + В ^ {(2)}}$. Это выражение также можно получить, разложив ${ displaystyle Q_ {1}}$ в матричной записи. Можно показать, что ранг ${ displaystyle B ^ {(1)}}$ является ${ displaystyle n-1}$ поскольку сложение всех его строк равно нулю. Таким образом, условия теоремы Кохрана выполнены.

Затем теорема Кохрана утверждает, что Q₁ и Q₂ независимы, с распределениями хи-квадрат с п - 1 и 1 степень свободы соответственно. Это показывает, что выборочное среднее и выборочная дисперсия независимы. Это также может быть показано Теорема Басу, а собственно это свойство характеризует нормальное распределение - ни для каких других распределений среднее значение выборки и дисперсия выборки не зависят.^[4]

Распределения

Результат для распределений символически записывается как

${ displaystyle sum left (X_ {i} - { overline {X}} right) ^ {2} sim sigma ^ {2} chi _ {n-1} ^ {2}.}$

${ displaystyle n ({ overline {X}} - mu) ^ {2} sim sigma ^ {2} chi _ {1} ^ {2},}$

Обе эти случайные величины пропорциональны истинной, но неизвестной дисперсии. σ². Таким образом, их соотношение не зависит от σ² и потому, что они статистически независимы. Распределение их отношения дается формулой

${ displaystyle { frac {n left ({ overline {X}} - mu right) ^ {2}} {{ frac {1} {n-1}} sum left (X_ {i } - { overline {X}} right) ^ {2}}} sim { frac { chi _ {1} ^ {2}} {{ frac {1} {n-1}} chi _ {n-1} ^ {2}}} sim F_ {1, n-1}}$

куда F_1,п − 1 это F-распределение с 1 и п - 1 степень свободы (см. Также Распределение Стьюдента). Последним шагом здесь является определение случайной величины, имеющей F-распределение.

Оценка дисперсии

Чтобы оценить дисперсию σ², иногда используется оценка максимальная вероятность оценка дисперсии нормального распределения

${ displaystyle { widehat { sigma}} ^ {2} = { frac {1} {n}} sum left (X_ {i} - { overline {X}} right) ^ {2} .}$

Теорема Кохрана показывает, что

${ displaystyle { frac {n { widehat { sigma}} ^ {2}} { sigma ^ {2}}} sim chi _ {n-1} ^ {2}}$

а свойства распределения хи-квадрат показывают, что

${ displaystyle { begin {align} E left ({ frac {n { widehat { sigma}} ^ {2}} { sigma ^ {2}}} right) & = E left ( chi _ {n-1} ^ {2} right) { frac {n} { sigma ^ {2}}} E left ({ widehat { sigma}} ^ {2} right) & = (n-1) E left ({ widehat { sigma}} ^ {2} right) & = { frac { sigma ^ {2} (n-1)} {n}} конец {выровнено}}}$

Альтернативная формулировка

Следующая версия часто встречается при рассмотрении линейной регрессии.^[5] Предположим, что ${ displaystyle Y sim N_ {n} (0, sigma ^ {2} I_ {n})}$ это стандарт многомерный нормальный случайный вектор (здесь ${ displaystyle I_ {n}}$ обозначает п-к-п единичная матрица), и если ${ Displaystyle A_ {1}, ldots, A_ {k}}$ все п-к-п симметричные матрицы с ${ displaystyle sum _ {я = 1} ^ {k} A_ {i} = I_ {n}}$. Затем при определении ${ displaystyle r_ {i} = operatorname {Rank} (A_ {i})}$, любое из следующих условий влечет за собой два других:

• ${ Displaystyle сумма _ {я = 1} ^ {к} r_ {я} = п,}$
• ${ displaystyle Y ^ {T} A_ {i} Y sim sigma ^ {2} chi _ {r_ {i}} ^ {2}}$ (Таким образом ${ displaystyle A_ {i}}$ находятся положительно полуопределенный)
• ${ displaystyle Y ^ {T} A_ {i} Y}$ не зависит от ${ displaystyle Y ^ {T} A_ {j} Y}$ за ${ displaystyle i neq j.}$

Смотрите также

• Теорема Крамера, при разложении нормального распределения
• Бесконечная делимость (вероятность)

Эта статья нужны дополнительные цитаты для проверка. Пожалуйста помоги улучшить эту статью к добавление цитат в надежные источники. Материал, не полученный от источника, может быть оспорен и удален Найдите источники: "Теорема Кохрана" – Новости · газеты · книги · ученый · JSTOR (Июль 2011 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

Рекомендации