WikiDer > Анализ главных компонентов

СПС многомерное распределение Гаусса с центром в точке (1,3) со стандартным отклонением 3 примерно в направлении (0,866, 0,5) и 1 в ортогональном направлении. Показанные векторы являются собственные векторы из ковариационная матрица масштабируется на квадратный корень из соответствующего собственного значения и сдвигается так, чтобы их хвосты находились в среднем.

В основные компоненты набора точек в настоящий п-Космос представляют собой последовательность ${ displaystyle p}$ векторы направления, где ${ displaystyle i ^ { text {th}}}$ вектор - это направление линии, которое лучше всего соответствует данным, будучи ортогональный к первому ${ displaystyle i-1}$ векторов. Здесь наиболее подходящая линия определяется как линия, которая минимизирует средний квадрат расстояние от точек до линии. Эти направления составляют ортонормированный базис в котором различные индивидуальные измерения данных линейно некоррелированный. Анализ главных компонентов (PCA) - это процесс вычисления основных компонентов и их использования для выполнения изменение основы на данных, иногда используя только несколько первых основных компонентов и игнорируя остальные.

PCA используется в разведочный анализ данных и для изготовления прогнозные модели. Обычно используется для уменьшение размерности проецируя каждую точку данных только на несколько первых основных компонентов, чтобы получить данные меньшей размерности, сохраняя при этом как можно больше вариаций данных. Первый главный компонент может быть эквивалентно определен как направление, которое максимизирует дисперсию прогнозируемых данных. В ${ displaystyle i ^ { text {th}}}$ главную компоненту можно принять как направление, ортогональное первому ${ displaystyle i-1}$ основные компоненты, которые максимизируют дисперсию прогнозируемых данных.

С любой целью можно показать, что главные компоненты собственные векторы данных ковариационная матрица. Таким образом, главные компоненты часто вычисляются путем собственного разложения ковариационной матрицы данных или разложение по сингулярным числам матрицы данных. PCA - простейший из истинных многомерных анализов на основе собственных векторов и тесно связан с факторный анализ. Факторный анализ обычно включает в себя более специфичные для предметной области предположения о базовой структуре и решает собственные векторы немного другой матрицы. PCA также относится к канонический корреляционный анализ (CCA). CCA определяет системы координат, которые оптимально описывают кросс-ковариация между двумя наборами данных, в то время как PCA определяет новый ортогональная система координат который оптимально описывает дисперсию в одном наборе данных.^[1][2][3][4] Надежный и L1-норматакже были предложены варианты стандартного PCA.^[5][6][4]

История

PCA был изобретен в 1901 г. Карл Пирсон,^[7] как аналог теорема о главной оси по механике; позже он был независимо разработан и назван Гарольд Хотеллинг в 1930-е гг.^[8] В зависимости от области применения его также называют дискретным Карунен-Лёв преобразовать (KLT) в обработка сигнала, то Hotelling преобразование в многомерный контроль качества, правильное ортогональное разложение (POD) в машиностроении, разложение по сингулярным числам (СВД) из Икс (Голуб и Ван Лоан, 1983), разложение на собственные значения (EVD) из Икс^ТИкс в линейной алгебре, факторный анализ (обсуждение различий между PCA и факторным анализом см. в главе 7 книги Джоллиффа. Анализ главных компонентов),^[9] Теорема Эккарта – Юнга (Харман, 1960), или эмпирические ортогональные функции (EOF) в метеорологической науке, разложение на эмпирические собственные функции (Сирович, 1987), эмпирический компонентный анализ (Лоренц, 1956), квазигармонические режимы (Брукс и др., 1988), спектральное разложение в шуме и вибрации, и эмпирический модальный анализ в структурной динамике.

Интуиция

PCA можно рассматривать как подходящую п-размерный эллипсоид к данным, где каждая ось эллипсоида представляет главный компонент. Если какая-то ось эллипсоида мала, то отклонение по этой оси также невелико.

Чтобы найти оси эллипсоида, мы должны сначала вычесть среднее значение каждой переменной из набора данных, чтобы центрировать данные вокруг начала координат. Затем мы вычисляем ковариационная матрица данных и вычислить собственные значения и соответствующие собственные векторы этой ковариационной матрицы. Затем мы должны нормализовать каждый из ортогональных собственных векторов, чтобы превратить их в единичные векторы. Как только это будет сделано, каждый из взаимно ортогональных единичных собственных векторов можно интерпретировать как ось эллипсоида, подогнанного к данным. Такой выбор базиса преобразует нашу ковариационную матрицу в диагонализованную форму с диагональными элементами, представляющими дисперсию каждой оси. Долю дисперсии, которую представляет каждый собственный вектор, можно вычислить путем деления собственного значения, соответствующего этому собственному вектору, на сумму всех собственных значений.

подробности

PCA определяется как ортогональный линейное преобразование который преобразует данные в новый система координат таким образом, что наибольшая дисперсия некоторой скалярной проекции данных приходится на первую координату (называемую первым главным компонентом), вторая наибольшая дисперсия - на вторую координату и т. д.^{[9][страница нужна]}

Рассмотрим ${ Displaystyle п раз р}$ данные матрица, Икс, с нулем по столбцам эмпирическое среднее (среднее выборочное значение каждого столбца было сдвинуто до нуля), где каждый из п строки представляют собой разные повторения эксперимента, и каждый из п столбцы содержат особые характеристики (скажем, результаты с определенного датчика).

Математически преобразование определяется набором размеров ${ displaystyle ell}$ из п-мерные векторы весов или коэффициентов ${ displaystyle mathbf {w} _ {(k)} = (w_ {1}, dots, w_ {p}) _ {(k)}}$ которые отображают каждый вектор-строку ${ Displaystyle mathbf {х} _ {(я)}}$ из Икс к новому вектору главной компоненты оценки ${ Displaystyle mathbf {т} _ {(я)} = (т_ {1}, точки, т_ {л}) _ {(я)}}$, данный

${ displaystyle {t_ {k}} _ {(i)} = mathbf {x} _ {(i)} cdot mathbf {w} _ {(k)} qquad mathrm {for} qquad i = 1, точки, n qquad k = 1, dots, l}$

таким образом, чтобы отдельные переменные ${ displaystyle t_ {1}, dots, t _ { ell}}$ из т рассматриваемые по набору данных последовательно наследуют максимально возможную дисперсию от Икс, с каждым вектором коэффициентов ш вынужден быть единичный вектор (где ${ displaystyle ell}$ обычно выбирается меньше, чем ${ displaystyle p}$ для уменьшения размерности).

Первый компонент

Чтобы максимизировать дисперсию, первый вектор весов ш₍₁₎ таким образом должен удовлетворить

${ displaystyle mathbf {w} _ {(1)} = { underset { Vert mathbf {w} Vert = 1} { operatorname { arg , max}}} , left { сумма _ {i} (t_ {1}) _ {(i)} ^ {2} right } = { underset { Vert mathbf {w} Vert = 1} { operatorname { arg , max}}} , left { sum _ {i} left ( mathbf {x} _ {(i)} cdot mathbf {w} right) ^ {2} right }}$

Аналогично, запись этого в матричной форме дает

${ Displaystyle mathbf {w} _ {(1)} = { underset { Vert mathbf {w} Vert = 1} { operatorname { arg , max}}} , { Vert mathbf {Xw} Vert ^ {2} } = { underset { Vert mathbf {w} Vert = 1} { operatorname { arg , max}}} , left { mathbf { ш} ^ {Т} mathbf {X ^ {T}} mathbf {Xw} right }}$

поскольку ш₍₁₎ был определен как единичный вектор, он также удовлетворяет

${ displaystyle mathbf {w} _ {(1)} = { operatorname { arg , max}} , left {{ frac { mathbf {w} ^ {T} mathbf {X ^ {T}} mathbf {Xw}} { mathbf {w} ^ {T} mathbf {w}}} right }}$

Максимальное количество можно распознать как Фактор Рэлея. Стандартный результат для положительно полуопределенная матрица такие как Икс^ТИкс состоит в том, что максимально возможное значение частного является наибольшим собственное значение матрицы, которая возникает при ш соответствующий собственный вектор.

С участием ш₍₁₎ найдено, первая главная компонента вектора данных Икс_(я) затем можно дать оценку т_1(я) = Икс_(я) ⋅ ш₍₁₎ в преобразованных координатах или как соответствующий вектор в исходных переменных, {Икс_(я) ⋅ ш₍₁₎} ш₍₁₎.

Дополнительные компоненты

В k-й компонент можно найти, вычитая первый k - 1 основные компоненты из Икс:

${ displaystyle mathbf { hat {X}} _ {k} = mathbf {X} - sum _ {s = 1} ^ {k-1} mathbf {X} mathbf {w} _ {( s)} mathbf {w} _ {(s)} ^ { rm {T}}}$

а затем находим вектор весов, который извлекает максимальную дисперсию из этой новой матрицы данных

${ displaystyle mathbf {w} _ {(k)} = { underset { Vert mathbf {w} Vert = 1} { operatorname {arg , max}}} left { Vert mathbf { hat {X}} _ {k} mathbf {w} Vert ^ {2} right } = { operatorname { arg , max}} , left {{ tfrac { mathbf {w} ^ {T} mathbf { hat {X}} _ {k} ^ {T} mathbf { hat {X}} _ {k} mathbf {w}} { mathbf {w} ^ {Т} mathbf {w}}} right }}$

Оказывается, это дает оставшиеся собственные векторы Икс^ТИкс, с максимальными значениями в скобках, указанными их соответствующими собственными значениями. Таким образом, весовые векторы являются собственными векторами Икс^ТИкс.

В k-й главный компонент вектора данных Икс_(я) поэтому можно дать оценку т_k(я) = Икс_(я) ⋅ ш_(k) в преобразованных координатах или как соответствующий вектор в пространстве исходных переменных, {Икс_(я) ⋅ ш_(k)} ш_(k), где ш_(k) это k-й собственный вектор Икс^ТИкс.

Полное разложение на главные компоненты Икс поэтому можно представить как

${ Displaystyle mathbf {T} = mathbf {X} mathbf {W}}$

где W это п-от-п матрица весов, столбцы которой являются собственными векторами Икс^ТИкс. Транспонирование W иногда называют отбеливание или сферическое преобразование. Столбцы W умноженные на квадратный корень из соответствующих собственных значений, то есть собственные векторы, увеличенные на дисперсии, называются нагрузки в PCA или в факторном анализе.

Ковариации

Икс^ТИкс сам по себе может быть признан пропорциональным эмпирической выборке ковариационная матрица набора данных Икс^{Т[9]:30–31}.

Выборочная ковариация Q между двумя различными основными компонентами набора данных определяется следующим образом:

${ displaystyle { begin {align} Q ( mathrm {PC} _ {(j)}, mathrm {PC} _ {(k)}) & propto ( mathbf {X} mathbf {w} _ {(j)}) ^ {T} ( mathbf {X} mathbf {w} _ {(k)}) & = mathbf {w} _ {(j)} ^ {T} mathbf { X} ^ {T} mathbf {X} mathbf {w} _ {(k)} & = mathbf {w} _ {(j)} ^ {T} lambda _ {(k)} mathbf {w} _ {(k)} & = lambda _ {(k)} mathbf {w} _ {(j)} ^ {T} mathbf {w} _ {(k)} конец {выровнено}}}$

где свойство собственных значений ш_(k) был использован для перехода от строки 2 к строке 3. Однако собственные векторы ш_(j) и ш_(k) соответствующие собственным значениям симметричной матрицы, ортогональны (если собственные значения разные) или могут быть ортогонализированы (если векторы имеют одинаковое повторяющееся значение). Следовательно, продукт в последней строке равен нулю; нет выборочной ковариации между различными главными компонентами в наборе данных.

Таким образом, другой способ охарактеризовать преобразование основных компонентов - это преобразование в координаты, которые диагонализируют ковариационную матрицу эмпирической выборки.

В матричной форме эмпирическая ковариационная матрица для исходных переменных может быть записана

${ displaystyle mathbf {Q} propto mathbf {X} ^ {T} mathbf {X} = mathbf {W} mathbf { Lambda} mathbf {W} ^ {T}}$

Матрица эмпирической ковариации между главными компонентами становится

${ Displaystyle mathbf {W} ^ {T} mathbf {Q} mathbf {W} propto mathbf {W} ^ {T} mathbf {W} , mathbf { Lambda} , mathbf {W} ^ {T} mathbf {W} = mathbf { Lambda}}$

где Λ - диагональная матрица собственных значений λ_(k) из Икс^ТИкс. λ_(k) равно сумме квадратов по набору данных, связанному с каждым компонентом k, это, λ_(k) = Σ_я т_k²_(я) = Σ_я (Икс_(я) ⋅ ш_(k))².

Снижение размерности

Преобразование Т = Икс W отображает вектор данных Икс_(я) из оригинального пространства п переменные в новое пространство п переменные, которые не коррелированы по набору данных. Однако не все основные компоненты необходимо сохранять. Сохранение только первого L основные компоненты, произведенные с использованием только первых L собственные векторы, дает усеченное преобразование

${ Displaystyle mathbf {T} _ {L} = mathbf {X} mathbf {W} _ {L}}$

где матрица Т_L теперь есть п ряды, но только L столбцы. Другими словами, PCA изучает линейное преобразование ${ displaystyle t = W ^ {T} x, x in R ^ {p}, t in R ^ {L},}$ где столбцы п × L матрица W образуют ортогональный базис для L особенности (компоненты представления т), которые декоррелированы.^[10] По построению из всех преобразованных матриц данных только L столбцов, эта матрица оценок максимизирует дисперсию в исходных данных, которые были сохранены, при минимизации общей квадратичной ошибки восстановления ${ displaystyle | mathbf {T} mathbf {W} ^ {T} - mathbf {T} _ {L} mathbf {W} _ {L} ^ {T} | _ {2} ^ { 2}}$ или ${ Displaystyle | mathbf {X} - mathbf {X} _ {L} | _ {2} ^ {2}}$.

Диаграмма рассеяния анализа главных компонент Y-STR гаплотипы рассчитано из значений числа повторов для 37 STR-маркеров Y-хромосомы от 354 человек.
PCA успешно обнаружил линейные комбинации различных маркеров, которые разделяют разные кластеры, соответствующие различным линиям генетического происхождения Y-хромосомы людей.

Такие уменьшение размерности может быть очень полезным шагом для визуализации и обработки многомерных наборов данных, сохраняя при этом как можно большую дисперсию в наборе данных. Например, выбрав L = 2 и сохранение только первых двух основных компонентов позволяет найти двумерную плоскость в многомерном наборе данных, в котором данные наиболее распространены, поэтому, если данные содержат кластеры они также могут быть наиболее разбросанными и, следовательно, наиболее заметными для отображения на двумерной диаграмме; тогда как если два направления через данные (или две исходные переменные) выбираются случайным образом, кластеры могут быть гораздо меньше разнесены друг от друга и фактически могут иметь гораздо большую вероятность существенно перекрывать друг друга, делая их неразличимыми.

Аналогичным образом в регрессивный анализ, тем больше количество объясняющие переменные разрешено, тем больше вероятность переоснащение модель, делающая выводы, которые нельзя обобщить на другие наборы данных. Один из подходов, особенно при наличии сильной корреляции между различными возможными независимыми переменными, состоит в том, чтобы свести их к нескольким основным компонентам, а затем запустить регрессию против них, метод, называемый регрессия главных компонент.

Уменьшение размерности также может быть целесообразным, когда переменные в наборе данных зашумлены. Если каждый столбец набора данных содержит независимый одинаково распределенный гауссовский шум, то столбцы Т также будет содержать аналогично одинаково распределенный гауссовский шум (такое распределение инвариантно относительно эффектов матрицы W, который можно представить как вращение осей координат в больших размерах). Однако, когда большая часть общей дисперсии сосредоточена в нескольких первых основных компонентах по сравнению с той же дисперсией шума, пропорциональный эффект шума меньше - первые несколько компонентов достигают более высокого уровня. сигнал-шум. Таким образом, PCA может иметь эффект концентрации большей части сигнала в нескольких первых основных компонентах, которые могут быть эффективно захвачены путем уменьшения размерности; в то время как в более поздних основных компонентах может преобладать шум, и поэтому они удаляются без больших потерь. Если набор данных не слишком велик, значимость основных компонентов можно проверить с помощью параметрический бутстрап, как помощь в определении количества основных компонентов, которые необходимо сохранить ^[11].

Разложение по сингулярным числам

Преобразование главных компонент также может быть связано с другой матричной факторизацией, разложение по сингулярным числам (СВД) из Икс,

${ Displaystyle mathbf {X} = mathbf {U} mathbf { Sigma} mathbf {W} ^ {T}}$

Вот Σ является п-от-п прямоугольная диагональная матрица положительных чисел σ_(k), называемые сингулярными значениями Икс; U является п-от-п матрица, столбцы которой являются ортогональными единичными векторами длины п называемые левыми сингулярными векторами Икс; и W это п-от-п столбцы которого являются ортогональными единичными векторами длины п и назвал правыми сингулярными векторами Икс.

В терминах этой факторизации матрица Икс^ТИкс можно написать

${ displaystyle { begin {align} mathbf {X} ^ {T} mathbf {X} & = mathbf {W} mathbf { Sigma} ^ {T} mathbf {U} ^ {T} mathbf {U} mathbf { Sigma} mathbf {W} ^ {T} & = mathbf {W} mathbf { Sigma} ^ {T} mathbf { Sigma} mathbf {W} ^ {T} & = mathbf {W} mathbf { hat { Sigma}} ^ {2} mathbf {W} ^ {T} end {выравнивается}}}$

где ${ displaystyle mathbf { hat { Sigma}}}$ - квадратная диагональная матрица с сингулярными значениями Икс и лишние нули отрублены, что удовлетворяет ${ Displaystyle mathbf {{ шляпа { Sigma}} ^ {2}} = mathbf { Sigma} ^ {T} mathbf { Sigma}}$. Сравнение с факторизацией собственного вектора Икс^ТИкс устанавливает, что правые сингулярные векторы W из Икс эквивалентны собственным векторам Икс^ТИкс, а сингулярные значения σ_(k) из ${ displaystyle mathbf {X}}$ равны квадратному корню из собственных значений λ_(k) из Икс^ТИкс.

Используя сингулярное разложение матрицы оценок Т можно написать

${ displaystyle { begin {align} mathbf {T} & = mathbf {X} mathbf {W} & = mathbf {U} mathbf { Sigma} mathbf {W} ^ {T} mathbf {W} & = mathbf {U} mathbf { Sigma} end {выровнено}}}$

так что каждый столбец Т задается одним из левых особых векторов Икс умноженное на соответствующее сингулярное значение. Эта форма также является полярное разложение из Т.

Существуют эффективные алгоритмы для расчета SVD Икс без необходимости формировать матрицу Икс^ТИкс, поэтому вычисление SVD теперь является стандартным способом расчета анализа главных компонентов на основе матрицы данных.^{[нужна цитата]}, если не требуется только несколько компонентов.

Как и в случае с собственным разложением, усеченный п × L матрица оценок Т_L можно получить, рассматривая только первые L наибольших сингулярных чисел и их сингулярные векторы:

${ Displaystyle mathbf {T} _ {L} = mathbf {U} _ {L} mathbf { Sigma} _ {L} = mathbf {X} mathbf {W} _ {L}}$

Усечение матрицы M или Т использование усеченного разложения по сингулярным числам таким образом дает усеченную матрицу, которая является ближайшей возможной матрицей ранг L к исходной матрице, в смысле разницы между двумя, имеющими наименьшее возможное Норма Фробениуса, результат, известный как теорема Эккарта – Юнга [1936].

Дальнейшие соображения

Учитывая набор точек в Евклидово пространство, первый главный компонент соответствует линии, которая проходит через многомерное среднее и минимизирует сумму квадратов расстояний между точками от линии. Второй главный компонент соответствует той же концепции после того, как вся корреляция с первым главным компонентом была вычтена из точек. Сингулярные значения (в Σ) - квадратные корни из собственные значения матрицы Икс^ТИкс. Каждое собственное значение пропорционально части "дисперсии" (точнее, суммы квадратов расстояний между точками от их многомерного среднего), которая связана с каждым собственным вектором. Сумма всех собственных значений равна сумме квадратов расстояний между точками от их многомерного среднего. PCA по существу вращает набор точек вокруг их среднего значения, чтобы выровняться с основными компонентами. Это перемещает как можно большую часть дисперсии (с использованием ортогонального преобразования) в первые несколько измерений. Следовательно, значения в остальных измерениях, как правило, малы и могут быть отброшены с минимальной потерей информации (см. ниже). PCA часто используется таким образом для уменьшение размерности. PCA отличается тем, что является оптимальным ортогональным преобразованием для сохранения подпространства, которое имеет наибольшую «дисперсию» (как определено выше). Это преимущество, однако, достигается ценой более высоких вычислительных требований по сравнению, например, и, когда это применимо, с дискретное косинусное преобразование, и, в частности, DCT-II, который просто известен как «DCT». Нелинейное уменьшение размерности методы обычно более требовательны к вычислениям, чем PCA.

PCA чувствителен к масштабированию переменных. Если у нас всего две переменные, и у них одинаковые выборочная дисперсия и положительно коррелированы, то PCA повлечет за собой поворот на 45 °, и «веса» (они являются косинусами вращения) для двух переменных по отношению к главному компоненту будут равны. Но если мы умножим все значения первой переменной на 100, то первый главный компонент будет почти таким же, как эта переменная, с небольшим вкладом от другой переменной, тогда как второй компонент будет почти выровнен со второй исходной переменной. Это означает, что всякий раз, когда разные переменные имеют разные единицы измерения (например, температуру и массу), PCA является несколько произвольным методом анализа. (Например, если использовать градусы Фаренгейта, а не Цельсия, можно получить разные результаты). Первоначальная статья Пирсона была озаглавлена ​​«О линиях и плоскостях, наиболее приближенных к системам точек в пространстве» - «в пространстве» подразумевает физическое евклидово пространство, где такие проблемы возникают. не возникнет. Один из способов сделать PCA менее произвольным - использовать переменные, масштабированные так, чтобы иметь единичную дисперсию, путем стандартизации данных и, следовательно, использовать матрицу автокорреляции вместо матрицы автоковариации в качестве основы для PCA.Однако это сжимает (или расширяет) флуктуации во всех измерениях пространства сигналов до единичной дисперсии.

Среднее вычитание (также известное как «среднее центрирование») необходимо для выполнения классического PCA, чтобы гарантировать, что первый главный компонент описывает направление максимальной дисперсии. Если вычитание среднего не выполняется, первый главный компонент может вместо этого более или менее соответствовать среднему значению данных. Для нахождения базиса, минимизирующего среднеквадратичная ошибка аппроксимации данных.^[12]

Центрирование среднего значения не требуется при выполнении анализа главных компонентов на корреляционной матрице, так как данные уже центрированы после вычисления корреляций. Корреляции выводятся из перекрестного произведения двух стандартных оценок (Z-баллов) или статистических моментов (отсюда и название: Корреляция продукта и момента Пирсона). См. Также статью Kromrey & Foster-Johnson (1998) о «Центрирование среднего в умеренной регрессии: много шума из ничего».

PCA - популярный первичный метод в распознавание образов. Однако он не оптимизирован для разделения классов.^[13] Однако его использовали для количественной оценки расстояния между двумя или более классами путем вычисления центра масс для каждого класса в пространстве главных компонентов и сообщения евклидова расстояния между центрами масс двух или более классов.^[14] В линейный дискриминантный анализ - это альтернатива, оптимизированная для разделения классов.

Таблица символов и сокращений

Символ	Смысл	Габаритные размеры	Индексы
${ Displaystyle mathbf {X} = {X_ {ij} }}$	матрица данных, состоящая из набора всех векторов данных, по одному вектору на строку	${ Displaystyle п раз р}$	${ Displaystyle я = 1 ldots п}$ ${ Displaystyle J = 1 ldots p}$
${ Displaystyle п ,}$	количество векторов-строк в наборе данных	${ Displaystyle 1 раз 1}$	скаляр
${ displaystyle p ,}$	количество элементов в каждом векторе-строке (размерность)	${ Displaystyle 1 раз 1}$	скаляр
${ Displaystyle L ,}$	количество измерений в размерно уменьшенном подпространстве, ${ displaystyle 1 leq L leq p}$	${ Displaystyle 1 раз 1}$	скаляр
${ displaystyle mathbf {u} = {u_ {j} }}$	вектор эмпирических означает, одно среднее значение для каждого столбца j матрицы данных	${ displaystyle p times 1}$	${ displaystyle j = 1 ldots p}$
${ Displaystyle mathbf {s} = {s_ {j} }}$	вектор эмпирических Стандартное отклонение, одно стандартное отклонение для каждого столбца j матрицы данных	${ displaystyle p times 1}$	${ Displaystyle J = 1 ldots p}$
${ displaystyle mathbf {h} = {h_ {i} }}$	вектор всех единиц	${ Displaystyle 1 раз п}$	${ Displaystyle я = 1 ldots п}$
${ Displaystyle mathbf {B} = {B_ {ij} }}$	отклонения от среднего значения каждого столбца j матрицы данных	${ Displaystyle п раз р}$	${ Displaystyle я = 1 ldots п}$ ${ Displaystyle J = 1 ldots p}$
${ Displaystyle mathbf {Z} = {Z_ {ij} }}$	z-значения, рассчитывается с использованием среднего и стандартного отклонения для каждой строки м матрицы данных	${ Displaystyle п раз р}$	${ Displaystyle я = 1 ldots п}$ ${ Displaystyle J = 1 ldots p}$
${ Displaystyle mathbf {C} = {C_ {jj '} }}$	ковариационная матрица	${ displaystyle p times p}$	${ Displaystyle J = 1 ldots p}$ ${ displaystyle j '= 1 ldots p}$
${ Displaystyle mathbf {R} = {R_ {jj '} }}$	корреляционная матрица	${ displaystyle p times p}$	${ Displaystyle J = 1 ldots p}$ ${ displaystyle j '= 1 ldots p}$
${ Displaystyle mathbf {V} = {V_ {jj '} }}$	матрица, состоящая из множества всех собственные векторы из C, один собственный вектор на столбец	${ displaystyle p times p}$	${ displaystyle j = 1 ldots p}$ ${ displaystyle j '= 1 ldots p}$
${ Displaystyle mathbf {D} = {D_ {jj '} }}$	диагональная матрица состоящий из множества всех собственные значения из C вдоль его главная диагональ, и 0 для всех остальных элементов	${ displaystyle p times p}$	${ Displaystyle J = 1 ldots p}$ ${ displaystyle j '= 1 ldots p}$
${ Displaystyle mathbf {W} = {W_ {jl} }}$	матрица базисных векторов, по одному вектору на столбец, где каждый базисный вектор является одним из собственных векторов C, а векторы в W являются частью тех, кто в V	${ displaystyle p times L}$	${ Displaystyle J = 1 ldots p}$ ${ Displaystyle L = 1 ldots L}$
${ Displaystyle mathbf {T} = {T_ {il} }}$	матрица, состоящая из п векторы-строки, где каждый вектор является проекцией соответствующего вектора данных из матрицы Икс на базисные векторы, содержащиеся в столбцах матрицы W.	${ Displaystyle п раз L}$	${ Displaystyle я = 1 ldots п}$ ${ Displaystyle L = 1 ldots L}$

Свойства и ограничения PCA

Свойства

Некоторые свойства PCA включают:^{[9][страница нужна]}

Свойство 1: Для любого целого числа q, 1 ≤ q ≤ п, рассмотрим ортогональные линейное преобразование

${ Displaystyle у = mathbf {B '} х}$

где ${ displaystyle y}$ это q-элемент вектор и ${ displaystyle mathbf {B '}}$ это (q × п) матрица, и пусть ${ Displaystyle mathbf { Sigma} _ {y} = mathbf {B '} mathbf { Sigma} mathbf {B}}$ быть отклонение-ковариация матрица для ${ displaystyle y}$. Тогда след ${ Displaystyle mathbf { Sigma} _ {y}}$, обозначенный ${ Displaystyle OperatorName {tr} ( mathbf { Sigma} _ {y})}$, максимизируется, если взять ${ Displaystyle mathbf {B} = mathbf {A} _ {q}}$, где ${ displaystyle mathbf {A} _ {q}}$ состоит из первых q столбцы ${ displaystyle mathbf {A}}$ ${ displaystyle ( mathbf {B '}}$ это транспозиция ${ displaystyle mathbf {B})}$.

Свойство 2: Снова рассмотрим ортонормированное преобразование

${ Displaystyle у = mathbf {B '} х}$

с участием ${ Displaystyle х, mathbf {B}, mathbf {A}}$ и ${ displaystyle mathbf { Sigma} _ {y}}$ определяется как раньше. потом ${ Displaystyle OperatorName {tr} ( mathbf { Sigma} _ {y})}$ сводится к минимуму, принимая ${ Displaystyle mathbf {B} = mathbf {A} _ {q} ^ {*},}$ где ${ displaystyle mathbf {A} _ {q} ^ {*}}$ состоит из последних q столбцы ${ displaystyle mathbf {A}}$.

Статистическое значение этого свойства состоит в том, что последние несколько ПК не являются просто неструктурированными остатками после удаления важных ПК. Поскольку эти последние ПК имеют минимально возможные отклонения, они полезны сами по себе. Они могут помочь обнаружить неожиданные почти постоянные линейные отношения между элементами Икс, и они также могут быть полезны в регресс, при выборе подмножества переменных из Икс, и в обнаружении выбросов.

Свойство 3: (Спектральное разложение Σ)

${ displaystyle mathbf { Sigma} = lambda _ {1} alpha _ {1} alpha _ {1} '+ cdots + lambda _ {p} alpha _ {p} alpha _ {p } '}$

Прежде чем мы рассмотрим его использование, мы сначала рассмотрим диагональ элементы

${ displaystyle operatorname {Var} (x_ {j}) = sum _ {k = 1} ^ {P} lambda _ {k} alpha _ {kj} ^ {2}}$

Тогда, возможно, основным статистическим следствием этого результата является то, что мы не только можем разложить комбинированные дисперсии всех элементов Икс на уменьшение взносов каждого ПК, но мы также можем разложить все ковариационная матрица в взносы ${ displaystyle lambda _ {k} alpha _ {k} alpha _ {k} '}$ с каждого ПК. Хотя это и не уменьшается строго, элементы ${ displaystyle lambda _ {k} alpha _ {k} alpha _ {k} '}$ будет стремиться к уменьшению по мере ${ displaystyle k}$ увеличивается, поскольку ${ displaystyle lambda _ {k} alpha _ {k} alpha _ {k} '}$ не увеличивается при увеличении ${ displaystyle k}$, а элементы ${ displaystyle alpha _ {k}}$ имеют тенденцию оставаться примерно того же размера из-за ограничений нормализации: ${ displaystyle alpha _ {k} ' alpha _ {k} = 1, k = 1, dots, p}$.

Ограничения

Как отмечалось выше, результаты PCA зависят от масштабирования переменных. Это можно исправить, масштабируя каждый объект по его стандартному отклонению, так что в итоге получаются безразмерные объекты с единичной дисперсией.^[15]

Применимость PCA, как описано выше, ограничена некоторыми (неявными) предположениями.^[16] сделано в его выводе. В частности, PCA может фиксировать линейные корреляции между функциями, но не работает, когда это предположение нарушается (см. Рисунок 6a в ссылке). В некоторых случаях преобразования координат могут восстановить предположение о линейности, и затем можно будет применить PCA (см. ядро PCA).

Еще одно ограничение - это процесс удаления среднего до построения ковариационной матрицы для PCA. В таких областях, как астрономия, все сигналы неотрицательны, и процесс удаления среднего заставит среднее значение некоторых астрофизических воздействий равняться нулю, что, следовательно, создает нефизические отрицательные потоки,^[17] и необходимо выполнить прямое моделирование, чтобы восстановить истинную величину сигналов.^[18] В качестве альтернативного метода неотрицательная матричная факторизация сосредоточение внимания только на неотрицательных элементах в матрицах, что хорошо подходит для астрофизических наблюдений.^[19][20][21] Смотрите больше на Связь между PCA и неотрицательной матричной факторизацией.

PCA и теория информации

Снижение размерности, как правило, приводит к потере информации. Уменьшение размерности на основе PCA имеет тенденцию минимизировать эту потерю информации при определенных моделях сигнала и шума.

В предположении, что

${ Displaystyle mathbf {x} = mathbf {s} + mathbf {n},}$

то есть вектор данных ${ displaystyle mathbf {x}}$ является суммой желаемого информационного сигнала ${ displaystyle mathbf {s}}$ и шумовой сигнал ${ Displaystyle mathbf {п}}$ можно показать, что PCA может быть оптимальным для уменьшения размерности с теоретико-информационной точки зрения.

В частности, Линскер показал, что если ${ displaystyle mathbf {s}}$ гауссовский и ${ Displaystyle mathbf {п}}$ является гауссовским шумом с ковариационной матрицей, пропорциональной единичной матрице, PCA максимизирует взаимная информация ${ Displaystyle I ( mathbf {y}; mathbf {s})}$ между желаемой информацией ${ displaystyle mathbf {s}}$ и выход с уменьшенной размерностью ${ Displaystyle mathbf {y} = mathbf {W} _ {L} ^ {T} mathbf {x}}$.^[22]

Если шум по-прежнему гауссовский и имеет ковариационную матрицу, пропорциональную единичной матрице (то есть компоненты вектора ${ Displaystyle mathbf {п}}$ находятся iid), но информационный сигнал ${ displaystyle mathbf {s}}$ не гауссово (что является обычным сценарием), PCA по крайней мере минимизирует верхнюю границу потеря информации, который определяется как^[23][24]

${ displaystyle I ( mathbf {x}; mathbf {s}) -I ( mathbf {y}; mathbf {s}).}$

Оптимальность PCA также сохраняется, если шум ${ Displaystyle mathbf {п}}$ iid и как минимум более гауссовский (с точки зрения Дивергенция Кульбака – Лейблера) чем информационный сигнал ${ displaystyle mathbf {s}}$.^[25] В общем, даже если описанная выше модель сигнала верна, PCA теряет свою теоретико-информационную оптимальность, как только шум ${ Displaystyle mathbf {п}}$ становится зависимым.

Вычисление PCA с использованием метода ковариации

Ниже приводится подробное описание PCA с использованием метода ковариации (см. Также Вот) в отличие от метода корреляции.^[26]

Цель состоит в том, чтобы преобразовать данный набор данных Икс измерения п к альтернативному набору данных Y меньшего размера L. Аналогично, мы ищем матрицу Y, где Y это Карунен-Лёв преобразование (KLT) матрицы Икс:

${ Displaystyle mathbf {Y} = mathbb {KLT} { mathbf {X} }}$

Организуйте набор данных

Предположим у вас есть данные, содержащие набор наблюдений за п переменные, и вы хотите уменьшить данные, чтобы каждое наблюдение можно было описать только L переменные, L < п. Предположим далее, что данные организованы как набор п векторы данных ${ Displaystyle mathbf {x} _ {1} ldots mathbf {x} _ {n}}$ с каждым ${ Displaystyle mathbf {х} _ {я}}$ представляет собой единое сгруппированное наблюдение п переменные.

• Написать ${ displaystyle mathbf {x} _ {1} ldots mathbf {x} _ {n}}$ как векторы-строки, каждый из которых имеет п столбцы.
• Поместите векторы-строки в единую матрицу Икс размеров п × п.

Рассчитайте эмпирическое среднее

• Найдите эмпирическое среднее значение в каждом столбце j = 1, ..., п.
• Поместите вычисленные средние значения в вектор эмпирического среднего ты размеров п × 1.

${ displaystyle u_ {j} = {1 over n} sum _ {i = 1} ^ {n} X_ {ij}}$

Рассчитайте отклонения от среднего

Среднее вычитание является неотъемлемой частью решения по поиску базиса главных компонент, который минимизирует среднеквадратичную ошибку аппроксимации данных.^[27] Следовательно, мы продолжаем центрировать данные следующим образом:

• Вычтите эмпирический средний вектор ${ displaystyle mathbf {u} ^ {T}}$ из каждой строки матрицы данных Икс.
• Хранить данные с вычитанием среднего в п × п матрица B.

${ Displaystyle mathbf {B} = mathbf {X} - mathbf {h} mathbf {u} ^ {T}}$

где час является п × 1 вектор-столбец всех единиц:

${ displaystyle h_ {i} = 1 , qquad qquad { text {for}} i = 1, ldots, n}$

В некоторых приложениях каждая переменная (столбец B) также можно масштабировать, чтобы иметь дисперсию, равную 1 (см. Z-оценка).^[28] Этот шаг влияет на вычисленные главные компоненты, но делает их независимыми от единиц измерения различных переменных.

Найдите ковариационную матрицу

• Найти п × п эмпирический ковариационная матрица C из матрицы B:

${ displaystyle mathbf {C} = {1 over {n-1}} mathbf {B} ^ {*} mathbf {B}}$

где ${ displaystyle *}$ это сопряженный транспонировать оператор. Если B полностью состоит из действительных чисел, что имеет место во многих приложениях, "сопряженное транспонирование" совпадает с обычным транспонировать.

• Причина использования п − 1 вместо того п для вычисления ковариации Поправка Бесселя.

Найдите собственные векторы и собственные значения ковариационной матрицы

• Вычислить матрицу V из собственные векторы который диагонализует ковариационная матрица C:

${ Displaystyle mathbf {V} ^ {- 1} mathbf {C} mathbf {V} = mathbf {D}}$

где D это диагональная матрица из собственные значения из C. Этот шаг обычно включает использование компьютерного алгоритма для вычисление собственных векторов и собственных значений. Эти алгоритмы легко доступны в качестве подкомпонентов большинства матричная алгебра системы, такие как SAS,^[29] р, MATLAB,^[30][31] Mathematica,^[32] SciPy, IDL (Интерактивный язык данных), или GNU Octave а также OpenCV.

• Матрица D примет форму п × п диагональная матрица, где

${ displaystyle D_ {k ell} = lambda _ {k} qquad { text {for}} k = ell}$

это jсобственное значение ковариационной матрицы C, и

${ displaystyle D_ {k ell} = 0 qquad { text {for}} k neq ell.}$

• Матрица V, также размерности п × п, содержит п векторы-столбцы, каждый длиной п, которые представляют п собственные векторы ковариационной матрицы C.
• Собственные значения и собственные векторы упорядочены и объединены в пары. В jсобственное значение соответствует j-й собственный вектор.
• Матрица V обозначает матрицу правильно собственные векторы (в отличие от осталось собственные векторы). В общем случае матрица правых собственных векторов требует не быть (сопряженным) транспонированием матрицы левых собственных векторов.

Переставим собственные векторы и собственные значения

• Сортировать столбцы матрицы собственных векторов V и матрица собственных значений D в порядке уменьшение собственное значение.
• Убедитесь, что между столбцами каждой матрицы установлены правильные пары.

Вычислите совокупное энергосодержание для каждого собственного вектора

• Собственные значения представляют собой распределение энергии исходных данных.^{[требуется разъяснение]} между каждым из собственных векторов, где собственные векторы образуют основа для данных. Суммарная энергоемкость г для j-й собственный вектор - это сумма содержания энергии по всем собственным значениям от 1 до j:

${ displaystyle g_ {j} = sum _ {k = 1} ^ {j} D_ {kk} qquad { text {for}} j = 1, dots, p}$^{[нужна цитата]}

Выберите подмножество собственных векторов в качестве базисных векторов

• Сохраните первый L столбцы V как п × L матрица W:

${ displaystyle W_ {kl} = V_ {k ell} qquad { text {for}} k = 1, dots, p qquad ell = 1, dots, L}$

где

${ Displaystyle 1 Leq L Leq p.}$

• Используйте вектор г в качестве руководства при выборе подходящего значения для L. Цель состоит в том, чтобы выбрать значение L как можно меньше при достижении достаточно высокого значения г на процентной основе. Например, вы можете выбрать L так что совокупная энергия г выше определенного порога, например 90 процентов. В этом случае выберите наименьшее значение L такой, что

${ displaystyle { frac {g_ {L}} {g_ {p}}} geq 0.9 ,}$

Спроецируйте данные на новую основу

• Спроецированные точки данных - это строки матрицы

${ Displaystyle mathbf {T} = mathbf {B} cdot mathbf {W}}$

То есть первый столбец ${ displaystyle mathbf {T}}$ - это проекция точек данных на первый главный компонент, второй столбец - это проекция на второй главный компонент и т. д.

Вывод PCA методом ковариации

Позволять Икс быть d-мерный случайный вектор, выраженный как вектор-столбец. Без потери общности предположим Икс имеет нулевое среднее.

Мы хотим найти ${ Displaystyle ( ast) ,}$ а d × d матрица ортонормированного преобразования п так что PX имеет диагональную ковариационную матрицу (т. е. PX является случайным вектором со всеми его различными компонентами, попарно некоррелированными).

Быстрое вычисление, предполагающее ${ displaystyle P}$ были унитарные доходности:

${ displaystyle { begin {align} operatorname {cov} (PX) & = operatorname {E} [PX ~ (PX) ^ {*}] & = operatorname {E} [PX ~ X ^ { *} P ^ {*}] & = P operatorname {E} [XX ^ {*}] P ^ {*} & = P operatorname {cov} (X) P ^ {- 1} конец {выровнено}}}$

Следовательно ${ Displaystyle ( ast) ,}$ выполняется тогда и только тогда, когда ${ displaystyle operatorname {cov} (X)}$ были диагонализованы ${ displaystyle P}$.

Это очень конструктивно, так как cov (Икс) гарантированно является неотрицательно определенной матрицей и, таким образом, гарантированно диагонализируется некоторой унитарной матрицей.

Расчет без ковариации

В практических реализациях, особенно с данные большого размера (большой п), наивный метод ковариации используется редко, поскольку он неэффективен из-за больших вычислительных затрат и затрат памяти на явное определение ковариационной матрицы. Бесковариационный подход позволяет избежать нп² операции явного вычисления и хранения ковариационной матрицы Икс^ТИкс, вместо использования одного из безматричные методы, например, на основе функции оценки продукта Икс^Т(X r) по цене 2нп операции.

Итерационное вычисление

Один из способов эффективного вычисления первого главного компонента^[33] показан в следующем псевдокоде для матрицы данных Икс с нулевым средним, без вычисления его ковариационной матрицы.

р = случайный вектор длины п${ displaystyle  mathbf {r} = { frac { mathbf {r}} {|  mathbf {r} |}}}$делать c раз: s = 0 (вектор длины п)      для каждой строки ${ Displaystyle  mathbf {x}  in  mathbf {X}}$            ${ Displaystyle  mathbf {s} =  mathbf {s} + ( mathbf {x}  cdot  mathbf {r})  mathbf {x}}$      ${ displaystyle { text {собственное значение}} =  mathbf {r} ^ {T}  mathbf {s}}$      ${ displaystyle { text {error}} = | { text {eigenvalue}}  cdot  mathbf {r} -  mathbf {s} |}$      ${ displaystyle  mathbf {r} = { frac { mathbf {s}} {|  mathbf {s} |}}}$      выйти, если ${ displaystyle { text {error}} <{ text {терпимость}}}$вернуть ${ displaystyle { text {собственное значение}},  mathbf {r}}$

Эта итерация мощности алгоритм просто вычисляет вектор Икс^Т(X r), нормализует и возвращает результат в р. Собственное значение аппроксимируется формулой р^Т (ИКС^ТX) г, какой Фактор Рэлея на единичном векторе р для ковариационной матрицы Икс^ТИкс . Если наибольшее сингулярное значение хорошо отделено от следующего наибольшего, вектор р приближается к первому главному компоненту Икс за количество итераций c, который мал относительно п, на полную стоимость 2cnp. В итерация мощности сходимость можно ускорить без заметного ущерба для небольших затрат на итерацию, используя более продвинутые безматричные методы, такой как Алгоритм Ланцоша или локально оптимальный блочный предварительно обусловленный сопряженный градиент (LOBPCG) метод.

Последующие главные компоненты могут вычисляться один за другим посредством дефляции или одновременно как блок. В первом подходе неточности в уже вычисленных приближенных главных компонентах аддитивно влияют на точность вычисляемых впоследствии главных компонентов, тем самым увеличивая ошибку с каждым новым вычислением. Последний подход в методе блочной мощности заменяет одновекторные р и s с блок-векторами, матрицами р и S. Каждый столбец р аппроксимирует одну из ведущих главных компонент, при этом все столбцы повторяются одновременно. Основной расчет - оценка продукта. Икс^Т(X R). Реализовано, например, в LOBPCG, эффективная блокировка исключает накопление ошибок, позволяет использовать высокоуровневые BLAS матрица-матрица функций произведения, и обычно приводит к более быстрой сходимости по сравнению с методом «один за одним» для одного вектора.

Метод НИПАЛС

Нелинейные итерационные частичные наименьшие квадраты (NIPALS) это вариант классического итерация мощности с дефляцией матрицы вычитанием, реализованной для вычисления первых нескольких компонентов в главном компоненте или частичные наименьшие квадраты анализ. Для очень многомерных наборов данных, например, созданных в * омических науках (например, геномика, метаболомика) обычно требуется вычислить только несколько первых компьютеров. В нелинейные итерационные частичные наименьшие квадраты Алгоритм (NIPALS) обновляет итерационные приближения к ведущим баллам и нагрузкам т₁ и р₁^Т посредством итерация мощности умножение на каждой итерации на Икс слева и справа, то есть исключается вычисление ковариационной матрицы, как и в безматричной реализации степенных итераций для Икс^ТИкс, на основе функции оценки продукта Икс^Т(X r) = ((X r)^ТИКС)^Т.

Сдувание матрицы путем вычитания выполняется путем вычитания внешнего произведения, т₁р₁^Т от Икс оставив дефлированную остаточную матрицу, используемую для вычисления последующих ведущих PC.^[34]Для больших матриц данных или матриц с высокой степенью коллинеарности столбцов NIPALS страдает от потери ортогональности ПК из-за машинной точности. ошибки округления накапливаются в каждой итерации и дефляции матрицы путем вычитания.^[35] А Грам – Шмидт Алгоритм реортогонализации применяется как к оценкам, так и к нагрузкам на каждом этапе итерации, чтобы устранить эту потерю ортогональности.^[36] Использование НИПАЛА в умножении одного вектора не может использовать преимущества высокоуровневого BLAS и приводит к медленной сходимости для кластеризованных ведущих сингулярных значений - оба эти недостатка устраняются в более сложных безматричных блочных решателях, таких как локально оптимальный блочный предварительно обусловленный сопряженный градиент (LOBPCG) метод.

Онлайн / последовательная оценка

В ситуации «онлайн» или «потоковой передачи», когда данные поступают по частям, а не хранятся в одном пакете, полезно сделать оценку прогноза PCA, который можно обновлять последовательно. Это можно сделать эффективно, но требуются другие алгоритмы.^[37]

PCA и качественные переменные

В PCA обычно мы хотим ввести качественные переменные в качестве дополнительных элементов. Например, многие количественные переменные были измерены на растениях. Для этих растений доступны некоторые качественные переменные, например, вид, к которому растение принадлежит. Эти данные были подвергнуты PCA для количественных переменных. При анализе результатов естественно связать главные компоненты с качественной переменной. видыДля этого были получены следующие результаты.

• Идентификация на факторных планах разных видов, например, с использованием разных цветов.
• Изображение на факторных планах центров тяжести растений, принадлежащих к одному виду.
• Для каждого центра тяжести и каждой оси значение p, чтобы судить о значимости разницы между центром тяжести и исходной точкой.

Эти результаты называются введение качественной переменной в качестве дополнительного элемента. Эта процедура подробно описана в статьях Husson, Lê & Pagès 2009 и Pagès 2013. Немногие программы предлагают эту опцию «автоматически». Это случай SPAD что исторически после работы Людовик Лебарт, был первым, кто предложил этот вариант, а пакет R FactoMineR.

Приложения

Количественное финансирование

В количественное финансирование, анализ главных компонент может быть непосредственно применен к управление рисками из производная процентная ставка портфели.^[38] Торговля по нескольким поменять местами инструменты которые обычно являются функцией 30–500 других рыночных котируемых свопов, которые обычно сводятся к 3 или 4 основным компонентам, представляющим динамику процентных ставок на макроуровне. Преобразование рисков в факторные нагрузки (или множители) обеспечивает оценки и понимание, выходящие за рамки простого коллективного просмотра рисков для отдельных 30–500 сегментов.

PCA также был применен к портфели акций аналогичным образом^[39] как к портфельный риск и чтобы возврат риска. Одно из приложений - снизить риск портфеля, когда стратегии распределения применяются к «основным портфелям» вместо базовых акций.^[40] Во-вторых, повысить доходность портфеля, используя основные компоненты для выберите акции с потенциалом роста.^{[нужна цитата]}

Неврология

Вариант анализа главных компонент используется в нейробиология для определения специфических свойств стимула, которые увеличивают нейронвероятность создания потенциал действия.^[41] Этот метод известен как ковариационный анализ, запускаемый спайком. В типичном приложении экспериментатор представляет белый шум процесс в качестве стимула (обычно либо как сенсорный ввод для испытуемого, либо как текущий вводится непосредственно в нейрон) и записывает последовательность потенциалов действия или всплесков, создаваемых нейроном в результате. Предположительно, определенные особенности стимула повышают вероятность спайк нейрона. Чтобы выделить эти особенности, экспериментатор вычисляет ковариационная матрица из триггерный ансамбль, набор всех стимулов (определенных и дискретизированных в течение конечного временного окна, обычно порядка 100 мс), которые непосредственно предшествуют всплеску. В собственные векторы различия между ковариационной матрицей, запускаемой спайком, и ковариационной матрицей ансамбль предшествующих стимулов (набор всех стимулов, определенных в одном временном окне), затем укажите направления в Космос стимулов, по которым дисперсия инициированного спайком ансамбля больше всего отличалась от дисперсии предшествующего ансамбля стимулов. В частности, собственные векторы с наибольшими положительными собственными значениями соответствуют направлениям, вдоль которых дисперсия инициированного всплесками ансамбля показала наибольшее положительное изменение по сравнению с дисперсией предыдущего. Поскольку это были направления, в которых изменение стимула приводило к всплеску, они часто являются хорошим приближением искомых соответствующих характеристик стимула.

В неврологии PCA также используется для распознавания идентичности нейрона по форме его потенциала действия. Сортировка шипов это важная процедура, потому что внеклеточный методы записи часто улавливают сигналы от более чем одного нейрона. При сортировке пиков сначала используется PCA для уменьшения размерности пространства форм сигналов потенциала действия, а затем выполняется кластерный анализ чтобы связать определенные потенциалы действия с отдельными нейронами.

PCA как метод уменьшения размеров особенно подходит для обнаружения скоординированных действий больших нейронных ансамблей. Он использовался при определении коллективных переменных, то есть параметры заказа, в течение фазовые переходы в мозгу.^[42]

Связь с другими методами

Анализ корреспонденции

Анализ корреспонденции (CA) был разработан Жан-Поль Бензекри^[43]и концептуально похож на PCA, но масштабирует данные (которые должны быть неотрицательными) так, чтобы строки и столбцы обрабатывались одинаково. Традиционно применяется к таблицы непредвиденных обстоятельств.CA разлагает статистика хи-квадрат связанные с этой таблицей в ортогональные факторы.^[44]Поскольку CA является описательной техникой, ее можно применять к таблицам, для которых подходит статистика хи-квадрат. Доступно несколько вариантов CA, включая анализ соответствия без тренда и анализ канонических соответствий. Одно специальное расширение - анализ множественной корреспонденции, который можно рассматривать как аналог анализа главных компонентов для категориальных данных.^[45]

Факторный анализ

Анализ главных компонентов создает переменные, которые представляют собой линейные комбинации исходных переменных. Новые переменные обладают тем свойством, что все переменные ортогональны. Преобразование PCA может быть полезно на этапе предварительной обработки перед кластеризацией. PCA - это подход, ориентированный на дисперсию, направленный на воспроизведение общей дисперсии переменной, в которой компоненты отражают как общую, так и уникальную дисперсию переменной. PCA обычно предпочтительнее для целей сокращения данных (то есть перевода пространства переменных в оптимальное пространство факторов), но не тогда, когда целью является обнаружение скрытой конструкции или факторов.

Факторный анализ аналогичен анализу главных компонентов, поскольку факторный анализ также включает линейные комбинации переменных. В отличие от PCA, факторный анализ - это подход, ориентированный на корреляцию, стремящийся воспроизвести взаимные корреляции между переменными, в которых факторы «представляют собой общую дисперсию переменных, исключая уникальную дисперсию».^[46] В терминах корреляционной матрицы это соответствует сосредоточению внимания на объяснении недиагональных членов (то есть общей ковариации), в то время как PCA фокусируется на объяснении терминов, которые находятся на диагонали. Однако, как побочный результат, при попытке воспроизвести недиагональные члены PCA также имеет тенденцию относительно хорошо соответствовать недиагональным корреляциям.^[9]:158 Результаты, полученные с помощью PCA и факторного анализа, очень похожи в большинстве ситуаций, но это не всегда так, и есть некоторые проблемы, когда результаты существенно отличаются. Факторный анализ обычно используется, когда целью исследования является обнаружение структуры данных (то есть скрытых конструкций или факторов) или причинное моделирование. Если факторная модель сформулирована неправильно или предположения не выполняются, то факторный анализ даст ошибочные результаты.^[47]

K-средства кластеризации

Утверждалось, что расслабленное решение k-средства кластеризации, определяемый индикаторами кластера, задается главными компонентами, а подпространство PCA, охватываемое основными направлениями, идентично подпространству центроида кластера.^[48][49] Однако этот PCA является полезным ослаблением k-значит, кластеризация не была новым результатом,^[50] и несложно обнаружить контрпримеры к утверждению, что подпространство центроида кластера натянуто на главные направления.^[51]

Неотрицательная матричная факторизация

Графики фракционной остаточной дисперсии (FRV) для PCA и NMF;^[21] для PCA теоретические значения являются вкладом остаточных собственных значений. Для сравнения, кривые FRV для PCA достигают плоского плато, на котором эффективно не фиксируется никакой сигнал; в то время как кривые NMF FRV непрерывно снижаются, что указывает на лучшую способность захвата сигнала. Кривые FRV для NMF также сходятся к более высоким уровням, чем PCA, что указывает на свойство NMF с меньшей переобученностью.

Неотрицательная матричная факторизация (NMF) - это метод уменьшения размерности, при котором используются только неотрицательные элементы в матрицах, что, следовательно, является многообещающим методом в астрономии.^[19][20][21] в том смысле, что астрофизические сигналы неотрицательны. Компоненты PCA ортогональны друг другу, в то время как компоненты NMF все неотрицательны и, следовательно, создают неортогональный базис.

В PCA вклад каждого компонента оценивается на основе величины его соответствующего собственного значения, что эквивалентно дробной остаточной дисперсии (FRV) при анализе эмпирических данных.^[17] Для NMF его компоненты ранжируются только на основе эмпирических кривых FRV.^[21] Остаточные дробные графики собственных значений, то есть ${ displaystyle 1- sum _ {i = 1} ^ {k} lambda _ {i} { Big /} sum _ {j = 1} ^ {n} lambda _ {j}}$ в зависимости от номера компонента ${ displaystyle k}$ учитывая в общей сложности ${ displaystyle n}$ компонентов, для PCA есть плоское плато, где не собираются данные для удаления квазистатического шума, а затем кривые быстро падают, что указывает на чрезмерную подгонку и фиксирует случайный шум.^[17] Кривые FRV для NMF непрерывно убывают. ^[21] когда компоненты NMF построены последовательно,^[20] индикация непрерывного захвата квазистатического шума; затем сходятся к более высоким уровням, чем PCA,^[21] что указывает на меньшую подгонку NMF.

Обобщения

Редкий PCA

Особым недостатком PCA является то, что главные компоненты обычно представляют собой линейные комбинации всех входных переменных. Редкий PCA преодолевает этот недостаток, находя линейные комбинации, содержащие всего несколько входных переменных. Он расширяет классический метод анализа главных компонент (PCA) для уменьшения размерности данных, добавляя ограничение разреженности входных переменных. Было предложено несколько подходов, в том числе

• структура регрессии,^[52]
• фреймворк выпуклой релаксации / полуопределенного программирования,^[53]
• структура обобщенного степенного метода^[54]
• альтернативная структура максимизации^[55]
• жадный поиск вперед-назад и точные методы с использованием методов ветвей и границ,^[56]
• Рамки байесовских формулировок.^[57]

Методологические и теоретические разработки Sparse PCA, а также его приложения в научных исследованиях были недавно рассмотрены в обзорной статье.^[58]

Нелинейный PCA

Линейные PCA против нелинейных главных многообразий^[59] для визуализация из рак молочной железы микрочип данные: a) Конфигурация узлов и 2D главной поверхности в линейном многообразии 3D PCA. Набор данных изогнут и не может быть адекватно отображен на главной двумерной плоскости; б) Распределение во внутренних 2D нелинейных координатах главной поверхности (ELMap2D) вместе с оценкой плотности точек; c) То же, что и b), но для линейного 2D-коллектора PCA (PCA2D). «Базальный» подтип рака молочной железы более адекватно визуализируется с помощью ELMap2D, и некоторые особенности распределения становятся лучше разрешенными по сравнению с PCA2D. Основные коллекторы производятся эластичные карты алгоритм. Данные доступны для публичного конкурса.^[60] Программное обеспечение доступно для бесплатного некоммерческого использования.^[61]

Большинство современных методов уменьшение нелинейной размерности находят свои теоретические и алгоритмические корни в PCA или K-средних. Первоначальная идея Пирсона заключалась в том, чтобы взять прямую линию (или плоскость), которая будет «наилучшим образом соответствовать» набору точек данных. Директор кривые и коллекторы^[62] дать естественную геометрическую основу для обобщения PCA и расширить геометрическую интерпретацию PCA, явно построив вложенное многообразие для данных приближение, а также путем кодирования с использованием стандартных геометрических проекция на коллектор, как это показано на рис. эластичная карта алгоритм и основной геодезический анализ. Еще одно популярное обобщение: ядро PCA, что соответствует PCA, выполняемой в гильбертовом пространстве воспроизводящего ядра, связанного с положительно определенным ядром.

В мультилинейное подпространственное обучение,^[63] PCA обобщен на полилинейный PCA (MPCA), который извлекает признаки непосредственно из тензорных представлений. MPCA решается путем итеративного выполнения PCA в каждом режиме тензора. MPCA применялся для распознавания лиц, походки и т. Д. MPCA дополнительно расширен до некоррелированного MPCA, неотрицательного MPCA и надежного MPCA.

NАнализ основных компонентов может выполняться с такими моделями, как Разложение Таккера, ПАРАФАК, многофакторный анализ, коинерционный анализ, СТАТИС и ДИСТАТИС.

Надежный PCA

Хотя PCA находит математически оптимальный метод (например, минимизирует квадрат ошибки), он все же чувствителен к выбросы в данных, которые вызывают большие ошибки, чего метод пытается избежать в первую очередь. Поэтому распространенной практикой является удаление выбросов перед вычислением PCA. Однако в некоторых случаях выбросы бывает трудно идентифицировать. Например, в сбор данных алгоритмы вроде корреляционная кластеризация, назначение точек кластерам и выбросам заранее не известно. Недавно предложенное обобщение PCA^[64] на основе взвешенного PCA повышает надежность за счет присвоения различных весов объектам данных на основе их предполагаемой релевантности.

Также были предложены устойчивые к выбросам варианты PCA на основе формулировок L1-нормы (L1-PCA).^[5][3]

Надежный анализ главных компонент (RPCA) через разложение на низкоранговые и разреженные матрицы - это модификация PCA, которая хорошо работает в отношении сильно искаженных наблюдений.^[65][66][67]

Подобные техники

Независимый компонентный анализ

Независимый компонентный анализ (ICA) направлен на решение проблем, аналогичных анализу главных компонентов, но находит аддитивно разделяемые компоненты, а не последовательные приближения.

Анализ сетевых компонентов

Учитывая матрицу ${ displaystyle E}$, он пытается разложить его на две матрицы так, чтобы ${ displaystyle E = AP}$. Ключевое отличие от таких методов, как PCA и ICA, состоит в том, что некоторые записи ${ displaystyle A}$ ограничены равными 0. Здесь ${ displaystyle P}$ называется регулирующим слоем. Хотя в общем случае такое разложение может иметь несколько решений, они доказывают, что если выполняются следующие условия:

1. ${ displaystyle A}$ имеет полный ранг столбца
2. Каждый столбец ${ displaystyle A}$ должен иметь как минимум ${ displaystyle L-1}$ нули где ${ displaystyle L}$ это количество столбцов ${ displaystyle A}$ (или, альтернативно, количество строк ${ displaystyle P}$). Обоснованием этого критерия является то, что если узел удаляется из уровня регулирования вместе со всеми подключенными к нему выходными узлами, результат все равно должен характеризоваться матрицей связности с полным рангом столбца.
3. ${ displaystyle P}$ должен иметь полный ранг строки.

то разложение единственно с точностью до умножения на скаляр.^[68]

Программное обеспечение / исходный код

• АЛГЛИБ - библиотека C ++ и C #, реализующая PCA и усеченный PCA
• Аналитика - Встроенная функция EigenDecomp вычисляет главные компоненты.
• ELKI - включает PCA для проецирования, включая надежные варианты PCA, а также основанный на PCA алгоритмы кластеризации.
• Гретл - анализ главных компонент может быть выполнен либо через pca команду или через princomp () функция.
• Юля - Поддерживает PCA с pca функция в пакете MultivariateStats
• KNIME - Программное обеспечение узловой компоновки на основе Java для анализа, в котором узлы, называемые PCA, PCA compute, PCA Apply, PCA inverse, делают это легко.
• Mathematica - Реализует анализ главных компонентов с помощью команды PrincipalComponents, используя методы ковариации и корреляции.
• MathPHP - PHP библиотека математики с поддержкой PCA.
• MATLAB Панель инструментов статистики - функции princomp и pca (R2012b) дают главные компоненты, а функция pcares дает остатки и восстановленную матрицу для аппроксимации PCA низкого ранга.
• Матплотлиб – Python библиотека имеет пакет PCA в модуле .mlab.
• mlpack - Обеспечивает реализацию анализа главных компонентов в C ++.
• Библиотека NAG - Анализ основных компонентов реализован через g03aa рутина (доступна в обеих версиях библиотеки на языке Fortran).
• NMath - Собственная числовая библиотека, содержащая PCA для .NET Framework.
• GNU Octave - Бесплатная программная вычислительная среда, в основном совместимая с MATLAB, функция princomp дает главную составляющую.
• OpenCV
• База данных Oracle 12c - Реализовано через DBMS_DATA_MINING.SVDS_SCORING_MODE указав значение настройки SVDS_SCORING_PCA
• Orange (программное обеспечение) - Интегрирует PCA в среду визуального программирования. PCA отображает диаграмму осыпи (степень объясненной дисперсии), где пользователь может интерактивно выбрать количество основных компонентов.
• Происхождение - Содержит PCA в его версии Pro.
• Qlucore - Коммерческое программное обеспечение для анализа многомерных данных с мгновенным ответом с использованием PCA.
• р – Свободный статистический пакет, функции princomp и prcomp может использоваться для анализа главных компонентов; prcomp использует разложение по сингулярным числам что обычно дает лучшую числовую точность. Некоторые пакеты, реализующие PCA в R, включают, но не ограничиваются: ade4, веган, ExPosition, тусклый, и FactoMineR.
• SAS - Проприетарное программное обеспечение; например, см. ^[69]
• Scikit-Learn - Библиотека Python для машинного обучения, которая содержит PCA, Probabilistic PCA, Kernel PCA, Sparse PCA и другие методы в модуле декомпозиции.
• Weka - Библиотека Java для машинного обучения, которая содержит модули для вычисления основных компонентов.

Смотрите также

использованная литература

С. Оуян и Ю. Хуа, "Биитеративный метод наименьших квадратов для отслеживания подпространства", IEEE Transactions on Signal Processing, стр. 2948–2996, Vol. 53, No. 8, август 2005 г.

Ю. Хуа и Т. Чен, «О сходимости алгоритма NIC для вычисления подпространств», IEEE Transactions on Signal Processing, стр. 1112–1115, Vol. 52, No. 4, апрель 2004 г.

Ю. Хуа, «Асимптотическая ортонормировка матриц подпространств без квадратного корня», IEEE Signal Processing Magazine, Vol. 21, No. 4, pp. 56–61, июль 2004 г.

Ю. Хуа, М. Никпур и П. Стойка, "Оптимальная оценка и фильтрация пониженного ранга", IEEE Transactions on Signal Processing, стр. 457–469, Vol. 49, No. 3, март 2001 г.

Ю. Хуа, Ю. Сян, Т. Чен, К. Абед-Мераим и Ю. Мяо, «Новый взгляд на метод мощности для быстрого отслеживания подпространства», Digital Signal Processing, Vol. 9. С. 297–314, 1999.

Ю. Хуа и В. Лю, "Обобщенное преобразование Карунена-Лоэва", IEEE Signal Processing Letters, Vol. 5, No. 6, pp. 141–142, июнь 1998 г.

Y. Miao и Y. Hua, "Быстрое отслеживание подпространства и обучение нейронной сети с помощью нового информационного критерия", IEEE Transactions on Signal Processing, Vol. 46, No. 7, pp. 1967–1979, июль 1998 г.

T. Chen, Y. Hua и W. Y. Yan, "Глобальная сходимость алгоритма подпространства Oja для извлечения главных компонент", IEEE Transactions on Neural Networks, Vol. 9, No. 1, pp. 58–67, январь 1998 г.

дальнейшее чтение

• Джексон, Дж. Э. (1991). Руководство пользователя по основным компонентам (Вайли).
• Джоллифф, И. Т. (1986). Анализ главных компонентов. Серии Спрингера в статистике. Springer-Verlag. стр.487. CiteSeerX 10.1.1.149.8828. Дои:10.1007 / b98835. ISBN 978-0-387-95442-4.
• Джоллифф И. Т. (2002). Анализ главных компонентов. Серии Спрингера в статистике. Нью-Йорк: Springer-Verlag. Дои:10.1007 / b98835. ISBN 978-0-387-95442-4.
• Юссон Франсуа, Ле Себастьян и Паж Жером (2009). Исследовательский многомерный анализ на примере с использованием R. Chapman & Hall / CRC The R Series, Лондон. 224стр. ISBN 978-2-7535-0938-2
• Паж Жером (2014). Многофакторный анализ на примере с использованием R. Chapman & Hall / CRC The R Series London 272 p.

внешние ссылки

Викискладе есть медиафайлы по теме Анализ главных компонентов.

• Видео Копенгагенского университета Расмуса Бро на YouTube
• Видео Стэнфордского университета Эндрю Нг на YouTube
• Учебное пособие по анализу основных компонентов
• Введение в анализ главных компонентов для непрофессионала на YouTube (видео продолжительностью менее 100 секунд.)
• StatQuest: Анализ главных компонентов (PCA) четко объяснен на YouTube
• См. Также список Программные реализации