WikiDer > Минимальная среднеквадратичная ошибка

Minimum mean square error

В статистика и обработка сигналов, а минимальная среднеквадратичная ошибка (MMSE) оценка - это метод оценки, который минимизирует среднеквадратичная ошибка (MSE), которая является общей мерой качества оценки, подобранных значений зависимая переменная. в Байесовский установка, термин MMSE более конкретно относится к оценке с квадратичным функция потерь. В таком случае оценка MMSE определяется апостериорным средним значением параметра, который необходимо оценить. Поскольку вычислить апостериорное среднее сложно, форма оценки MMSE обычно ограничивается определенным классом функций. Линейные оценщики MMSE - популярный выбор, поскольку они просты в использовании, легко вычисляются и очень универсальны. Это привело к появлению многих популярных оценок, таких как Фильтр Винера – Колмогорова и Фильтр Калмана.

Мотивация

Термин MMSE более конкретно относится к оценке в Байесовский настройка с квадратичной функцией стоимости. Основная идея байесовского подхода к оценке проистекает из практических ситуаций, когда мы часто располагаем некоторой предварительной информацией о параметре, который необходимо оценить. Например, у нас может быть предварительная информация о диапазоне, который может принимать параметр; или у нас может быть старая оценка параметра, который мы хотим изменить, когда станет доступным новое наблюдение; или статистика фактического случайного сигнала, такого как речь. Это контрастирует с небайесовским подходом, таким как несмещенная оценка с минимальной дисперсией (MVUE), где предполагается, что о параметре заранее ничего не известно, и который не учитывает такие ситуации. В байесовском подходе такая априорная информация фиксируется априорной функцией плотности вероятности параметров; и основанный непосредственно на Теорема Байеса, это позволяет нам делать более точные апостериорные оценки по мере появления большего количества наблюдений. Таким образом, в отличие от небайесовского подхода, при котором представляющие интерес параметры считаются детерминированными, но неизвестными константами, байесовская оценка стремится оценить параметр, который сам является случайной величиной. Кроме того, байесовская оценка также может иметь дело с ситуациями, когда последовательность наблюдений не обязательно независима. Таким образом, байесовская оценка представляет собой еще одну альтернативу MVUE. Это полезно, когда MVUE не существует или не может быть найден.

Определение

Позволять быть скрытая случайная векторная переменная, и пусть быть известная случайная векторная переменная (измерение или наблюдение), причем обе они не обязательно имеют одинаковую размерность. An оценщик из любая функция измерения . Вектор ошибки оценки определяется выражением и это среднеквадратичная ошибка (MSE) определяется след ошибки ковариационная матрица

где ожидание берет на себя оба и . Когда является скалярной переменной, выражение MSE упрощается до . Обратите внимание, что MSE может быть эквивалентно определено другими способами, поскольку

Затем оценщик MMSE определяется как оценщик, достигающий минимальной MSE:

Характеристики

  • Когда средние и дисперсии конечны, оценка MMSE определяется однозначно.[1] и определяется:
Другими словами, оценка MMSE - это условное ожидание учитывая известное наблюдаемое значение измерений.
  • Оценка MMSE является беспристрастной (согласно предположениям регулярности, упомянутым выше):
куда это Информация Fisher из . Таким образом, оценка MMSE асимптотически эффективный.
  • В принцип ортогональности: Когда - скаляр, оценка должна иметь определенный вид оптимальная оценка, т.е. если и только если
для всех в замкнутом линейном подпространстве измерений. Для случайных векторов, поскольку MSE для оценки случайного вектора представляет собой сумму MSE координат, нахождение оценки MMSE для случайного вектора разлагается на нахождение оценок MMSE для координат X по отдельности:
для всех я и j. Короче говоря, взаимная корреляция между минимальной ошибкой оценки и оценщик должно быть равно нулю,
  • Если и находятся совместно гауссовский, то оценка MMSE линейна, т. е. имеет вид для матрицы и постоянный . Это можно прямо показать, используя теорему Байеса. Как следствие, чтобы найти оценщик MMSE, достаточно найти линейный оценщик MMSE.

Линейный оценщик MMSE

Во многих случаях невозможно определить аналитическое выражение оценки MMSE. Два основных численных подхода для получения оценки MMSE зависят либо от нахождения условного ожидания или нахождение минимумов MSE. Прямая численная оценка условного ожидания требует больших вычислительных ресурсов, поскольку часто требует многомерного интегрирования, обычно выполняемого через Методы Монте-Карло. Другой вычислительный подход заключается в прямом поиске минимумов MSE с использованием таких методов, как методы стохастического градиентного спуска ; но этот метод по-прежнему требует оценки ожидания. Хотя эти численные методы оказались плодотворными, выражение в закрытой форме для оценки MMSE, тем не менее, возможно, если мы готовы пойти на некоторые компромиссы.

Одна из возможностей состоит в том, чтобы отказаться от требований полной оптимальности и найти метод, минимизирующий MSE в рамках определенного класса оценщиков, такого как класс линейных оценщиков. Таким образом, мы постулируем, что условное ожидание данный простая линейная функция , , где измерение - случайный вектор, матрица и вектор. Это можно рассматривать как приближение Тейлора первого порядка . Линейный оценщик MMSE - это оценщик, достигающий минимальной MSE среди всех оценщиков такой формы. То есть решает следующие задачи оптимизации:

Одним из преимуществ такой линейной оценки MMSE является то, что нет необходимости явно рассчитывать апостериорную функцию плотности вероятности . Такая линейная оценка зависит только от первых двух моментов и . Итак, хотя может быть удобно предположить, что и вместе являются гауссовскими, нет необходимости делать это предположение, пока предполагаемое распределение имеет хорошо определенные первый и второй моменты. Форма линейной оценки не зависит от типа предполагаемого базового распределения.

Выражение для оптимального и дан кем-то:

куда , то матрица кросс-ковариации между и , то автоковариационная матрица .

Таким образом, выражение для линейной оценки MMSE, его среднего значения и автоковариации имеет вид

где матрица кросс-ковариации между и .

Наконец, ковариация ошибки и минимальная среднеквадратичная ошибка, достижимые такой оценкой, равны

Вывод с использованием принципа ортогональности

Пусть у нас есть оптимальная линейная оценка MMSE, заданная как , где требуется найти выражение для и . Требуется, чтобы оценка MMSE была беспристрастной. Это означает,

Подключаем выражение для выше, мы получаем

куда и . Таким образом, мы можем переписать оценку как

и выражение для ошибки оценки принимает вид

Из принципа ортогональности мы можем иметь , где мы берем . Здесь левый член равен

Приравнивая к нулю, получаем искомое выражение для в качестве

В матрица кросс-ковариации между X и Y, и является автоковариационной матрицей Y. Поскольку , выражение также можно переписать в терминах в качестве

Таким образом, полное выражение для линейной оценки MMSE имеет вид

Поскольку оценка сам является случайной величиной с , мы также можем получить его автоковариацию как

Подставляя выражение для и , мы получили

Наконец, ковариация линейной ошибки оценки MMSE будет тогда выражена как

Первый член в третьей строке равен нулю из-за принципа ортогональности. С , мы можем переписать в терминах ковариационных матриц как

Мы можем признать, что это то же самое, что и Таким образом, минимальная среднеквадратическая ошибка, достижимая такой линейной оценкой, составляет

.

Одномерный случай

Для особого случая, когда оба и являются скалярами, указанные выше соотношения упрощаются до

куда это Коэффициент корреляции Пирсона между и .

Вычисление

Стандартный метод вроде Исключение Гаусса можно использовать для решения матричного уравнения для . Более стабильный в числовом отношении метод обеспечивается QR-разложение метод. Поскольку матрица - симметричная положительно определенная матрица, можно решить вдвое быстрее с помощью Разложение Холецкого, а для больших разреженных систем метод сопряженных градиентов более эффективен. Рекурсия Левинсона это быстрый метод, когда также Матрица Теплица. Это может произойти, когда это стационарный в широком смысле процесс. В таких стационарных случаях эти оценки также называют Фильтры Винера – Колмогорова.

Линейная оценка MMSE для процесса линейного наблюдения

Давайте далее смоделируем основной процесс наблюдения как линейный процесс: , куда - известная матрица и вектор случайного шума со средним и кросс-ковариация . Здесь искомое среднее и ковариационные матрицы будут

Таким образом, выражение для матрицы линейной оценки MMSE далее изменяется на

Вкладывая все в выражение для , мы получили

Наконец, ковариация ошибок равна

Существенная разница между проблемой оценки, рассмотренной выше, и проблемой наименьших квадратов и Гаусс – Марков оценка состоит в том, что количество наблюдений м, (т.е. размерность ) не обязательно должно быть как минимум равным количеству неизвестных, п, (т.е. размерность ). Оценка для линейного процесса наблюдения существует до тех пор, пока м-к-м матрица существуют; это так для любого м если, например, положительно определен. Физически причина этого свойства в том, что, поскольку теперь случайная величина, можно сформировать значимую оценку (а именно ее среднее значение) даже без измерений. Каждое новое измерение просто предоставляет дополнительную информацию, которая может изменить нашу первоначальную оценку. Другой особенностью этой оценки является то, что для м < п, погрешности измерения быть не должно. Таким образом, мы можем иметь , потому что пока положительно определена, оценка все еще существует. Наконец, этот метод может обрабатывать случаи, когда шум коррелирован.

Альтернативная форма

Альтернативная форма выражения может быть получена с помощью матричного тождества

который может быть получен умножением на и предварительное умножение на чтобы получить

и

С теперь можно записать в терминах в качестве , получаем упрощенное выражение для в качестве

В таком виде приведенное выше выражение легко сравнить с взвешенный методом наименьших квадратов и Оценка Гаусса – Маркова. В частности, когда , что соответствует бесконечной дисперсии априорной информации о , результат идентична взвешенной линейной оценке наименьших квадратов с как весовая матрица. Более того, если компоненты некоррелированы и имеют одинаковую дисперсию, так что куда является единичной матрицей, то идентична обычной оценке методом наименьших квадратов.

Последовательная линейная оценка MMSE

Во многих приложениях реального времени данные наблюдений недоступны в виде единого пакета. Вместо этого наблюдения производятся последовательно. Наивное применение предыдущих формул заставило бы нас отказаться от старой оценки и пересчитать новую оценку по мере появления свежих данных. Но тогда мы теряем всю информацию, предоставленную старым наблюдением. Когда наблюдения являются скалярными величинами, один из возможных способов избежать таких повторных вычислений - сначала объединить всю последовательность наблюдений, а затем применить стандартную формулу оценки, как это сделано в Примере 2. Но это может быть очень утомительно, поскольку количество наблюдений увеличивается, поэтому увеличивается размер матриц, которые необходимо инвертировать и умножать.Также этот метод трудно распространить на случай векторных наблюдений. Другой подход к оценке на основе последовательных наблюдений - просто обновить старую оценку по мере появления дополнительных данных, что приведет к более точным оценкам. Таким образом, желателен рекурсивный метод, при котором новые измерения могут изменять старые оценки. В этих обсуждениях подразумевается предположение, что статистические свойства не меняется со временем. Другими словами, стационарный.

Для последовательной оценки, если у нас есть оценка на основе измерений, генерирующих пространство , то после получения другого набора измерений мы должны вычесть из этих измерений ту часть, которую можно было бы ожидать из результата первых измерений. Другими словами, обновление должно быть основано на той части новых данных, которая ортогональна старым данным.

Предположим оптимальную оценку была сформирована на основе прошлых измерений, и эта ковариационная матрица ошибок равна . Для линейных процессов наблюдения наилучшая оценка на основе прошлых наблюдений и, следовательно, старой оценки , является . Вычитание из , получаем ошибку предсказания

.

Новая оценка на основе дополнительных данных теперь

куда кросс-ковариация между и и автоковариация

Используя тот факт, что и , мы можем получить ковариационные матрицы в терминах ковариации ошибок как

Собирая все вместе, мы получаем новую оценку как

и новая ковариация ошибок как

Повторное использование двух вышеупомянутых уравнений по мере того, как становится доступным больше наблюдений, приводит к методам рекурсивной оценки. Более компактно выражения можно записать как

Матрица часто называют коэффициентом усиления. Повторение этих трех шагов по мере того, как становится доступным больше данных, приводит к итерационному алгоритму оценки. Обобщение этой идеи на нестационарные случаи приводит к Фильтр Калмана.

Частный случай: скалярные наблюдения

В качестве важного частного случая можно получить простое в использовании рекурсивное выражение, когда в каждом т-й момент времени лежащий в основе линейный процесс наблюдения дает скаляр такой, что , куда является п-by-1 известный вектор-столбец, значения которого могут изменяться со временем, является п-на 1 случайный вектор-столбец для оценки, и скалярный шумовой член с дисперсией . После (т+1) -го наблюдения, прямое использование приведенных выше рекурсивных уравнений дает выражение для оценки в качестве:

куда - новое скалярное наблюдение, а коэффициент усиления является п-by-1 вектор-столбец, заданный как

В является п-к-п матрица ковариации ошибок, заданная как

Здесь инверсия матрицы не требуется. Кроме того, коэффициент усиления, , зависит от нашей уверенности в новой выборке данных, измеренной по дисперсии шума, по сравнению с предыдущими данными. Начальные значения и принимаются как среднее значение и ковариация априорной функции плотности вероятности .

Альтернативные подходы: Этот важный частный случай также привел к появлению многих других итерационных методов (или адаптивные фильтры), такой как фильтр наименьших средних квадратов и рекурсивный фильтр наименьших квадратов, который напрямую решает исходную задачу оптимизации MSE, используя стохастические градиентные спуски. Однако, поскольку ошибка оценки невозможно непосредственно наблюдать, эти методы пытаются минимизировать среднеквадратичную ошибку прогноза . Например, в случае скалярных наблюдений мы имеем градиент Таким образом, уравнение обновления для фильтра наименьших квадратов имеет вид

куда - размер скалярного шага, а математическое ожидание аппроксимируется мгновенным значением . Как мы видим, в этих методах нет необходимости в ковариационных матрицах.

Примеры

Пример 1

Мы возьмем линейное предсказание проблема в качестве примера. Пусть линейная комбинация наблюдаемых скалярных случайных величин и использоваться для оценки другой будущей скалярной случайной величины такой, что . Если случайные величины являются действительными гауссовскими случайными величинами с нулевым средним и его ковариационной матрицей, заданной как

то наша задача - найти коэффициенты так что это даст оптимальную линейную оценку .

В терминах терминологии, разработанной в предыдущих разделах, для этой задачи у нас есть вектор наблюдения , матрица оценки как вектор-строку, а оцениваемая переменная как скалярная величина. Матрица автокорреляции определяется как

Матрица взаимной корреляции определяется как

Теперь решим уравнение путем инвертирования и предварительное умножение, чтобы получить

Итак, у нас есть и как оптимальные коэффициенты при . Затем вычисление минимальной средней квадратной ошибки дает .[2] Обратите внимание, что нет необходимости получать явную матрицу, обратную вычислить значение . Матричное уравнение может быть решено с помощью хорошо известных методов, таких как метод исключения Гаусса. Более короткий нечисловой пример можно найти в принцип ортогональности.

Пример 2

Рассмотрим вектор сформированный путем взятия наблюдения фиксированного, но неизвестного скалярного параметра нарушается белым гауссовским шумом. Мы можем описать процесс линейным уравнением , куда . В зависимости от контекста будет ясно, если представляет скаляр или вектор. Предположим, что мы знаем быть диапазоном, в котором значение собирается упасть. Мы можем смоделировать нашу неопределенность воином равномерное распределение через интервал , и поэтому будет иметь дисперсию . Пусть вектор шума быть нормально распределенным как куда является единичной матрицей. Также и независимы и . Легко заметить, что

Таким образом, линейная оценка MMSE имеет вид

Мы можем упростить выражение, используя альтернативную форму для в качестве

где для у нас есть

Аналогичным образом, дисперсия оценки равна

Таким образом, MMSE этой линейной оценки

Для очень больших , мы видим, что оценка MMSE скаляра с равномерным априорным распределением может быть аппроксимирована средним арифметическим всех наблюдаемых данных

в то время как на дисперсию не повлияют данные и LMMSE оценки будет стремиться к нулю.

Однако оценка является неоптимальной, поскольку ограничена линейностью. Если бы случайная величина также был гауссовым, тогда оценка была бы оптимальной. Обратите внимание, что форма оценки останется неизменной, независимо от априорного распределения , при условии, что среднее и дисперсия этих распределений одинаковы.

Пример 3

Рассмотрим вариант приведенного выше примера: на выборах баллотируются два кандидата. Пусть доля голосов, которую получит кандидат в день выборов, равна Таким образом, доля голосов, которую получит другой кандидат, будет Мы возьмем как случайная величина с равномерным априорным распределением по так что его среднее значение и дисперсия За несколько недель до выборов двумя разными социологами были проведены два независимых опроса общественного мнения. Первый опрос показал, что кандидат, скорее всего, получит доля голосов. Поскольку некоторая ошибка всегда присутствует из-за конечной выборки и конкретной принятой методологии опроса, первый участник опроса заявляет, что их оценка содержит ошибку. с нулевым средним и дисперсией Точно так же второй исследователь объявляет свою оценку равной с ошибкой с нулевым средним и дисперсией Обратите внимание, что, за исключением среднего значения и дисперсии ошибки, распределение ошибок не указано. Как следует объединить эти два опроса, чтобы получить прогноз голосования для данного кандидата?

Как и в предыдущем примере, у нас есть

Здесь как . Таким образом, мы можем получить оценку LMMSE как линейную комбинацию и в качестве

где веса даны как

Здесь, поскольку член знаменателя постоянен, опросу с меньшей ошибкой дается более высокий вес, чтобы предсказать исход выборов. Наконец, дисперсия прогноза определяется выражением

что делает меньше чем

В общем, если у нас есть социологи, тогда где вес для я-й опросник дает

Пример 4

Предположим, что музыкант играет на инструменте, и звук улавливается двумя микрофонами, каждый из которых расположен в двух разных местах. Пусть ослабление звука из-за расстояния у каждого микрофона будет и , которые считаются известными константами. Аналогично пусть шум на каждом микрофоне будет и , каждый с нулевым средним и дисперсией и соответственно. Позволять обозначают звук, издаваемый музыкантом, который является случайной величиной с нулевым средним значением и дисперсией Как следует объединить записанную музыку с этих двух микрофонов после синхронизации друг с другом?

Мы можем смоделировать звук, получаемый каждым микрофоном, как

Здесь как . Таким образом, мы можем объединить два звука как

где я-й вес задается как

Смотрите также

Примечания

  1. ^ «Среднеквадратичная ошибка (MSE)». www.probabilitycourse.com. Получено 9 мая 2017.
  2. ^ Мун и Стирлинг.

дальнейшее чтение