WikiDer > Непараметрическая регрессия

Nonparametric regression

Непараметрическая регрессия это категория регрессивный анализ в котором предсказатель не принимает заранее заданную форму, а строится в соответствии с информацией, полученной из данных. То есть не предполагается параметрической формы отношения между предикторами и зависимой переменной. Непараметрическая регрессия требует большего размера выборки, чем регрессия на основе параметрические модели потому что данные должны предоставлять структуру модели, а также оценки модели.

Определение

В непараметрической регрессии у нас есть случайные величины и и предположим следующие отношения:

где - некоторая детерминированная функция. Линейная регрессия является ограниченным случаем непараметрической регрессии, где считается аффиенным. некоторые авторы используют немного более сильное предположение об аддитивном шуме:

где случайная величина - это "шумовой член" со средним значением 0. Без предположения, что принадлежит конкретному параметрическому семейству функций, поэтому получить несмещенную оценку для , однако большинство оценок последовательный при подходящих условиях.

Список универсальных алгоритмов непараметрической регрессии

Это неполный список алгоритмов, подходящих для задач непараметрической регрессии.

Примеры

Регрессия гауссовского процесса или кригинг

В регрессии гауссовского процесса, также известной как кригинг, для кривой регрессии предполагается гауссовский априор. Предполагается, что ошибки имеют многомерное нормальное распределение а кривая регрессии оценивается по ее задний режим. Гауссовский априор может зависеть от неизвестных гиперпараметров, которые обычно оцениваются через эмпирический байесовский. Гиперпараметры обычно определяют ядро ​​предшествующей ковариации. В случае, если ядро ​​также должно быть выведено непараметрически из данных, критический фильтр может быть использован.

Сглаживание сплайнов имеют интерпретацию как апостериорную моду регрессии гауссовского процесса.

Регрессия ядра

Пример кривой (красная линия), соответствующей небольшому набору данных (черные точки) с непараметрической регрессией с использованием сглаживания ядра Гаусса. Розовая заштрихованная область иллюстрирует функцию ядра, применяемую для получения оценки y для заданного значения x. Функция ядра определяет вес, присвоенный каждой точке данных при оценке целевой точки.

Регрессия ядра оценивает непрерывную зависимую переменную из ограниченного набора точек данных с помощью свертывание расположение точек данных с функция ядра- грубо говоря, функция ядра определяет, как «размыть» влияние точек данных, чтобы их значения можно было использовать для прогнозирования значения для ближайших местоположений.

Деревья регрессии

Алгоритмы обучения дерева решений могут применяться, чтобы научиться предсказывать зависимую переменную на основе данных.[1] Хотя исходная формулировка дерева классификации и регрессии (CART) применялась только для прогнозирования одномерных данных, эту структуру можно использовать для прогнозирования многомерных данных, включая временные ряды.[2]

Смотрите также

Рекомендации

  1. ^ Брейман, Лео; Friedman, J. H .; Ольшен, Р. А .; Стоун, К. Дж. (1984). Деревья классификации и регрессии. Монтерей, Калифорния: Уодсворт и Брукс / Продвинутые книги и программное обеспечение Коула. ISBN 978-0-412-04841-8.
  2. ^ Сегал, М.Р. (1992). «Древовидные методы для продольных данных». Журнал Американской статистической ассоциации. Американская статистическая ассоциация, Тейлор и Фрэнсис. 87 (418): 407–418. Дои:10.2307/2290271. JSTOR 2290271.

дальнейшее чтение

внешняя ссылка