WikiDer > Непараметрическая регрессия
Часть серии по |
Регрессивный анализ |
---|
Модели |
Предварительный расчет |
Фон |
Непараметрическая регрессия это категория регрессивный анализ в котором предсказатель не принимает заранее заданную форму, а строится в соответствии с информацией, полученной из данных. То есть не предполагается параметрической формы отношения между предикторами и зависимой переменной. Непараметрическая регрессия требует большего размера выборки, чем регрессия на основе параметрические модели потому что данные должны предоставлять структуру модели, а также оценки модели.
Определение
В непараметрической регрессии у нас есть случайные величины и и предположим следующие отношения:
где - некоторая детерминированная функция. Линейная регрессия является ограниченным случаем непараметрической регрессии, где считается аффиенным. некоторые авторы используют немного более сильное предположение об аддитивном шуме:
где случайная величина - это "шумовой член" со средним значением 0. Без предположения, что принадлежит конкретному параметрическому семейству функций, поэтому получить несмещенную оценку для , однако большинство оценок последовательный при подходящих условиях.
Список универсальных алгоритмов непараметрической регрессии
Это неполный список алгоритмов, подходящих для задач непараметрической регрессии.
- ближайшие соседи, см. интерполяция ближайшего соседа и алгоритм k-ближайших соседей
- деревья регрессии
- регрессия ядра
- локальная регрессия
- многомерные сплайны адаптивной регрессии
- нейронные сети
- опорная векторная регрессия
- сглаживающие шлицы
Примеры
Регрессия гауссовского процесса или кригинг
В регрессии гауссовского процесса, также известной как кригинг, для кривой регрессии предполагается гауссовский априор. Предполагается, что ошибки имеют многомерное нормальное распределение а кривая регрессии оценивается по ее задний режим. Гауссовский априор может зависеть от неизвестных гиперпараметров, которые обычно оцениваются через эмпирический байесовский. Гиперпараметры обычно определяют ядро предшествующей ковариации. В случае, если ядро также должно быть выведено непараметрически из данных, критический фильтр может быть использован.
Сглаживание сплайнов имеют интерпретацию как апостериорную моду регрессии гауссовского процесса.
Регрессия ядра
Эта секция не цитировать любой источники. (Август 2020 г.) (Узнайте, как и когда удалить этот шаблон сообщения) |
Регрессия ядра оценивает непрерывную зависимую переменную из ограниченного набора точек данных с помощью свертывание расположение точек данных с функция ядра- грубо говоря, функция ядра определяет, как «размыть» влияние точек данных, чтобы их значения можно было использовать для прогнозирования значения для ближайших местоположений.
Деревья регрессии
Алгоритмы обучения дерева решений могут применяться, чтобы научиться предсказывать зависимую переменную на основе данных.[1] Хотя исходная формулировка дерева классификации и регрессии (CART) применялась только для прогнозирования одномерных данных, эту структуру можно использовать для прогнозирования многомерных данных, включая временные ряды.[2]
Смотрите также
- Лассо (статистика)
- Локальная регрессия
- Непараметрическая статистика
- Полупараметрическая регрессия
- Изотоническая регрессия
- Многомерные сплайны адаптивной регрессии
Рекомендации
- ^ Брейман, Лео; Friedman, J. H .; Ольшен, Р. А .; Стоун, К. Дж. (1984). Деревья классификации и регрессии. Монтерей, Калифорния: Уодсворт и Брукс / Продвинутые книги и программное обеспечение Коула. ISBN 978-0-412-04841-8.
- ^ Сегал, М.Р. (1992). «Древовидные методы для продольных данных». Журнал Американской статистической ассоциации. Американская статистическая ассоциация, Тейлор и Фрэнсис. 87 (418): 407–418. Дои:10.2307/2290271. JSTOR 2290271.
дальнейшее чтение
- Bowman, A. W .; Аззалини, А. (1997). Прикладные методы сглаживания для анализа данных. Оксфорд: Clarendon Press. ISBN 0-19-852396-3.
- Fan, J .; Гиджбельс, И. (1996). Локальное полиномиальное моделирование и его приложения. Бока-Ратон: Чепмен и Холл. ISBN 0-412-98321-4.
- Хендерсон, Д. Дж .; Парметр, К. Ф. (2015). Прикладная непараметрическая эконометрика. Нью-Йорк: Издательство Кембриджского университета. ISBN 978-1-107-01025-3.
- Li, Q .; Расин, Дж. (2007). Непараметрическая эконометрика: теория и практика. Принстон: Издательство Принстонского университета. ISBN 978-0-691-12161-1.
- Паган, А.; Уллах, А. (1999). Непараметрическая эконометрика. Нью-Йорк: Издательство Кембриджского университета. ISBN 0-521-35564-8.
внешняя ссылка
Викискладе есть медиафайлы по теме Непараметрическая регрессия. |
- HyperNiche, программа для непараметрической мультипликативной регрессии.
- Масштабная непараметрическая регрессия (с программным обеспечением Matlab).