WikiDer > Мультиколлинеарность - Википедия

В статистика, мультиколлинеарность (также коллинеарность) - это явление, в котором один предсказатель Переменная в множественная регрессия модель может быть линейно предсказана на основе других со значительной степенью точности. В этой ситуации оценки коэффициентов множественной регрессии может изменяться беспорядочно в ответ на небольшие изменения в модели или данных. Мультиколлинеарность не снижает предсказательную силу или надежность модели в целом, по крайней мере, в пределах выборки данных; это влияет только на расчеты относительно индивидуальные предикторы. То есть модель многомерной регрессии с коллинеарными предикторами может показать, насколько хорошо весь набор предикторов предсказывает переменная результата, но он может не давать достоверных результатов ни о каком отдельном предикторе или о том, какие предикторы являются избыточными по отношению к другим.

Обратите внимание, что в заявлениях о допущениях, лежащих в основе регрессионного анализа, таких как обыкновенный метод наименьших квадратов, фраза «нет мультиколлинеарности» обычно относится к отсутствию идеально мультиколлинеарность, которая представляет собой точное (нестохастическое) линейное отношение между предикторами. В таком случае матрица данных ${ displaystyle X}$ имеет меньше чем полный классифицировать, и поэтому матрица моментов ${ Displaystyle X ^ { mathsf {T}} X}$ не может быть перевернутый. В этих условиях для общей линейной модели ${ Displaystyle у = Х бета + эпсилон}$, обычная оценка методом наименьших квадратов ${ displaystyle { hat { beta}} _ {OLS} = (X ^ { mathsf {T}} X) ^ {- 1} X ^ { mathsf {T}} y}$ не существует.

В любом случае мультиколлинеарность - это характеристика матрицы данных, а не лежащей в основе статистическая модель. Поскольку в небольших выборках он обычно более серьезен, Артур Голдбергер дошел до того, что назвал это «микронумерозностью».^[1]

Определение

Коллинеарность линейная связь между два объясняющие переменные. Две переменные идеально коллинеарны, если между ними существует точная линейная зависимость. Например, ${ displaystyle X_ {1}}$ и ${ displaystyle X_ {2}}$ идеально коллинеарны, если существуют параметры ${ displaystyle lambda _ {0}}$ и ${ displaystyle lambda _ {1}}$ так что, по всем наблюдениям я, у нас есть

${ displaystyle X_ {2i} = lambda _ {0} + lambda _ {1} X_ {1i}.}$

Мультиколлинеарность относится к ситуации, когда две или более объясняющих переменных в множественная регрессия модели сильно линейно связаны. У нас есть идеальная мультиколлинеарность, если, например, как в приведенном выше уравнении, корреляция между двумя независимыми переменными равна 1 или -1. На практике мы редко сталкиваемся с идеальной мультиколлинеарностью в наборе данных. Чаще проблема мультиколлинеарности возникает, когда существует приблизительная линейная зависимость между двумя или более независимыми переменными.

Математически набор переменных является полностью мультиколлинеарным, если между некоторыми переменными существует одно или несколько точных линейных отношений. Например, у нас может быть

${ displaystyle lambda _ {0} + lambda _ {1} X_ {1i} + lambda _ {2} X_ {2i} + cdots + lambda _ {k} X_ {ki} = 0}$

хранит все наблюдения я, куда ${ displaystyle lambda _ {k}}$ константы и ${ displaystyle X_ {ki}}$ это я^th наблюдение за k^th объясняющая переменная. Мы можем исследовать одну проблему, вызванную мультиколлинеарностью, исследуя процесс попытки получить оценки параметров уравнения множественной регрессии.

${ displaystyle Y_ {i} = beta _ {0} + beta _ {1} X_ {1i} + cdots + beta _ {k} X_ {ki} + varepsilon _ {i}.}$

В обыкновенный метод наименьших квадратов оценки включают обращение матрицы

${ displaystyle X ^ {T} X}$

куда

${ displaystyle X = { begin {bmatrix} 1 & X_ {11} & cdots & X_ {k1} vdots & vdots && vdots 1 & X_ {1N} & cdots & X_ {kN} end {bmatrix} }}$

является N × (k+1) матрица, где N это количество наблюдений и k количество объясняющих переменных (с N должно быть больше или равно k+1). Если между независимыми переменными существует точная линейная связь (совершенная мультиколлинеарность), по крайней мере, один из столбцов X является линейной комбинацией других, и поэтому классифицировать X (и, следовательно, X^ТX) меньше, чем k+1, а матрица X^ТX не будет обратимым.

Идеальная мультиколлинеарность довольно часто встречается при работе с необработанными наборами данных, которые часто содержат избыточную информацию. Однако после выявления и устранения избыточности почти мультиколлинеарные переменные часто остаются из-за корреляций, присущих изучаемой системе. В таком случае, вместо приведенного выше уравнения, у нас есть это уравнение в модифицированной форме с ошибкой ${ displaystyle v_ {i}}$:

${ displaystyle lambda _ {0} + lambda _ {1} X_ {1i} + lambda _ {2} X_ {2i} + cdots + lambda _ {k} X_ {ki} + v_ {i} = 0.}$

В этом случае нет точной линейной зависимости между переменными, но ${ displaystyle X_ {j}}$ переменные почти идеально мультиколлинеарны, если дисперсия ${ displaystyle v_ {i}}$ мала для некоторого набора значений ${ displaystyle lambda}$с. В этом случае матрица X^ТX имеет инверсию, но плохо обусловлен, так что данный компьютерный алгоритм может или не может быть в состоянии вычислить приблизительное обратное, и если это так, результирующая вычисленная инверсия может быть очень чувствительной к небольшим изменениям в данных (из-за увеличенные эффекты либо ошибки округления, либо незначительных отклонений в точках выборки данных) и поэтому могут быть очень неточными или сильно зависеть от выборки.

Обнаружение

Признаки того, что в модели может присутствовать мультиколлинеарность, включают следующее:

1. Значительные изменения в оценочных коэффициентах регрессии при добавлении или удалении переменной-предиктора
2. Незначительные коэффициенты регрессии для затронутых переменных в множественной регрессии, но отклонение совместной гипотезы о том, что все эти коэффициенты равны нулю (с использованием F-тест)
3. Если многомерная регрессия обнаруживает незначительный коэффициент конкретного объяснителя, все же простая линейная регрессия объясненной переменной этой объясняющей переменной показывает, что ее коэффициент значительно отличается от нуля, эта ситуация указывает на мультиколлинеарность в многомерной регрессии.
4. Некоторые авторы предложили формальную толерантность к обнаружению или коэффициент инфляции дисперсии (VIF) для мультиколлинеарности:
   ${ Displaystyle mathrm {терпимость} = 1-R_ {j} ^ {2}, quad mathrm {VIF} = { frac {1} { mathrm {терпимость}}},}$
   куда ${ displaystyle R_ {j} ^ {2}}$ это коэффициент детерминации регрессии объяснителя j на всех остальных пояснителях. Допуск менее 0,20 или 0,10 и / или VIF 5 или 10 и выше указывает на проблему мультиколлинеарности.^[2]
5. Тест Фаррара – Глаубера:^[3] Если оказывается, что переменные ортогональны, мультиколлинеарность отсутствует; если переменные не ортогональны, то есть хотя бы некоторая степень мультиколлинеарности. С. Роберт Уичерс утверждал, что тест частичной корреляции Фаррара – Глаубера неэффективен в том смысле, что данная частичная корреляция может быть совместима с различными паттернами мультиколлинеарности.^[4] Тест Фаррара – Глаубера также подвергался критике со стороны других исследователей.^[5][6]
6. Проверка числа условий: Стандартная мера плохое состояние в матрице - индекс состояния. Это будет указывать на то, что обращение матрицы численно нестабильно с числами конечной точности (стандартный компьютер поплавки и удваивается). Это указывает на потенциальную чувствительность вычисленной обратной величины к небольшим изменениям исходной матрицы. Число обусловленности вычисляется путем нахождения квадратного корня из максимального собственное значение деленное на минимальное собственное значение матрица дизайна. Если число условий больше 30, регресс может иметь серьезную мультиколлинеарность; мультиколлинеарность существует, если, кроме того, две или более переменных, связанных с высоким числом обусловленности, имеют объясненную высокую долю дисперсии. Одним из преимуществ этого метода является то, что он также показывает, какие переменные вызывают проблему.^[7]
7. Нарушение данных.^[8] Мультиколлинеарность можно обнаружить, добавив к данным случайный шум и повторно запустив регрессию много раз и наблюдая, насколько изменяются коэффициенты.
8. Построение корреляционной матрицы между независимыми переменными даст указания на вероятность того, что любая заданная пара переменных с правой частью создает проблемы мультиколлинеарности. Значения корреляции (недиагональные элементы) не менее 0,4 иногда интерпретируются как указывающие на проблему мультиколлинеарности. Однако эта процедура очень проблематична и не может быть рекомендована. Интуитивно корреляция описывает двумерные отношения, тогда как коллинеарность - многомерное явление.

Последствия

Одним из следствий высокой степени мультиколлинеарности является то, что даже если матрица ${ displaystyle X ^ { top} X}$ является обратимым, компьютерный алгоритм может быть неуспешным в получении приблизительного обратного значения, а если он его получает, он может быть неточным в числовом отношении. Но даже при наличии точного ${ displaystyle X ^ { top} X}$ матрице возникают следующие следствия.

При наличии мультиколлинеарности оценка влияния одной переменной на зависимую переменную ${ displaystyle Y}$ в то время как контроль для других имеет тенденцию быть менее точным, чем если бы предикторы не коррелировали друг с другом. Обычная интерпретация коэффициента регрессии заключается в том, что он обеспечивает оценку эффекта изменения на одну единицу независимой переменной, ${ displaystyle X_ {1}}$, сохраняя другие переменные постоянными. Если ${ displaystyle X_ {1}}$ сильно коррелирует с другой независимой переменной, ${ displaystyle X_ {2}}$, в данном наборе данных, то у нас есть набор наблюдений, для которых ${ displaystyle X_ {1}}$ и ${ displaystyle X_ {2}}$ имеют особую линейную стохастическую связь. У нас нет набора наблюдений, для которого все изменения ${ displaystyle X_ {1}}$ не зависят от изменений в ${ displaystyle X_ {2}}$, поэтому мы имеем неточную оценку влияния независимых изменений ${ displaystyle X_ {1}}$.

В некотором смысле коллинеарные переменные содержат одинаковую информацию о зависимой переменной. Если номинально «разные» меры фактически дают количественную оценку одного и того же явления, они излишни. В качестве альтернативы, если переменным присвоены разные имена и, возможно, используются разные числовые шкалы измерения, но они сильно коррелированы друг с другом, то они страдают от избыточности.

Одной из особенностей мультиколлинеарности является то, что стандартные ошибки затронутых коэффициентов имеют тенденцию быть большими. В этом случае проверка гипотезы о том, что коэффициент равен нулю, может привести к неспособности отвергнуть ложную нулевую гипотезу об отсутствии эффекта со стороны объяснителя. ошибка типа II.

Еще одна проблема с мультиколлинеарностью заключается в том, что небольшие изменения входных данных могут привести к большим изменениям в модели, даже к изменению знака оценок параметров.^[7]

Основная опасность такой избыточности данных заключается в том, что переоснащение в регрессивный анализ модели. Наилучшими моделями регрессии являются те, в которых каждая из переменных-предикторов сильно коррелирует с зависимой (исходной) переменной, но в лучшем случае лишь минимально коррелирует друг с другом. Такую модель часто называют «малошумной», и она будет статистически устойчивой (то есть будет надежно предсказывать множество выборок наборов переменных, взятых из одной и той же статистической совокупности).

Пока базовая спецификация верна, мультиколлинеарность на самом деле не влияет на результаты; он просто производит большие стандартные ошибки в связанных независимых переменных. Что еще более важно, обычное использование регрессии состоит в том, чтобы взять коэффициенты из модели и затем применить их к другим данным. Поскольку мультиколлинеарность вызывает неточные оценки значений коэффициентов, результирующие прогнозы вне выборки также будут неточными. И если картина мультиколлинеарности в новых данных отличается от таковой в данных, которые были подогнаны, такая экстраполяция может внести большие ошибки в прогнозы.^[9]

средства защиты

1. Убедитесь, что вы не упали фиктивная переменная ловушка; включение фиктивной переменной для каждой категории (например, лето, осень, зима и весна) и включение постоянного члена в регрессию вместе гарантируют идеальную мультиколлинеарность.
2. Попробуйте посмотреть, что произойдет, если вы будете использовать независимые подмножества данных для оценки и применить эти оценки ко всему набору данных. Теоретически вы должны получить несколько более высокую дисперсию от меньших наборов данных, используемых для оценки, но ожидаемые значения коэффициентов должны быть такими же. Естественно, наблюдаемые значения коэффициентов будут различаться, но посмотрите, насколько они варьируются.
3. Оставьте модель как есть, несмотря на мультиколлинеарность. Наличие мультиколлинеарности не влияет на эффективность экстраполяции подобранной модели на новые данные при условии, что переменные-предикторы следуют тому же шаблону мультиколлинеарности в новых данных, что и в данных, на которых основана регрессионная модель.^[10]
4. Отбросьте одну из переменных. Объясняющая переменная может быть опущена для создания модели со значимыми коэффициентами. Однако вы теряете информацию (потому что вы потеряли переменную). Пропуск соответствующей переменной приводит к смещению оценок коэффициентов для остальных независимых переменных, которые коррелируют с опущенной переменной.
5. Если возможно, получите больше данных. Это предпочтительное решение. Больше данных может дать более точные оценки параметров (с более низкими стандартными ошибками), как видно из формулы в коэффициент инфляции дисперсии для дисперсии оценки коэффициента регрессии с точки зрения размера выборки и степени мультиколлинеарности.
6. Центрируйте переменные-предикторы. Генерация полиномиальных членов (т. Е. Для ${ displaystyle x_ {1}}$, ${ displaystyle x_ {1} ^ {2}}$, ${ displaystyle x_ {1} ^ {3}}$и т. д.) или условия взаимодействия (т. е. ${ displaystyle x_ {1} times x_ {2}}$и т. д.) может вызвать некоторую мультиколлинеарность, если рассматриваемая переменная имеет ограниченный диапазон (например, [2,4]). Среднее центрирование устранит этот особый вид мультиколлинеарности.^[11] Однако в целом это не дает никакого эффекта. Это может быть полезно для преодоления проблем, возникающих при округлении и других этапах вычислений, если не используется тщательно разработанная компьютерная программа.
7. Стандартизируйте свои независимые переменные. Это может помочь уменьшить количество ложных отметок индекса состояния выше 30.
8. Также было предложено использовать Значение Шепли, а теория игры инструмент, модель может учитывать эффекты мультиколлинеарности. Значение Шепли присваивает значение каждому предиктору и оценивает все возможные комбинации важности.^[12]
9. Регрессия хребта или же регрессия главных компонент или же частичная регрессия методом наименьших квадратов может быть использован.
10. Если коррелированные объяснители - это разные запаздывающие значения одного и того же основного объяснителя, то распределенная задержка Можно использовать методику, налагающую общую структуру на относительные значения оцениваемых коэффициентов.

Вхождение

Анализ выживаемости

Мультиколлинеарность может представлять серьезную проблему в анализ выживаемости. Проблема в том, что изменяющиеся во времени ковариаты могут изменять свое значение на временной шкале исследования. Рекомендуется специальная процедура для оценки влияния мультиколлинеарности на результаты.^[13]

Процентные ставки на разные сроки до погашения

В различных ситуациях можно предположить, что несколько процентных ставок с разными сроками до погашения влияют на какое-то экономическое решение, такое как сумма денег или некоторые другие. финансовый актив держать, или количество инвестиции в основной капитал расходы для участия. В этом случае включение этих различных процентных ставок в целом создаст существенную проблему мультиколлинеарности, поскольку процентные ставки имеют тенденцию изменяться вместе. Если на самом деле каждая из процентных ставок оказывает свое собственное отдельное влияние на зависимую переменную, может быть чрезвычайно трудно разделить их влияние.

Расширение

Концепция чего-либо боковая коллинеарность расширяет традиционный взгляд на мультиколлинеарность, включающий также коллинеарность между объясняющими и критериальными (т. е. объясненными) переменными в том смысле, что они могут измерять почти то же самое, что и друг друга.^[14]

Смотрите также

• Плохо кондиционированная матрица
• Линейная независимость

Рекомендации

дальнейшее чтение

• Белсли, Дэвид А .; Кух, Эдвин; Велш, Рой Э. (1980). Регрессионная диагностика: выявление важных данных и источников коллинеарности. Нью-Йорк: Вили. ISBN 978-0-471-05856-4.
• Гольдбергер, Артур С. (1991). «Мультиколлинеарность». Курс эконометрики. Кембридж: Издательство Гарвардского университета. С. 245–53.
• Хилл, Р. Картер; Адкинс, Ли К. (2001). «Коллинеарность». В Балтаги, Бади Х. (ред.). Компаньон теоретической эконометрики. Блэквелл. С. 256–278. Дои:10.1002 / 9780470996249.ch13. ISBN 978-0-631-21254-6.
• Джонстон, Джон (1972). Эконометрические методы (Второе изд.). Нью-Йорк: Макгроу-Хилл. стр.159–168.
• Кмента Ян (1986). Элементы эконометрики (Второе изд.). Нью-Йорк: Макмиллан. стр.430–442. ISBN 978-0-02-365070-3.
• Маддала, Г.С.; Лахири, Каджал (2009). Введение в эконометрику (Четвертое изд.). Чичестер: Вайли. С. 279–312. ISBN 978-0-470-01512-4.
• Томашек, Фабиан; Хендрикс, Питер; Баайен, Р. Харальд (2018). «Стратегии решения проблемы коллинеарности в многомерных лингвистических данных». Журнал фонетики. 71: 249–267.

внешняя ссылка

• Тома, Марк (2 марта 2011 г.). «Лекция по эконометрике (тема: мультиколлинеарность)». Орегонский университет - через YouTube.
• Самое раннее использование: статья о мультиколлинеарности содержит некоторую историческую информацию.