WikiDer > Вменение (статистика) - Википедия

В статистика, вменение идет процесс замены отсутствующие данные с подставленными значениями. При подстановке точки данных это известно как «единичное вменение»; при замене компонента точки данных это известно как «вменение элемента». Отсутствие данных приводит к трем основным проблемам: отсутствие данных может привести к значительному смещению, затруднить обработку и анализ данных и снизить эффективность.^[1] Поскольку отсутствующие данные могут создать проблемы для анализа данных, вменение рассматривается как способ избежать ошибок, связанных с удаление по списку случаев, в которых отсутствуют значения. То есть, когда одно или несколько значений для случая отсутствуют, большинство статистические пакеты по умолчанию отбрасывается любой случай с пропущенным значением, что может привести к предвзятость или повлиять на репрезентативность результатов. Вменение сохраняет все случаи, заменяя отсутствующие данные оценочным значением, основанным на другой доступной информации. После того, как все пропущенные значения были вменены, набор данных можно затем проанализировать с использованием стандартных методов для получения полных данных.^[2] Ученые выдвигали множество теорий, объясняющих недостающие данные, но большинство из них вносят предвзятость. Некоторые из хорошо известных попыток справиться с отсутствующими данными включают: условное исчисление hot deck и cold deck; списочное и попарное удаление; среднее вменение; неотрицательная матричная факторизация;^[3] регрессионное вменение; последнее наблюдение перенесено; стохастическое вменение; и множественное вменение.

Удаление по списку (полный регистр)

Безусловно, наиболее распространенным средством работы с отсутствующими данными является удаление по списку (также известное как полный регистр), когда все наблюдения с отсутствующим значением удаляются. Если данные отсутствует полностью случайно, то удаление по списку не добавляет смещения, но уменьшает мощность анализа путем уменьшения эффективного размера выборки. Например, если собрано 1000 случаев, но 80 имеют пропущенные значения, эффективный размер выборки после удаления по списку составляет 920. Если случаи не пропущены полностью случайным образом, то удаление по списку приведет к смещению, поскольку подвыборка случаев, представленных отсутствующие данные не являются репрезентативными для исходной выборки (и если исходная выборка сама была репрезентативной выборкой для генеральной совокупности, полные случаи также не являются репрезентативными для этой генеральной совокупности). Хотя удаление по списку является беспристрастным, когда отсутствующие данные отсутствуют полностью случайным образом, на самом деле это случается редко.^[4]

Попарное удаление (или «анализ доступного случая») включает удаление случая, когда отсутствует переменная, необходимая для конкретного анализа, но включение этого случая в анализы, для которых присутствуют все необходимые переменные. Когда используется попарное удаление, общее N для анализа не будет согласованным для оценок параметров. Из-за неполных значений N в некоторые моменты времени при сохранении полного сравнения наблюдений для других параметров попарное удаление может привести к невозможным математическим ситуациям, например, корреляциям, превышающим 100%.^[5]

Одно из преимуществ полного удаления кейсов перед другими методами состоит в том, что его легко реализовать. Это большая причина, по которой полный регистр является наиболее популярным методом обработки недостающих данных, несмотря на многие его недостатки.

Единичное вменение

Горячая колода

Некогда распространенным методом вменения было вменение по методу «горячей колоды», когда отсутствующее значение вменялось из случайно выбранной аналогичной записи. Термин «горячая дека» восходит к хранению данных на перфокарты, и указывает, что доноры информации происходят из того же набора данных, что и получатели. Стопка карточек была «горячей», поскольку в данный момент обрабатывалась.

Одна из форм условного исчисления называется «перенесенным последним наблюдением» (или сокращенно LOCF), которая включает в себя сортировку набора данных по любой из нескольких переменных, создавая таким образом упорядоченный набор данных. Затем метод находит первое отсутствующее значение и использует значение ячейки непосредственно перед отсутствующими данными для вменения отсутствующего значения. Процесс повторяется для следующей ячейки с пропущенным значением, пока все пропущенные значения не будут вычислены. В распространенном сценарии, в котором случаи являются повторными измерениями переменной для человека или другого объекта, это представляет собой уверенность в том, что если измерение отсутствует, лучше всего предположить, что оно не изменилось с момента последнего измерения. Известно, что этот метод увеличивает риск увеличения предвзятости и потенциально ложных выводов. По этой причине LOCF не рекомендуется использовать.^[6]

Холодная дека

Напротив, вменение методом «холодной колоды» выбирает доноров из другого набора данных. Благодаря достижениям в области вычислительной техники, более сложные методы вменения, как правило, вытеснили оригинальные методы случайного и отсортированного вменения. Это метод замены аналогичных вопросов в прошлых опросах на значения ответов. Он доступен в опросах, измеряющих временные интервалы.

Среднее замещение

Другой метод вменения включает замену любого пропущенного значения средним значением этой переменной для всех других случаев, что позволяет не изменять выборочное среднее для этой переменной. Однако среднее вменение ослабляет любые корреляции, связанные с вмененными переменными. Это связано с тем, что в случаях с условным исчислением гарантируется отсутствие связи между вмененной переменной и любыми другими измеряемыми переменными. Таким образом, среднее вменение имеет некоторые привлекательные свойства для одномерного анализа, но становится проблематичным для многомерного анализа.

Среднее вменение может выполняться внутри классов (т. Е. Категорий, таких как пол), и может быть выражено как ${ displaystyle { hat {y}} _ {i} = { bar {y}} _ {h}}$ где ${ displaystyle { hat {y}} _ {i}}$ вмененное значение для записи ${ displaystyle i}$ и ${ displaystyle { bar {y}} _ {h}}$ выборочное среднее данных респондентов в некотором классе ${ displaystyle h}$. Это частный случай вменения обобщенной регрессии:

${ displaystyle { hat {y}} _ {mi} = b_ {r0} + sum _ {j} {b_ {rj} z_ {mij} + { hat {e}} _ {mi}}}$

Здесь значения ${ displaystyle b_ {r0}, b_ {rj}}$ оцениваются из регрессии ${ displaystyle y}$ на ${ displaystyle x}$ в не исчисленных данных, ${ displaystyle z}$ это фиктивная переменная для членства в классе, и данные делятся на респондентов (${ displaystyle r}$) и отсутствует (${ displaystyle m}$).^[7][8]

Неотрицательная матричная факторизация

Неотрицательная матричная факторизация (NMF) может принимать недостающие данные, сводя к минимуму свою функцию затрат, вместо того, чтобы обрабатывать эти недостающие данные как нули, которые могут привести к смещению.^[3] Это делает его математически доказанным методом вменения данных.^[3] Сначала доказав, что отсутствующие данные игнорируются в функции стоимости, а затем доказав, что влияние отсутствующих данных может быть таким же небольшим, как эффект второго порядка, Ren et al. (2020)^[3] изучил и применил такой подход в области астрономии. Их работа сосредоточена на двумерных матрицах (т. Е. Изображениях), в частности, она включает математический вывод, моделирование вменения данных и применение к данным, полученным с неба.

В зависимости от того, как получены компоненты NMF, процедура вменения с помощью NMF может состоять из двух этапов. С одной стороны, когда компоненты NMF известны, Ren et al. (2020) доказали, что влияние отсутствующих данных во время вменения данных («целевое моделирование» в их исследовании) является эффектом второго порядка. С другой стороны, когда компоненты NMF неизвестны, авторы доказали, что влияние отсутствующих данных во время создания компонента является эффектом первого-второго порядка.

В зависимости от способа получения компонентов NMF, предыдущий этап может быть независимым или зависеть от последнего. Кроме того, качество вменения можно повысить, если использовать больше компонентов NMF, см. Рисунок 4 Рена и др. (2020) за их иллюстрацию.^[3]

Регресс

Регрессионное вменение имеет противоположную проблему вменения среднего. Предполагается, что регрессионная модель предсказывает наблюдаемые значения переменной на основе других переменных, а затем эта модель используется для условного исчисления значений в случаях, когда значение этой переменной отсутствует. Другими словами, доступная информация для полных и неполных случаев используется для прогнозирования значения конкретной переменной. Затем для вменения недостающих значений используются подобранные значения из регрессионной модели. Проблема в том, что условно исчисленные данные не содержат члена ошибки, включенного в их оценку, поэтому оценки идеально соответствуют линии регрессии без какой-либо остаточной дисперсии. Это приводит к переопределению взаимосвязей и предполагает большую точность вмененных значений, чем это требуется. Модель регрессии предсказывает наиболее вероятное значение отсутствующих данных, но не дает неопределенности относительно этого значения.

Стохастическая регрессия была довольно успешной попыткой исправить отсутствие члена ошибки в вменении регрессии путем добавления средней дисперсии регрессии к вменениям регрессии, чтобы ввести ошибку. Стохастическая регрессия показывает гораздо меньшую систематическую ошибку, чем вышеупомянутые методы, но все же упускает одну вещь - если данные рассчитываются, то интуитивно можно было бы подумать, что в проблему следует внести больше шума, чем простая остаточная дисперсия.^[5]

Множественное вменение

Чтобы справиться с проблемой повышенного шума из-за вменения, Рубин (1987)^[9] разработал метод усреднения результатов по множеству вмененных наборов данных, чтобы учесть это. Все методы множественного вменения включают три этапа.

1. Вменение - аналогично единственному вменению, вменяются пропущенные значения. Однако условно исчисленные значения нарисованы м раз из распределения, а не один раз. В конце этого шага должно быть м завершенные наборы данных.
2. Анализ - Каждый из м наборы данных анализируются. В конце этого шага должно быть м анализы.
3. Объединение - The м результаты объединяются в один результат путем вычисления среднего значения, дисперсии и доверительного интервала рассматриваемой переменной.^[10][11] или путем объединения симуляций из каждой отдельной модели.^[12]

Так же, как существует несколько методов единственного вменения, существует также несколько методов множественного вменения. Одно из преимуществ множественного вменения по сравнению с методами единого вменения и полного случая состоит в том, что множественное вменение является гибким и может использоваться в самых разных сценариях. Множественное вменение может использоваться в случаях, когда данные отсутствует полностью случайно, отсутствует наугад, и даже когда данные отсутствует не случайно. Однако основным методом множественного вменения является множественное вменение с помощью связанных уравнений (MICE). Это также известно как «полностью условная спецификация» и «последовательная регрессия с множественным вменением». ^[13] Было показано, что MICE очень хорошо работает с отсутствующими случайными данными, хотя есть свидетельства, позволяющие предположить, с помощью моделирования, что либо с достаточным количеством вспомогательных переменных, он также может работать с данными, которые отсутствуют не случайно; использование скрытой переменной (полученной с помощью метода анализа скрытых классов, дает более точные оценки по MICE).^[14]

Как упоминалось в предыдущем разделе, однократное вменение не принимает во внимание неопределенность вменений. После вменения данные обрабатываются так, как если бы они были фактическими реальными значениями при единственном вменении. Пренебрежение неопределенностью при вменении может и приведет к излишне точным результатам и ошибкам в любых сделанных выводах.^[15] При многократном вменении учитывается неопределенность и диапазон значений, которые могло бы принять истинное значение.

Кроме того, хотя единичное вменение и полное дело реализовать проще, множественное вменение не очень сложно. В различном статистическом программном обеспечении существует широкий спектр различных статистических пакетов, которые позволяют легко выполнять множественное вменение. Например, пакет MICE позволяет пользователям в R выполнять множественное вменение с помощью метода MICE.^[16]

Смотрите также

• Самостоятельная загрузка (статистика)
• Цензура (статистика)
• Гео-вменение
• Интерполяция
• Алгоритм ожидания – максимизации

Рекомендации

внешняя ссылка

• Недостающие данные: Слонопотам на уровне инструмента и Вузлы на уровне предметов
• Multiple-imputation.com
• Часто задаваемые вопросы о множественном вменении, Penn State U
• Описание вменения hot deck от Статистического управления Финляндии.
• Бумага расширение подхода Рао-Шао и обсуждение проблем с множественным вменением.
• Бумага Алгоритм индукции нечетких неупорядоченных правил, используемый в качестве методов вменения отсутствующих значений для кластеризации K-среднего на реальных сердечно-сосудистых данных.
• [1] Реальное применение импутации Управлением национальной статистики Великобритании