WikiDer > Гистограмма
Гистограмма | |
---|---|
Один из Семь основных инструментов качества | |
Впервые описано | Карл Пирсон |
Цель | Чтобы примерно оценить распределение вероятностей данной переменной, отображая частоту наблюдений, происходящих в определенных диапазонах значений. |
А гистограмма приближенное представление распределение числовых данных. Впервые он был представлен Карл Пирсон.[1] Чтобы построить гистограмму, первым делом нужно "мусорное ведро" (или же "ведро") диапазон значений - то есть разделите весь диапазон значений на серию интервалов - а затем подсчитайте, сколько значений попадает в каждый интервал. Бины обычно указываются как последовательные, неперекрывающиеся интервалы переменной. Бины (интервалы) должны быть смежными и часто (но не обязательно) равного размера.[2]
Если бункеры одинакового размера, над контейнером возводится прямоугольник с высотой, пропорциональной частота- количество ящиков в каждой ячейке. Гистограмма также может быть нормализованный для отображения «относительных» частот. Затем он показывает долю случаев, которые попадают в каждую из нескольких категории, с суммой высот, равной 1.
Однако бункеры не обязательно должны быть одинаковой ширины; в этом случае возведенный прямоугольник определяется как имеющий площадь пропорционально частоте случаев в корзине.[3] Вертикальная ось - это не частота, а плотность частоты- количество наблюдений на единицу переменной по горизонтальной оси. Примеры переменной ширины ячеек показаны в данных бюро переписи ниже.
Поскольку соседние интервалы не оставляют промежутков, прямоугольники гистограммы касаются друг друга, чтобы указать, что исходная переменная является непрерывной.[4]
Гистограммы дают приблизительное представление о плотности основного распределения данных, и часто для оценка плотности: оценка функция плотности вероятности базовой переменной. Общая площадь гистограммы, используемой для плотности вероятности, всегда нормализуется к 1. Если длина интервалов на Икс-оси равны 1, тогда гистограмма идентична относительная частота участок.
Гистограмму можно рассматривать как упрощенную оценка плотности ядра, который использует ядро для сглаживания частот по ячейкам. Это дает плавнее функция плотности вероятности, которая в целом будет более точно отражать распределение базовой переменной. Оценка плотности может быть нанесена на график в качестве альтернативы гистограмме и обычно отображается в виде кривой, а не набора прямоугольников. Тем не менее гистограммы предпочтительны в приложениях, когда необходимо моделировать их статистические свойства. Коррелированное изменение оценки плотности ядра очень сложно описать математически, в то время как это просто для гистограммы, где каждый интервал изменяется независимо.
Альтернативой ядерной оценке плотности является средняя смещенная гистограмма,[5]который быстро вычисляется и дает гладкую оценку плотности кривой без использования ядер.
Гистограмма - одна из семь основных инструментов контроля качества.[6]
Гистограммы иногда путают с гистограммами. Гистограмма используется для непрерывные данные, где ячейки представляют собой диапазоны данных, а гистограмма график категориальных переменных. Некоторые авторы рекомендуют, чтобы на гистограммах были промежутки между прямоугольниками, чтобы прояснить различие.[7][8]
Примеры
Это данные для гистограммы справа, используя 500 элементов:
Корзина | Считать |
---|---|
От −3,5 до −2,51 | 9 |
От −2,5 до −1,51 | 32 |
От −1,5 до −0,51 | 109 |
От -0,5 до 0,49 | 180 |
От 0,5 до 1,49 | 132 |
От 1,5 до 2,49 | 34 |
От 2,5 до 3,49 | 4 |
Для описания паттернов гистограммы используются следующие слова: «симметричный», «наклон влево» или «вправо», «одномодальный», «бимодальный» или «мультимодальный».
Чтобы узнать о них больше, рекомендуется построить график данных с использованием нескольких интервалов разной ширины. Вот пример чаевых, даваемых в ресторане.
В Бюро переписи населения США обнаружили, что 124 миллиона человек работают вне дома.[9] Используя их данные о времени, затраченном на поездки на работу, в таблице ниже показано абсолютное количество людей, которые ответили, что время в пути «не менее 30, но менее 35 минут» выше, чем цифры для категорий выше и ниже. Вероятно, это связано с тем, что люди округляют указанное время в пути.[нужна цитата] Проблема представления значений как несколько произвольно округленные числа - обычное явление при сборе данных от людей.[нужна цитата]
Данные в абсолютных числах Интервал Ширина Количество Количество / ширина 0 5 4180 836 5 5 13687 2737 10 5 18618 3723 15 5 19634 3926 20 5 17981 3596 25 5 7190 1438 30 5 16369 3273 35 5 3212 642 40 5 4122 824 45 15 9200 613 60 30 6461 215 90 60 3435 57
Эта гистограмма показывает количество случаев на единичный интервал как высоту каждого блока, чтобы площадь каждого блока была равна количеству людей в опросе, которые попадают в его категорию. Площадь под кривой представляет общее количество случаев (124 миллиона). Гистограмма этого типа показывает абсолютные числа с Q в тысячах.
Данные по пропорциям Интервал Ширина Количество (Q) Q / всего / ширина 0 5 4180 0.0067 5 5 13687 0.0221 10 5 18618 0.0300 15 5 19634 0.0316 20 5 17981 0.0290 25 5 7190 0.0116 30 5 16369 0.0264 35 5 3212 0.0052 40 5 4122 0.0066 45 15 9200 0.0049 60 30 6461 0.0017 90 60 3435 0.0005
Эта гистограмма отличается от первой только тем, что вертикальный шкала. Площадь каждого блока - это доля от общей суммы, которую представляет каждая категория, а общая площадь всех полосок равна 1 (дробь означает «все»). Отображаемая кривая представляет собой простой оценка плотности. Эта версия показывает пропорции и также известна как гистограмма единичной площади.
Другими словами, гистограмма представляет распределение частот с помощью прямоугольников, ширина которых представляет интервалы классов, а площади пропорциональны соответствующим частотам: высота каждого - это средняя плотность частот для интервала. Интервалы помещены вместе, чтобы показать, что данные, представленные гистограммой, хоть и являются исключительными, но также являются смежными. (Например, на гистограмме можно иметь два соединительных интервала 10,5–20,5 и 20,5–33,5, но не два соединительных интервала 10,5–20,5 и 22,5–32,5. Пустые интервалы представлены как пустые и не пропущенные.)[10]
Математическое определение
В более общем математическом смысле гистограмма - это функция мя который подсчитывает количество наблюдений, которые попадают в каждую из непересекающихся категорий (известных как мусорные ведра), тогда как график гистограммы - это просто один из способов представления гистограммы. Таким образом, если мы положим п быть общим количеством наблюдений и k - общее количество бинов, гистограмма мя соответствует следующим условиям:
Накопительная гистограмма
Кумулятивная гистограмма - это отображение, которое подсчитывает совокупное количество наблюдений во всех интервалах до указанного интервала. То есть кумулятивная гистограмма Mя гистограммы мj определяется как:
Количество бункеров и ширина
Не существует «наилучшего» количества ячеек, и разные размеры ячеек могут выявить разные особенности данных. Данные группировки не моложе Grauntработы в 17 веке, но не было дано никаких систематических указаний[11] до того как Осетровые'Работа в 1926 году.[12]
Использование более широких интервалов с низкой плотностью базовых точек данных снижает шум из-за случайности выборки; Использование более узких интервалов с высокой плотностью (так что сигнал заглушает шум) дает большую точность оценки плотности. Таким образом, изменение ширины бина в гистограмме может быть полезным. Тем не менее, бункеры одинаковой ширины широко используются.
Некоторые теоретики пытались определить оптимальное количество интервалов, но эти методы обычно делают сильные предположения о форме распределения. В зависимости от фактического распределения данных и целей анализа может потребоваться разная ширина бина, поэтому для определения подходящей ширины обычно необходимы эксперименты. Однако существуют различные полезные рекомендации и практические правила.[13]
Количество бункеров k можно назначить напрямую или рассчитать исходя из предложенной ширины бункерачас в качестве:
Фигурные скобки указывают на функция потолка.
Выбор квадратного корня
который извлекает квадратный корень из числа точек данных в выборке (используется гистограммами Excel и многими другими) и округляется до следующего целое число.[14]
Формула Стерджеса
Формула Стерджеса[12] выводится из биномиального распределения и неявно предполагает приблизительно нормальное распределение.
Он неявно основывает размеры бункеров на диапазоне данных и может плохо работать, еслип <30, потому что количество интервалов будет небольшим - менее семи - и вряд ли будет хорошо отражать тенденции в данных. Он также может работать плохо, если данные не распределяются нормально.
Правило Райса
Правило риса [15] представлена как простая альтернатива правилу Стерджеса.
Формула Доана
Формула Доана[16] представляет собой модификацию формулы Стерджеса, которая пытается улучшить ее производительность при использовании нестандартных данных.
куда расчетный 3-й момент-перекос распределения и
Нормальное эталонное правило Скотта
куда это образец стандартное отклонение. Нормальное эталонное правило Скотта[17] оптимален для случайных выборок нормально распределенных данных в том смысле, что минимизирует интегрированную среднеквадратичную ошибку оценки плотности.[11]
Выбор Фридмана-Диакониса
В Правило Фридмана-Диакониса является:[18][11]
который основан на межквартильный размах, обозначаемый IQR. Он заменяет 3,5σ правила Скотта на 2 IQR, что менее чувствительно, чем стандартное отклонение к выбросам в данных.
Минимизация расчетной квадратичной ошибки перекрестной проверки
Этот подход минимизации интегрированной среднеквадратичной ошибки из правила Скотта может быть обобщен за пределы нормальных распределений с помощью перекрестной проверки с исключением одного:[19][20]
Здесь, это количество точек данных в kth bin и выбирая значение час что сводит к минимуму J минимизирует интегрированную среднеквадратичную ошибку.
Выбор Симадзаки и Шиномото
Выбор основан на минимизации оценочного L2 функция риска[21]
куда и - средняя и смещенная дисперсия гистограммы с шириной интервала , и .
Регулируемая ширина бункера
Вместо того, чтобы выбирать равномерно расположенные бункеры, для некоторых приложений предпочтительнее изменять ширину бункера. Это позволяет избежать мусорных баков с низким счетчиком. Обычный случай - выбрать равновероятные бункеры, где ожидается, что количество выборок в каждой ячейке будет примерно одинаковым. Ячейки могут быть выбраны в соответствии с некоторым известным распределением или могут быть выбраны на основе данных так, чтобы каждая ячейка имела образцы. При построении гистограммы плотность частоты используется для зависимой оси. Хотя все интервалы имеют примерно одинаковую площадь, высота гистограммы приблизительно соответствует распределению плотности.
Для равновероятных ящиков предлагается следующее правило количества ячеек:[22]
Такой выбор бункеров мотивирован максимизацией мощности Критерий хи-квадрат Пирсона проверка того, действительно ли бункеры содержат одинаковое количество образцов. Более конкретно, для данного доверительного интервала рекомендуется выбрать от 1/2 до 1 раза следующее уравнение:[23]
Где это пробит функция. Следуя этому правилу для дал бы между и ; коэффициент 2 выбран как легко запоминающееся значение из этого широкого оптимума.
Замечание
Хорошая причина, по которой количество ящиков должно быть пропорционально следующее: предположим, что данные получены как независимые реализации ограниченного распределения вероятностей с гладкой плотностью. Тогда гистограмма остается столь же «неровной», как и стремится к бесконечности. Если - это «ширина» распределения (например, стандартное отклонение или межквартильный диапазон), тогда количество единиц в ячейке (частота) порядка и относительный стандартная ошибка в порядке . По сравнению со следующим интервалом относительное изменение частоты порядка при условии, что производная плотности отлична от нуля. Эти двое имеют одинаковый порядок, если в порядке , так что в порядке . Этот простой выбор кубического корня также можно применить к ячейкам с непостоянной шириной.
Приложения
- В гидрология гистограмма и оценка функция плотности данных об осадках и речном расходе, проанализированных с помощью распределение вероятностей, используются, чтобы получить представление об их поведении и частоте появления.[25] Пример показан на синем рисунке.
- Во многих Цифровая обработка изображений программ есть инструмент гистограммы, который показывает распределение контраст / яркость пиксели.
Смотрите также
Викискладе есть медиафайлы по теме Гистограммы. |
- Биннинг данных
- Оценка плотности
- Оценка плотности ядра, более плавный, но более сложный метод оценки плотности
- Оценка энтропии
- Правило Фридмана-Диакониса
- Гистограмма изображения
- Диаграмма Парето
- Семь основных инструментов качества
- V-оптимальные гистограммы
Рекомендации
- ^ Пирсон, К. (1895). "Вклад в математическую теорию эволюции. II. Косые вариации в однородном материале". Философские труды Королевского общества A: математические, физические и инженерные науки. 186: 343–414. Bibcode:1895RSPTA.186..343P. Дои:10.1098 / рста.1895.0010.
- ^ Howitt, D .; Крамер, Д. (2008). Введение в статистику в психологии (Четвертое изд.). Прентис Холл. ISBN 978-0-13-205161-3.
- ^ Freedman, D .; Pisani, R .; Первес, Р. (1998). Статистика (Третье изд.). W. W. Norton. ISBN 978-0-393-97083-8.
- ^ Чарльз Стангор (2011) "Методы исследования поведенческих наук". Уодсворт, Cengage Learning. ISBN 9780840031976.
- ^ Дэвид В. Скотт (декабрь 2009 г.). «Усредненная гистограмма со смещением». Междисциплинарные обзоры Wiley: вычислительная статистика. 2:2 (2): 160–164. Дои:10.1002 / wics.54.
- ^ Нэнси Р. Тейг (2004). «Семь основных инструментов качества». Набор инструментов качества. Милуоки, Висконсин: Качество американского общества. п. 15. Получено 2010-02-05.
- ^ Наоми, Роббинс. «Гистограмма - это НЕ гистограмма». Forbes.com. Forbes. Получено 31 июля 2018.
- ^ М. Эйлин Магнелло (декабрь 2006 г.). «Карл Пирсон и истоки современной статистики: эластик становится статистиком». Новозеландский журнал истории и философии науки и техники. 1 том. OCLC 682200824.
- ^ Перепись населения США 2000 г..
- ^ Дин, С., и Илловски, Б. (19 февраля 2009 г.). Описательная статистика: гистограмма. Получено с веб-сайта Connexions: http://cnx.org/content/m16298/1.11/
- ^ а б c Скотт, Дэвид В. (1992). Многомерная оценка плотности: теория, практика и визуализация. Нью-Йорк: Джон Вили.CS1 maint: ref = harv (связь)
- ^ а б Стерджес, Х.А. (1926). «Выбор класса». Журнал Американской статистической ассоциации. 21 (153): 65–66. Дои:10.1080/01621459.1926.10502161. JSTOR 2965501.
- ^ например § 5.6 «Оценка плотности», В. Н. Венейблс и Б. Д. Рипли, Современная прикладная статистика с S (2002), Springer, 4-е издание. ISBN 0-387-95457-0.
- ^ «Одномерный EXCEL: гистограмма».
- ^ Обучение онлайн-статистике: мультимедийный курс обучения (http://onlinestatbook.com/). Руководитель проекта: Дэвид М. Лейн, Университет Райса (глава 2 «Графические распределения», раздел «Гистограммы»)
- ^ Доан Д.П. (1976) Классификация эстетических частот. Американский статистик, 30: 181–183.
- ^ Скотт, Дэвид В. (1979). «Об оптимальных и основанных на данных гистограммах». Биометрика. 66 (3): 605–610. Дои:10.1093 / biomet / 66.3.605.
- ^ Фридман, Дэвид; Диаконис, П. (1981). "На гистограмме как оценщик плотности: L2 теория " (PDF). Zeitschrift für Wahrscheinlichkeitstheorie und Verwandte Gebiete. 57 (4): 453–476. CiteSeerX 10.1.1.650.2473. Дои:10.1007 / BF01025868. S2CID 14437088.
- ^ Вассерман, Ларри (2004). Вся статистика. Нью-Йорк: Спрингер. п. 310. ISBN 978-1-4419-2322-6.
- ^ Стоун, Чарльз Дж. (1984). «Правило выбора асимптотически оптимальной гистограммы» (PDF). Материалы конференции в Беркли в честь Ежи Неймана и Джека Кифера.
- ^ Shimazaki, H .; Шиномото, С. (2007). «Метод выбора размера ячейки временной гистограммы». Нейронные вычисления. 19 (6): 1503–1527. CiteSeerX 10.1.1.304.6404. Дои:10.1162 / neco.2007.19.6.1503. PMID 17444758. S2CID 7781236.
- ^ Джек Принс; Дон МакКормак; Ди Михельсон; Карен Хоррелл. «Тест согласия по критерию хи-квадрат». Электронный справочник статистических методов NIST / SEMATECH. NIST / SEMATECH. п. 7.2.1.1. Получено 29 марта 2019.
- ^ Мур, Дэвид (1986). «3». В Д'Агостино, Ральф; Стивенс, Майкл (ред.). Методы соответствия. Нью-Йорк, Нью-Йорк, США: Marcel Dekker Inc., стр. 70. ISBN 0-8247-7487-6.
- ^ Калькулятор вероятностных распределений и функций плотности
- ^ Иллюстрация гистограмм и функций плотности вероятности
дальнейшее чтение
- Ланкастер, Х. Введение в медицинскую статистику. Джон Уайли и сыновья. 1974 г. ISBN 0-471-51250-8
внешняя ссылка
Викискладе есть медиафайлы по теме Гистограмма. |
Искать гистограмма в Викисловаре, бесплатном словаре. |
- Изучение гистограмм, эссе Арана Лунцера и Амелии Макнамара
- Поездка на работу и место работы (местонахождение документа переписи указано в примере)
- Гладкая гистограмма для сигналов и изображений из нескольких образцов
- Гистограммы: построение, анализ и понимание с внешними ссылками и приложением к физике частиц.
- Метод выбора размера ячейки гистограммы
- Гистограммы: теория и практика, отличные иллюстрации некоторых понятий ширины корзины, полученных выше.
- Гистограммы в правильном направлении
- Генератор интерактивных гистограмм
- Функция Matlab для построения хороших гистограмм
- Динамическая гистограмма в MS Excel
- Гистограмма строительство и манипуляция с помощью Java-апплетов и графики на SOCR
- Набор инструментов для построения лучших гистограмм