WikiDer > Номер покрытия
В математике номер покрытия это количество сферических мячи заданного размера, необходимого для полного покрытия заданного пространства с возможными перекрытиями. Две взаимосвязанные концепции: номер упаковки, количество непересекающихся шаров, которые умещаются в пространстве, и метрическая энтропия, количество точек, которые помещаются в пространстве, когда они ограничены лежать на некотором фиксированном минимальном расстоянии друг от друга.
Определение
Позволять (M, d) быть метрическое пространство, позволять K быть подмножеством M, и разреши р быть позитивным настоящий номер. Позволять Bр(Икс) обозначают мяч радиуса р сосредоточен на Икс. Подмножество C из M является r-внешнее покрытие из K если:
- .
Другими словами, для каждого Существует такой, что .
Если к тому же C это подмножество K, то это r-внутреннее покрытие.
В номер внешнего покрытия из K, обозначенный , - минимальная мощность любого внешнего покрытия K. В внутренний номер покрытия, обозначенный , - минимальная мощность любого внутреннего покрытия.
Подмножество п из K это упаковка если и набор является попарно непересекающиеся. В номер упаковки из K, обозначенный , - максимальная мощность любой упаковки K.
Подмножество S из K является р-отделенный если каждая пара точек Икс и у в S удовлетворяет d(Икс, у) ≥ р. В метрическая энтропия из K, обозначенный , - максимальная мощность любого р-отделенное подмножество K.
Примеры
1. Метрическое пространство - это действительная линия. . представляет собой набор действительных чисел, абсолютное значение которых не превышает . Тогда есть внешнее покрытие интервалы длины , покрывающая интервал . Следовательно:
2. Метрическое пространство - это Евклидово пространство с Евклидова метрика. набор векторов, длина (норма) которых не превосходит .Если лежит в d-мерное подпространство , тогда:[1]:337
- .
3. Метрическое пространство - это пространство вещественнозначных функций с l-бесконечность метрическая. это наименьшее число такие, что существуют такое, что для всех Существует такое, что супремум расстояние между и самое большее Вышеупомянутая оценка не имеет значения, так как пространство -размерный. это компактный набор, каждое его покрытие имеет конечное подпокрытие, поэтому конечно.[2]:61
Характеристики
1. Число внутреннего и внешнего покрытия, номер упаковки и метрическая энтропия тесно связаны. Следующая цепочка неравенств верна для любого подмножества K метрического пространства и любое положительное действительное число р.[3]
2. Все функции, кроме внутреннего покрывающего числа, не увеличиваются в р и не снижается в K. Номер внутреннего покрытия монотонный в р но не обязательно в K.
Следующие свойства относятся к покрывающим числам в стандарте. Евклидово пространство :[1]:338
3. Если все векторы в переводятся на постоянный вектор , то покрывающее число не меняется.
4. Если все векторы в умножаются на скаляр , тогда:
- для всех :
5. Если все векторы в управляются Функция Липшица с Постоянная Липшица , тогда:
- для всех :
Приложение к машинному обучению
Позволять - пространство действительных функций с l-бесконечность метрики (см. пример 3 выше). Предположим, что все функции в ограничены действительной постоянной .Затем покрывающее число можно использовать для привязки ошибка обобщенияфункций обучения от относительно квадрата потерь:[2]:61
- куда и количество образцов.
Смотрите также
Рекомендации
- ^ а б Шалев-Шварц, Шай; Бен-Давид, Шай (2014). Понимание машинного обучения - от теории к алгоритмам. Издательство Кембриджского университета. ISBN 9781107057135.
- ^ а б Мохри, Мехриар; Ростамизаде, Афшин; Талвалкар, Амит (2012). Основы машинного обучения. США, Массачусетс: MIT Press. ISBN 9780262018258.
- ^ Тао, Терренс. «Метрические энтропийные аналоги теории множеств сумм». Получено 2 июн 2014.