WikiDer > Номер покрытия

Covering number

В математике номер покрытия это количество сферических мячи заданного размера, необходимого для полного покрытия заданного пространства с возможными перекрытиями. Две взаимосвязанные концепции: номер упаковки, количество непересекающихся шаров, которые умещаются в пространстве, и метрическая энтропия, количество точек, которые помещаются в пространстве, когда они ограничены лежать на некотором фиксированном минимальном расстоянии друг от друга.

Определение

Позволять (M, d) быть метрическое пространство, позволять K быть подмножеством M, и разреши р быть позитивным настоящий номер. Позволять Bр(Икс) обозначают мяч радиуса р сосредоточен на Икс. Подмножество C из M является r-внешнее покрытие из K если:

.

Другими словами, для каждого Существует такой, что .

Если к тому же C это подмножество K, то это r-внутреннее покрытие.

В номер внешнего покрытия из K, обозначенный , - минимальная мощность любого внешнего покрытия K. В внутренний номер покрытия, обозначенный , - минимальная мощность любого внутреннего покрытия.

Подмножество п из K это упаковка если и набор является попарно непересекающиеся. В номер упаковки из K, обозначенный , - максимальная мощность любой упаковки K.

Подмножество S из K является р-отделенный если каждая пара точек Икс и у в S удовлетворяет d(Икс, у) ≥ р. В метрическая энтропия из K, обозначенный , - максимальная мощность любого р-отделенное подмножество K.

Примеры

1. Метрическое пространство - это действительная линия. . представляет собой набор действительных чисел, абсолютное значение которых не превышает . Тогда есть внешнее покрытие интервалы длины , покрывающая интервал . Следовательно:

2. Метрическое пространство - это Евклидово пространство с Евклидова метрика. набор векторов, длина (норма) которых не превосходит .Если лежит в d-мерное подпространство , тогда:[1]:337

.

3. Метрическое пространство - это пространство вещественнозначных функций с l-бесконечность метрическая. это наименьшее число такие, что существуют такое, что для всех Существует такое, что супремум расстояние между и самое большее Вышеупомянутая оценка не имеет значения, так как пространство -размерный. это компактный набор, каждое его покрытие имеет конечное подпокрытие, поэтому конечно.[2]:61

Характеристики

1. Число внутреннего и внешнего покрытия, номер упаковки и метрическая энтропия тесно связаны. Следующая цепочка неравенств верна для любого подмножества K метрического пространства и любое положительное действительное число р.[3]

2. Все функции, кроме внутреннего покрывающего числа, не увеличиваются в р и не снижается в K. Номер внутреннего покрытия монотонный в р но не обязательно в K.

Следующие свойства относятся к покрывающим числам в стандарте. Евклидово пространство :[1]:338

3. Если все векторы в переводятся на постоянный вектор , то покрывающее число не меняется.

4. Если все векторы в умножаются на скаляр , тогда:

для всех :

5. Если все векторы в управляются Функция Липшица с Постоянная Липшица , тогда:

для всех :

Приложение к машинному обучению

Позволять - пространство действительных функций с l-бесконечность метрики (см. пример 3 выше). Предположим, что все функции в ограничены действительной постоянной .Затем покрывающее число можно использовать для привязки ошибка обобщенияфункций обучения от относительно квадрата потерь:[2]:61

куда и количество образцов.

Смотрите также

Рекомендации

  1. ^ а б Шалев-Шварц, Шай; Бен-Давид, Шай (2014). Понимание машинного обучения - от теории к алгоритмам. Издательство Кембриджского университета. ISBN 9781107057135.
  2. ^ а б Мохри, Мехриар; Ростамизаде, Афшин; Талвалкар, Амит (2012). Основы машинного обучения. США, Массачусетс: MIT Press. ISBN 9780262018258.
  3. ^ Тао, Терренс. «Метрические энтропийные аналоги теории множеств сумм». Получено 2 июн 2014.