WikiDer > Байесовская оптимизация

Bayesian optimization

Байесовская оптимизация это последовательный дизайн стратегия для глобальная оптимизация из черный ящик функции[1] который не принимает никаких функциональных форм. Обычно он используется для оптимизации дорогих в оценке функций.

История

Этот термин обычно приписывают Йонасу Мокусу и был придуман в его работе из серии публикаций по глобальной оптимизации 1970-х и 1980-х годов.[2][3][4]

Стратегия

Байесовская оптимизация функции (черный) с гауссовскими процессами (фиолетовый). Внизу показаны три функции сбора данных (синие).[5]

Байесовская оптимизация обычно используется для задач вида , куда представляет собой набор точек, принадлежность которых можно легко оценить. Байесовская оптимизация особенно полезна для задач, где трудно оценить, это черный ящик с известной структурой, полагается менее 20 размеры, и где производные не оцениваются.[6]

Поскольку целевая функция неизвестна, байесовская стратегия состоит в том, чтобы рассматривать ее как случайную функцию и помещать прежний над ним. Априор фиксирует представления о поведении функции. После сбора оценок функций, которые обрабатываются как данные, предыдущие обновляются для формирования апостериорное распределение над целевой функцией. Апостериорное распределение, в свою очередь, используется для построения функции сбора данных (часто также называемой критерием выборки заполнения), которая определяет следующую точку запроса.

Есть несколько методов, используемых для определения априорного / апостериорного распределения по целевой функции. Наиболее часто используются два метода Гауссовские процессы в методе, называемом Кригинг. Другой менее затратный метод использует оценщик дерева Парзена для построения двух распределений для «высоких» и «низких» точек, а затем находит место, которое максимизирует ожидаемое улучшение.[7]

Стандартная байесовская оптимизация основывается на каждом легко оценить, а проблемы, которые отклоняются от этого предположения, известны как экзотическая байесовская оптимизация проблемы. Проблемы оптимизации могут стать экзотическими, если известно, что есть шум, оценки выполняются параллельно, качество оценок зависит от компромисса между сложностью и точностью, наличием случайных условий окружающей среды или если оценка включает производные.[6]

Примеры

Примеры функций сбора данных включают вероятность улучшения, ожидаемое улучшение, ожидаемые байесовские потери, верхние доверительные границы (UCB), Выборка Томпсона и их гибриды.[8] Все они предлагают компромисс между исследованием и эксплуатацией, чтобы минимизировать количество запросов к функциям. Таким образом, байесовская оптимизация хорошо подходит для дорогостоящих функций.

Методы решения

Максимум функции сбора данных обычно находят, прибегая к дискретизации или с помощью вспомогательного оптимизатора. Функции сбора данных обычно хорошо работают и часто максимизируются за счет реализации Метод Ньютона Такие как Алгоритм Бройдена – Флетчера – Гольдфарба – Шенно или Метод Нелдера-Мида.

Приложения

Подход был применен для решения широкого круга задач,[9] включая обучение ранжированию,[10] компьютерная графика и визуальный дизайн,[11][12] робототехника,[13][14][15][16] сенсорные сети,[17][18] автоматическая настройка алгоритма,[19] [20] автоматический машинное обучение ящики для инструментов,[21][22][23] обучение с подкреплением, планирование, визуальное внимание, конфигурация архитектуры в глубокое обучение, статический программный анализ, экспериментальный физика элементарных частиц,[24][25] химия, дизайн материалов и разработка лекарств.[6][26][27]

Смотрите также

Рекомендации

  1. ^ Йонас Моцкус (2012). Байесовский подход к глобальной оптимизации: теория и приложения. Kluwer Academic.
  2. ^ Йонас Моцкус: О байесовских методах поиска экстремума. Методы оптимизации 1974: 400-404
  3. ^ Йонас Моцкус: Байесовские методы поиска экстремума и их применение. Конгресс ИФИП 1977: 195-200
  4. ^ Дж. Мокус, Байесовский подход к глобальной оптимизации. Kluwer Academic Publishers, Дордрехт, 1989 г.
  5. ^ Уилсон, Сэмюэл (2019-11-22), Пакет ParBayesianOptimization R, получено 2019-12-12
  6. ^ а б c Фрейзер, Питер I. (2018-07-08). «Учебное пособие по байесовской оптимизации». arXiv: 1807.02811 [cs, math, stat].
  7. ^ Дж. С. Бергстра, Р. Барденет, Й. Бенджио, Б. Кегль: Алгоритмы оптимизации гиперпараметров. Достижения в системах обработки нейронной информации: 2546–2554 (2011)
  8. ^ Мэтью В. Хоффман, Эрик Брочу, Нандо де Фрейтас: Распределение портфеля для байесовской оптимизации. Неопределенность в искусственном интеллекте: 327–336 (2011)
  9. ^ Эрик Брошу, Влад М. Кора, Нандо де Фрейтас: Учебное пособие по байесовской оптимизации дорогостоящих функций с применением для моделирования активного пользователя и обучения с иерархическим подкреплением. CoRR abs / 1012.2599 (2010)
  10. ^ Эрик Брочу, Нандо де Фрейтас, Абхиджит Гош: Активное обучение предпочтениям с данными дискретного выбора. Достижения в системах обработки нейронной информации: 409-416 (2007)
  11. ^ Эрик Брошу, Тайсон Брошу, Нандо де Фрейтас: Байесовский подход к интерактивной оптимизации дизайна процедурной анимации. Симпозиум по компьютерной анимации 2010: 103–112
  12. ^ Юки Кояма, Иссей Сато, Дайсуке Сакамото, Такео Игараси: Последовательный поиск строк для эффективной оптимизации визуального дизайна толпой. Транзакции ACM на графике, Том 36, Выпуск 4, стр 48: 1–48: 11 (2017). DOI: https://doi.org/10.1145/3072959.3073598
  13. ^ Дэниел Дж. Лизотт, Тао Ван, Майкл Х. Боулинг, Дейл Шурманс: Автоматическая оптимизация походки с регрессией гауссовского процесса. Международная совместная конференция по искусственному интеллекту: 944–949 (2007)
  14. ^ Рубен Мартинес-Кантин, Нандо де Фрейтас, Эрик Брошу, Хосе Кастелланос и Арно Дусе. Байесовский подход к разведке и эксплуатации для оптимального онлайн-зондирования и планирования с помощью мобильного робота с визуальным управлением. Автономные роботы. Том 27, Выпуск 2, стр 93–103 (2009)
  15. ^ Скотт Куиндерма, Родерик Группен и Эндрю Барто. Управление переменным риском с помощью стохастической оптимизации. Международный журнал исследований робототехники, том 32, номер 7, стр. 806–825 (2013)
  16. ^ Роберто Каландра, Андре Зейфарт, Ян Петерс и Марк П. Дайзенрот Байесовская оптимизация для обучения походкам в условиях неопределенности. Анна. Математика. Артиф. Intell. Volume 76, Issue 1, pp 5-23 (2016) DOI: 10.1007 / s10472-015-9463-9
  17. ^ Ниранджан Шринивас, Андреас Краузе, Шам М. Какаде, Маттиас В. Сигер: Теоретико-информационные границы сожаления для гауссовской оптимизации процесса в условиях бандита. IEEE Transactions по теории информации 58 (5): 3250–3265 (2012)
  18. ^ Роман Гарнетт, Майкл А. Осборн, Стивен Дж. Робертс: Байесовская оптимизация для выбора набора датчиков. Международная конференция ACM / IEEE по обработке информации в сенсорных сетях: 209–219 (2010)
  19. ^ Фрэнк Хаттер, Хольгер Хус и Кевин Лейтон-Браун (2011). Последовательная оптимизация на основе модели для общей конфигурации алгоритма, Обучение и интеллектуальная оптимизация
  20. ^ Дж. Снук, Х. Ларошель, Р. П. Адамс Практическая байесовская оптимизация алгоритмов машинного обучения. Достижения в системах обработки нейронной информации: 2951-2959 (2012)
  21. ^ Дж. Бергстра, Д. Яминь, Д. Д. Кокс (2013).Hyperopt: библиотека Python для оптимизации гиперпараметров алгоритмов машинного обучения.Proc. SciPy 2013.
  22. ^ Крис Торнтон, Фрэнк Хаттер, Хольгер Х. Хус, Кевин Лейтон-Браун: Auto-WEKA: комбинированный выбор и гиперпараметрическая оптимизация алгоритмов классификации. KDD 2013: 847–855
  23. ^ Джаспер Снок, Хьюго Ларошель и Райан Прескотт Адамс. Практическая байесовская оптимизация алгоритмов машинного обучения. Достижения в системах обработки нейронной информации, 2012 г.
  24. ^ Филип Илтен, Майк Уильямс, Юньцзе Ян. Настройка генератора событий с использованием байесовской оптимизации. 2017 ОИНСТ 12 P04028. DOI: 10.1088 / 1748-0221 / 12/04 / P04028
  25. ^ Evaristo Cisbani et al. Оптимизированная для искусственного интеллекта конструкция детектора для будущего электронно-ионного коллайдера: корпус RICH с двумя излучателями 2020 ОКТЯБРЬ 15 П05009. DOI: 10.1088 / 1748-0221 / 15/05 / P05009
  26. ^ Gomez-Bombarelli et al. Автоматический химический дизайн с использованием непрерывного представления молекул на основе данных. ACS Central Science, Том 4, Выпуск 2, 268-276 (2018)
  27. ^ Гриффитс и др. Ограниченная байесовская оптимизация для автоматического химического проектирования с использованием вариационных автоэнкодеров Химические науки: 11, 577-586 (2020)

внешняя ссылка

  • GPyOpt, Библиотека Python с открытым исходным кодом для байесовской оптимизации на основе GPy.
  • Байесопт, эффективная реализация на C / C ++ с поддержкой Python, Matlab и Octave.
  • Мята, реализация Python, ориентированная на параллельные и кластерные вычисления.
  • SMAC, Java-реализация байесовской оптимизации на основе случайного леса для общей конфигурации алгоритма.
  • ParBayesianОптимизация, Высокопроизводительная параллельная реализация байесовской оптимизации с гауссовскими процессами в R.
  • Pybo, реализация модульной байесовской оптимизации на языке Python.
  • Bayesopt.m, реализация в Matlab байесовской оптимизации с ограничениями или без них.
  • МЧС MOE - это реализация байесовской глобальной оптимизации на Python / C ++ / CUDA с использованием гауссовских процессов.
  • SigOpt SigOpt предлагает байесовскую глобальную оптимизацию в качестве услуги SaaS, ориентированной на корпоративные сценарии использования.
  • Mind Foundry OPTaaS предлагает байесовскую глобальную оптимизацию через веб-сервисы с гибкими ограничениями параметров.
  • байесо, реализация байесовской оптимизации на языке Python.
  • BoTorch, модульная и современная библиотека с открытым исходным кодом на основе PyTorch для исследований по байесовской оптимизации с поддержкой GPyTorch.
  • GPflowOpt, пакет с открытым исходным кодом на основе TensorFlow для байесовской оптимизации.