WikiDer > Теория информационного поля

Information field theory

Теория информационного поля (IFT) - это Байесовский статистическая теория поля относящийся к реконструкция сигнала, космографияи другие связанные области.[1][2] IFT обобщает информацию, доступную на физическое поле с помощью Байесовские вероятности. Он использует вычислительные методы, разработанные для квантовая теория поля и статистическая теория поля справиться с бесконечным количеством степени свободы поля и получить алгоритмы для расчета поля ожидаемые значения. Например, задний ожидаемое значение поля, созданного известным Гауссовский процесс и измеряется линейным устройством с известным Гауссов шум статистику дает обобщенный фильтр Винера применяется к измеренным данным. IFT расширяет такую ​​известную формулу фильтра на ситуации с нелинейная физика, нелинейные устройства, негауссовский статистика поля или шума, зависимость статистики шума от значений поля и частично неизвестные параметры измерения. Для этого он использует Диаграммы Фейнмана, перенормировка уравнения потока и другие методы из математическая физика.[3]

Мотивация

Поля играют важную роль в науке, технологиях и экономике. Они описывают пространственные изменения некоторой величины, например температуры воздуха, в зависимости от положения. Знание конфигурации поля может иметь большое значение. Однако измерения полей никогда не могут с уверенностью обеспечить точную конфигурацию поля. Физические поля имеют бесконечное количество степеней свободы, но данные, генерируемые любым измерительным устройством, всегда конечны, обеспечивая лишь конечное количество ограничений для поля. Таким образом, однозначное выведение такого поля только из данных измерений невозможно и только вероятностный вывод остается как средство сделать заявления о поле. К счастью, физические поля обнаруживают корреляции и часто подчиняются известным физическим законам. Такую информацию лучше всего объединить с выводом поля, чтобы преодолеть несоответствие степеней свободы поля точкам измерения. Чтобы справиться с этим, необходима теория информации для полей, а это и есть теория информационного поля.

Концепции

Байесовский вывод

это значение поля в местоположении в пространстве . Предварительные знания о неизвестном сигнальном поле закодирован в распределении вероятностей . Данные предоставляет дополнительную информацию о через вероятность который включается в апостериорную вероятность

в соответствии с Теорема Байеса.

Информация Гамильтониан

В IFT теорема Байеса обычно переписывается на языке статистической теории поля,

с информационным гамильтонианом, определенным как
отрицательный логарифм совместной вероятности данных и сигнала и с функция распределения существование
Эта переформулировка теоремы Байеса позволяет использовать методы математической физики, разработанные для рассмотрения статистические теории поля и квантовые теории поля.

Поля

Поскольку поля имеют бесконечное число степеней свободы, определение вероятностей над пространствами конфигураций полей имеет тонкости. Идентификация физических полей как элементов функциональных пространств создает проблему, Мера Лебега определяется над последним, и поэтому плотности вероятности не могут быть определены там. Однако физические поля имеют гораздо большую регулярность, чем большинство элементов функциональных пространств, поскольку они непрерывны и гладкие в большинстве своих мест. Поэтому менее общие, но достаточно гибкие конструкции могут использоваться для обработки бесконечного числа степеней свободы поля.

Прагматический подход состоит в том, чтобы рассматривать поле дискретизацией в пикселях. Каждый пиксель несет одно значение поля, которое предполагается постоянным в пределах объема пикселя. Все утверждения о непрерывном поле затем должны быть преобразованы в его пиксельное представление. Таким образом, мы имеем дело с конечномерными полевыми пространствами, в которых плотности вероятностей хорошо определены.

Чтобы это описание было правильной теорией поля, дополнительно требуется, чтобы разрешение в пикселях всегда можно уточнить, а математические ожидания дискретизированного поля сходятся к конечным значениям:

Интегралы по путям

Если этот предел существует, можно говорить об интеграле по пространству конфигурации поля или интеграл по путям

независимо от разрешения его можно было бы оценить численно.

Гауссовский приор

Самый простой априор для поля - это нулевое среднее Гауссово распределение вероятностей

Определитель в знаменателе может быть неверно определен в континуальном пределе , однако, все, что необходимо для согласованности IFT, - это то, что этот определитель может быть оценен для любого представления поля конечного разрешения с помощью и что это позволяет вычислять сходящиеся ожидаемые значения.

Гауссовское распределение вероятностей требует задания двухточечной корреляционной функции поля с коэффициентами

и скалярное произведение для непрерывных полей
относительно которой обратная ковариация поля сигнала построен, т.е.

Соответствующий гамильтониан априорной информации имеет вид

Уравнение измерения

Данные измерений был сгенерирован с вероятностью . Если прибор был линейным, уравнение измерения вида

можно дать, в котором отклик прибора, который описывает, как данные в среднем реагируют на сигнал, и это шум, просто разница между данными и линейный отклик сигнала . Важно отметить, что ответ переводит бесконечномерный вектор сигнала в конечномерное пространство данных. В компонентах это читается как

где также были введены обозначения компонент вектора для векторов сигналов и данных.

Если шум следует за независимым от сигнала гауссовой статистикой с нулевым средним и ковариацией , тогда вероятность также гауссова,

а гамильтониан информации правдоподобия равен
Линейное измерение гауссовского сигнала с учетом гауссовского и независимого от сигнала шума приводит к свободному IFT.

Бесплатная теория

Свободный гамильтониан

Совместный информационный гамильтониан гауссовского сценария, описанный выше, имеет вид

куда обозначает равенство с точностью до нерелевантных констант, что в данном случае означает выражения, не зависящие от . Из этого ясно, что апостериорная функция должна быть гауссовой со средним и дисперсия ,
где равенство между правой и левой частями выполняется, поскольку оба распределения нормированы, .

Обобщенный фильтр Винера

Апостериорное среднее

также известен как обобщенный Фильтр Винера решение и ковариация неопределенности
как дисперсия Винера.

В IFT называется источником информации, поскольку он действует как исходный элемент для возбуждения поля (знания), и распространитель информации, поскольку он передает информацию из одного места в другое в

Теория взаимодействия

Взаимодействующий гамильтониан

Если какое-либо из предположений, которые приводят к свободной теории, нарушается, IFT становится теорией взаимодействия, с членами, которые имеют более высокий, чем квадратичный порядок в поле сигнала. Это происходит, когда сигнал или шум не соответствуют гауссовой статистике, когда ответ нелинейный, когда шум зависит от сигнала или когда ответ или ковариации неопределенны.

В этом случае информационный гамильтониан может быть расширен за Тейлор-Фреше серии,

куда - свободный гамильтониан, который сам по себе привел бы к гауссовской апостериорной теории, и - взаимодействующий гамильтониан, кодирующий негауссовские поправки. Коэффициенты Тейлора первого и второго порядка часто отождествляются с (отрицательным) источником информации. и распространитель информации , соответственно. Более высокие коэффициенты связаны с нелинейными самовзаимодействиями.

Классическое поле

Классическое поле минимизирует информационный гамильтониан,

и, следовательно, максимизирует задний:
Классическое поле поэтому максимальная апостериорная оценка задачи вывода поля.

Критический фильтр

Задача фильтра Винера требует двухточечной корреляции поля, чтобы быть известным. Если он неизвестен, он должен быть выведен вместе с самим полем. Для этого требуется спецификация гиперприор . Часто можно предположить статистическую однородность (трансляционную инвариантность), подразумевая, что диагонально в Пространство Фурье (за быть размерный Декартово пространство). В этом случае только спектр мощности пространства Фурье необходимо сделать вывод. При дальнейшем предположении о статистической изотропии этот спектр зависит только от длины вектора Фурье и только одномерный спектр должен быть определен. Тогда предыдущая ковариация поля читается в координатах пространства Фурье .

Если до плоская, совместная вероятность данных и спектра равна

где обозначение пропагатора информации и источник Проблема фильтра Винера была использована снова. Соответствующий информационный гамильтониан имеет вид
куда обозначает равенство с точностью до нерелевантных констант (здесь: константа относительно ). Минимизация этого по отношению к , чтобы получить максимальную апостериорную оценку спектра мощности, дает
где фильтр Винера означает и проектор спектрального диапазона были представлены. Последний ездит с , поскольку диагональна в пространстве Фурье. Таким образом, максимальная апостериорная оценка для спектра мощности равна
Его нужно рассчитывать итеративно, так как и зависят как от самих себя. В эмпирический байесовский подход, оценочный будет принято как данность. Как следствие, апостериорная средняя оценка поля сигнала является соответствующей и его неопределенность соответствующая в эмпирическом байесовском приближении.

Результирующий нелинейный фильтр называется критический фильтр.[4] Обобщение формулы оценки спектра мощности как

демонстрирует порог восприятия для , что означает, что дисперсия данных в полосе Фурье должна превышать ожидаемый уровень шума на определенный порог перед восстановлением сигнала. становится ненулевым для этой полосы. Когда дисперсия данных немного превышает этот порог, восстановление сигнала перескакивает на конечный уровень возбуждения, аналогичный фазовый переход первого рода в термодинамических системах. Для фильтра с восприятие сигнала начинается непрерывно, как только дисперсия данных превышает уровень шума. Исчезновение прерывистого восприятия при похожа на термодинамическую систему, проходящую через критическая точка. Отсюда и название «критический фильтр».

Критический фильтр, его расширения до нелинейных измерений и включение априорных значений неплоского спектра позволили применить IFT к проблемам вывода реальных сигналов, для которых ковариация сигнала обычно неизвестна априори.

Примеры применения IFT

Радиоинтерферометрическое изображение радиогалактик в скоплении галактик Abell 2219. Изображения были построены с помощью обратной проекции данных (вверху), алгоритма CLEAN (в центре) и алгоритма RESOLVE (внизу). Отрицательные и, следовательно, нефизические потоки отображаются белым цветом.

Обобщенный фильтр Винера, который появляется в бесплатном IFT, широко используется в обработке сигналов. Алгоритмы, явно основанные на IFT, были выведены для ряда приложений. Многие из них реализованы с использованием Теория числового информационного поля (NIFTy) библиотека.

  • D³PO это код для Снижение шумов, деконволюция и разложение наблюдений за фотонами. Он восстанавливает изображения из отдельных событий счета фотонов, принимая во внимание статистику счета Пуассона и функцию отклика прибора. Он разделяет излучение неба на изображение диффузного излучения и одного из точечных источников, используя различную структуру корреляции и статистику двух компонентов для их разделения. D³PO был применен к данным Ферми и RXTE спутники.
  • РАЗРЕШИТЬ представляет собой байесовский алгоритм построения изображений с синтезом апертуры в радиоастрономии. RESOLVE похож на D³PO, но предполагает гауссовское правдоподобие и функцию отклика в пространстве Фурье. Он был применен к данным Очень большой массив.
  • PySESA это Фреймворк Python для пространственно-явного спектрального анализа для пространственно явного спектрального анализа облаков точек и геопространственных данных.

Продвинутая теория

Многие методы из квантовой теории поля могут использоваться для решения проблем IFT, например диаграммы Фейнмана, эффективные действия и формализм полевого оператора.

Диаграммы Фейнмана

Первые три диаграммы Фейнмана, составляющие апостериорную среднюю оценку поля. Линия обозначает распространитель информации, точка в конце строки - источник информации, а вершина - член взаимодействия. Первая диаграмма кодирует фильтр Винера, вторая - нелинейную поправку, а третья - поправку неопределенности для фильтра Винера.

В случае, если коэффициенты взаимодействия в Тейлор-Фреше разложение информационного гамильтониана

малы, функция раздела журнала, или Свободная энергия Гельмгольца,
можно асимптотически разложить по этим коэффициентам. Свободный гамильтониан определяет среднее и дисперсия распределения Гаусса над которым интегрировано расширение. Это приводит к сумме по множеству всех связанных Диаграммы Фейнмана. По свободной энергии Гельмгольца любой связанный момент поля может быть вычислен с помощью
Ситуации, в которых существуют небольшие параметры расширения, необходимые для сходимости такого схематического расширения, задаются полями сигнала, близкими к гауссову, где негауссовость статистики поля приводит к малым коэффициентам взаимодействия . Например, статистика Космический микроволновый фон почти гауссовский, с небольшими количествами негауссовости, которые, как считается, были засеяны во время инфляционная эпоха в Ранняя Вселенная.

Эффективное действие

Чтобы иметь стабильные числовые значения для задач IFT, необходим функционал поля, который в случае минимизации обеспечивает поле апостериорного среднего. Это дается эффективным действием или Свободная энергия Гиббса поля. Свободная энергия Гиббса можно построить из свободной энергии Гельмгольца с помощью Превращение Лежандра. В IFT это разница внутренней информационной энергии

и Энтропия Шеннона
для температуры , где апостериорное приближение Гаусса используется с приблизительными данными содержащий среднее значение и дисперсию поля.[5]

Тогда свободная энергия Гиббса равна

то Расхождение Кульбака-Лейблера между аппроксимационной и точной апостериорной плюс свободная энергия Гельмгольца. Поскольку последнее не зависит от приблизительных данных , минимизация свободной энергии Гиббса эквивалентна минимизации расхождения Кульбака-Лейблера между приближенным и точным апостериорным. Таким образом, подход эффективного действия IFT эквивалентен подходу вариационные байесовские методы, что также минимизирует расхождение Кульбака-Лейблера между приближенными и точными апостериорными.

Минимизация свободной энергии Гиббса приближенно дает апостериорное среднее поле

тогда как минимизация информации гамильтониан обеспечивает максимальное апостериорное поле. Поскольку последний, как известно, вызывает чрезмерный шум, первый обычно является лучшим средством оценки поля.

Операторный формализм

Вычисление свободной энергии Гиббса требует вычисления гауссовых интегралов по информационному гамильтониану, поскольку внутренняя информационная энергия равна

Такие интегралы могут быть вычислены с помощью формализма оператора поля:[6] в котором
- оператор поля. Это генерирует выражение поля внутри интеграла, если применить его к функции распределения Гаусса,
и любая более высокая мощность поля, если применяется несколько раз,
Если информационный гамильтониан аналитический, все его члены могут быть сгенерированы через полевой оператор
Поскольку оператор поля не зависит от поля сам по себе, его можно вытащить из интеграла по путям конструкции внутренней энергии информации,
куда следует рассматривать как функционал, который всегда возвращает значение независимо от значения его ввода . Полученное выражение можно вычислить, коммутируя аннигилятор среднего поля справа от выражения, где они исчезают, поскольку . Аннигилятор среднего поля коммутирует со средним полем как

Используя формализм оператора поля, можно вычислить свободную энергию Гиббса, что позволяет сделать (приближенный) вывод апостериорного среднего поля с помощью численной робастной минимизации функционала.

История

Книга Норберт Винер[7] можно рассматривать как одну из первых работ по полевому выводу. Использование интегралов по путям для вывода полей было предложено рядом авторов, например. Эдмунд Бертшингер[8] или Уильям Биалек и А. Зи.[9] Связь теории поля и байесовских рассуждений была четко обозначена Йоргом Леммом.[10] Период, термин теория информационного поля был придумал Торстен Энслин.[11] См. Последнюю ссылку для получения дополнительной информации об истории IFT.

Смотрите также

Рекомендации

  1. ^ Энслин, Торстен (2013). «Теория информационного поля». Материалы конференции AIP. 1553 (1): 184–191. arXiv:1301.2556. Bibcode:2013AIPC.1553..184E. Дои:10.1063/1.4819999.
  2. ^ Энслин, Торстен А. (2019). «Теория информации для полей». Annalen der Physik. 531 (3): 1800127. arXiv:1804.03350. Bibcode:2019AnP ... 53100127E. Дои:10.1002 / andp.201800127.
  3. ^ «Теория информационного поля». Общество Макса Планка. Получено 13 ноя 2014.
  4. ^ Enßlin, Torsten A .; Фроммерт, Мона (19 мая 2011 г.). «Реконструкция сигналов с неизвестными спектрами в теории информационного поля с неопределенностью параметров». Физический обзор D. 83 (10): 105014. arXiv:1002.2928. Bibcode:2011PhRvD..83j5014E. Дои:10.1103 / PhysRevD.83.105014.
  5. ^ Энслин, Торстен А. (2010). «Вывод с минимальной свободной энергией Гиббса в теории информационного поля». Физический обзор E. 82 (5): 051112. arXiv:1004.2868. Bibcode:2010PhRvE..82e1112E. Дои:10.1103 / Physreve.82.051112. PMID 21230442.
  6. ^ Leike, Reimar H .; Энслин, Торстен А. (16 ноября 2016 г.). «Операторное исчисление в теории информационного поля». Физический обзор E. 94 (5): 053306. arXiv:1605.00660. Bibcode:2016PhRvE..94e3306L. Дои:10.1103 / PhysRevE.94.053306. PMID 27967173.
  7. ^ (1894-1964), Винер, Норберт (1964). Экстраполяция, интерполяция и сглаживание стационарных временных рядов с инженерными приложениями (Издание пятое). Кембридж, Массачусетс: Technology Press Массачусетского технологического института. ISBN 0262730057. OCLC 489911338.CS1 maint: числовые имена: список авторов (связь)
  8. ^ Берчингер, Эдмунд (декабрь 1987 г.). «Методы интегралов по траекториям для первичных возмущений плотности - выборка ограниченных гауссовских случайных полей». Астрофизический журнал. 323: L103 – L106. Bibcode:1987ApJ ... 323L.103B. Дои:10.1086/185066. ISSN 0004-637X.
  9. ^ Биалек, Уильям; Зи, А. (1988-09-26). «Понимание эффективности человеческого восприятия». Письма с физическими проверками. 61 (13): 1512–1515. Bibcode:1988ПхРвЛ..61.1512Б. Дои:10.1103 / PhysRevLett.61.1512. PMID 10038817.
  10. ^ К., Лемм, Йорг (2003). Байесовская теория поля. Балтимор, штат Мэриленд: Издательство Университета Джона Хопкинса. ISBN 9780801872204. OCLC 52762436.
  11. ^ Enßlin, Torsten A .; Фроммерт, Мона; Китаура, Франсиско С. (2009-11-09). «Теория информационного поля для восстановления космологических возмущений и нелинейного анализа сигналов». Физический обзор D. 80 (10): 105005. arXiv:0806.3474. Bibcode:2009PhRvD..80j5005E. Дои:10.1103 / PhysRevD.80.105005.