WikiDer > Гамильтониан (теория управления)

В Гамильтониан это функция используется для решения проблемы оптимальный контроль для динамическая система. Это можно понимать как мгновенное приращение Лагранжево выражение проблемы, которая должна быть оптимизирована в течение определенного периода времени.^[1] Вдохновленный, но отличный от него Гамильтониан классической механики, гамильтониан теории оптимального управления был разработан Лев Понтрягин как часть его принцип максимума.^[2] Понтрягин доказал, что необходимым условием решения задачи оптимального управления является выбор управления таким образом, чтобы оптимизировать гамильтониан.^[3]

Постановка задачи и определение гамильтониана

Рассмотрим динамическая система из ${displaystyle n}$ Первый заказ дифференциальные уравнения

${displaystyle {точка {mathbf {x}}} (t) = mathbf {f} (mathbf {x} (t), mathbf {u} (t), t)}$

где ${displaystyle mathbf {x} (t) = left [x_ {1} (t), x_ {2} (t), ldots, x_ {n} (t) ight] ^ {mathsf {T}}}$ обозначает вектор переменных состояния, а ${displaystyle mathbf {u} (t) = left [u_ {1} (t), u_ {2} (t), ldots, u_ {r} (t) ight] ^ {mathsf {T}}}$ вектор управляющих переменных. После начальных условий ${displaystyle mathbf {x} (t_ {0}) = mathbf {x} _ {0}}$ и контроль ${displaystyle mathbf {u} (t)}$ определены решение дифференциальных уравнений, называемое траектория ${displaystyle mathbf {x} (t; mathbf {x} _ {0}, t_ {0})}$, может быть найден. Задача оптимального управления состоит в выборе ${displaystyle mathbf {u} (t)}$ (из некоторых компактный и выпуклый набор ${displaystyle {mathcal {U}} substeq mathbb {R} ^ {r}}$) так что ${displaystyle mathbf {x} (t)}$ максимизирует или минимизирует определенные целевая функция между начальным временем ${displaystyle t = t_ {0}}$ и конечное время ${displaystyle t = t_ {1}}$ (куда ${displaystyle t_ {1}}$ может быть бесконечность). В частности, цель - оптимизировать индекс производительности. ${displaystyle I (mathbf {x} (t), mathbf {u} (t), t)}$ в каждый момент времени,

${displaystyle max _ {mathbf {u} (t)} J = int _ {t_ {0}} ^ {t_ {1}} I (mathbf {x} (t), mathbf {u} (t), t) , mathrm {d} t}$

с учетом приведенных выше уравнений движения переменных состояния. Метод решения включает определение вспомогательной функции, известной как гамильтониан

который сочетает в себе целевую функцию и уравнения состояния во многом как Лагранжиан в задаче статической оптимизации только множители ${displaystyle mathbf {lambda} (t)}$, именуемой стоимостные переменные, являются функциями времени, а не константами.

Цель - найти оптимальную функцию политики управления. ${displaystyle mathbf {u} ^ {ast} (t)}$ и, вместе с тем, оптимальная траектория переменной состояния ${displaystyle mathbf {x} ^ {ast} (t)}$, который Принцип максимума Понтрягина аргументы, максимизирующие гамильтониан,

${displaystyle H (mathbf {x} ^ {ast} (t), mathbf {u} ^ {ast} (t), mathbf {lambda} (t), t) geq H (mathbf {x} (t), mathbf {u} (t), mathbf {lambda} (t), t)}$ для всех ${displaystyle mathbf {u} (t) в {mathcal {U}}}$

Необходимые условия первого порядка для максимума даются формулами

${displaystyle {frac {partial H (mathbf {x} (t), mathbf {u} (t), mathbf {lambda} (t), t)} {partial mathbf {u}}} = 0}$ который порождает ${displaystyle I_ {mathbf {u}} (mathbf {x} (t), mathbf {u} (t), t) + mathbf {lambda} ^ {mathsf {T}} (t) mathbf {f} _ {mathbf {u}} (mathbf {x} (t), mathbf {u} (t), t) = 0}$,

${displaystyle {frac {partial H (mathbf {x} (t), mathbf {u} (t), mathbf {lambda} (t), t)} {partial mathbf {x}}} = - {dot {mathbf { лямбда}}} (t)}$ который порождает ${displaystyle {dot {mathbf {lambda}}} (t) = - left [I_ {mathbf {x}} (mathbf {x} (t), mathbf {u} (t), t) + mathbf {lambda} ^) {mathsf {T}} (t) mathbf {f} _ {mathbf {x}} (mathbf {x} (t), mathbf {u} (t), t) ight]}$

последние из которых называются сопряженные уравнения. Вместе, уравнения состояния и уравнения состояния описывают гамильтонову динамическую систему (снова аналогичную, но отличную от Гамильтонова система по физике), в решении которой участвует двухточечный краевая задача, учитывая, что есть ${displaystyle 2n}$ граничные условия, включающие два разных момента времени, начальное время ( ${displaystyle n}$ дифференциальные уравнения для переменных состояния) и конечного времени ( ${displaystyle n}$ дифференциальные уравнения для сопряженных переменных; если не указана последняя функция, граничные условия ${displaystyle mathbf {lambda} (t_ {1}) = 0}$, или ${displaystyle lim _ {t_ {1} o infty} mathbf {lambda} (t_ {1}) = 0}$ для бесконечных временных горизонтов).^[4]

Достаточным условием максимума является вогнутость гамильтониана, вычисленная на решении, т.е.

${displaystyle H_ {mathbf {uu}} (mathbf {x} ^ {ast} (t), mathbf {u} ^ {ast} (t), mathbf {lambda} (t), t) leq 0}$

где ${displaystyle mathbf {u} ^ {ast} (t)}$ оптимальное управление, а ${displaystyle mathbf {x} ^ {ast} (t)}$ в результате получается оптимальная траектория для переменной состояния.^[5] В качестве альтернативы, по результату из-за Ольви Л. Мангасарян, необходимые условия достаточны, если функции ${displaystyle I (mathbf {x} (t), mathbf {u} (t), t)}$ и ${displaystyle mathbf {f} (mathbf {x} (t), mathbf {u} (t), t)}$ оба вогнуты ${displaystyle mathbf {x} (t)}$ и ${displaystyle mathbf {u} (t)}$.^[6]

Вывод из лагранжиана

А ограниченная оптимизация проблема, как указано выше, обычно предлагает лагранжево выражение, в частности

${displaystyle L = int _ {t_ {0}} ^ {t_ {1}} I (mathbf {x} (t), mathbf {u} (t), t) + mathbf {lambda} ^ {mathsf {T} } (t) left [mathbf {f} (mathbf {x} (t), mathbf {u} (t), t) - {dot {mathbf {x}}} (t) ight], mathrm {d} t }$

где ${displaystyle mathbf {lambda} (t)}$ сравнить с Множитель Лагранжа в задаче статической оптимизации, но теперь, как отмечалось выше, являются функцией времени. Продолжая с Превращение Лежандра, последний член в правой части можно переписать с помощью интеграция по частям, так что

${displaystyle -int _ {t_ {0}} ^ {t_ {1}} mathbf {lambda} ^ {mathsf {T}} (t) {dot {mathbf {x}}} (t), mathrm {d} t = -mathbf {lambda} ^ {mathsf {T}} (t_ {1}) mathbf {x} (t_ {1}) + mathbf {lambda} ^ {mathsf {T}} (t_ {0}) mathbf {x } (t_ {0}) + int _ {t_ {0}} ^ {t_ {1}} {точка {mathbf {lambda}}} ^ {mathsf {T}} (t) mathbf {x} (t), mathrm {d} t}$

которое можно подставить обратно в выражение Лагранжа, чтобы получить

${displaystyle L = int _ {t_ {0}} ^ {t_ {1}} left [I (mathbf {x} (t), mathbf {u} (t), t) + mathbf {lambda} ^ {mathsf { T}} (t) mathbf {f} (mathbf {x} (t), mathbf {u} (t), t) + {точка {mathbf {lambda}}} ^ {mathsf {T}} (t) mathbf {x} (t) ight], mathrm {d} t-mathbf {lambda} ^ {mathsf {T}} (t_ {1}) mathbf {x} (t_ {1}) + mathbf {lambda} ^ {mathsf {T}} (t_ {0}) mathbf {x} (t_ {0})}$

Чтобы вывести условия первого порядка для оптимума, предположим, что решение найдено и лагранжиан максимизирован. Тогда любое изменение ${displaystyle mathbf {x} (t)}$ или ${displaystyle mathbf {u} (t)}$ должно привести к снижению значения лагранжиана. В частности, полная производная из ${displaystyle L}$ подчиняется

${displaystyle mathrm {d} L = int _ {t_ {0}} ^ {t_ {1}} left [left (I_ {mathbf {u}} (mathbf {x} (t), mathbf {u} (t) , t) + mathbf {лямбда} ^ {mathsf {T}} (t) mathbf {f} _ {mathbf {u}} (mathbf {x} (t), mathbf {u} (t), t) ight) mathrm {d} mathbf {u} (t) + left (I_ {mathbf {x}} (mathbf {x} (t), mathbf {u} (t), t) + mathbf {lambda} ^ {mathsf {T) }} (t) mathbf {f} _ {mathbf {x}} (mathbf {x} (t), mathbf {u} (t), t) + {точка {mathbf {lambda}}} (t) ight) mathrm {d} mathbf {x} (t) ight] mathrm {d} t-mathbf {lambda} ^ {mathsf {T}} (t_ {1}) mathrm {d} mathbf {x} (t_ {1}) + mathbf {лямбда} ^ {mathsf {T}} (t_ {0}) mathrm {d} mathbf {x} (t_ {0}) leq 0}$

Для того чтобы это выражение стало равным нулю, необходимы следующие условия оптимизации:

${displaystyle {egin {выравнивается} I_ {mathbf {u}} (mathbf {x} (t), mathbf {u} (t), t) + mathbf {lambda} ^ {mathsf {T}} (t) mathbf { f} _ {mathbf {u}} (mathbf {x} (t), mathbf {u} (t), t) & = 0 I_ {mathbf {x}} (mathbf {x} (t), mathbf { u} (t), t) + mathbf {лямбда} ^ {mathsf {T}} (t) mathbf {f} _ {mathbf {x}} (mathbf {x} (t), mathbf {u} (t) , t) + {точка {mathbf {lambda} (t)}} & = 0end {align}}}$

Если оба начального значения ${displaystyle mathbf {x} (t_ {0})}$ и конечная стоимость ${displaystyle mathbf {x} (t_ {1})}$ фиксированы, т.е. ${displaystyle mathrm {d} mathbf {x} (t_ {0}) = mathrm {d} mathbf {x} (t_ {1}) = 0}$, нет условий на ${displaystyle mathbf {lambda} (t_ {0})}$ и ${displaystyle mathbf {lambda} (t_ {1})}$ необходимы. Если конечная стоимость свободна, как это часто бывает, дополнительное условие ${displaystyle mathbf {lambda} (t_ {1}) = 0}$ необходимо для оптимальности. Последнее называется условием трансверсальности для задачи с фиксированным горизонтом.^[7]

Видно, что необходимые условия идентичны условиям, указанным выше для гамильтониана. Таким образом, гамильтониан можно понимать как устройство, генерирующее необходимые условия первого порядка.^[8]

Гамильтониан в дискретном времени

Когда задача формулируется в дискретном времени, гамильтониан определяется как:

${displaystyle H (x_ {t}, u_ {t}, lambda _ {t}, t) = lambda _ {t + 1} ^ {T} f (x_ {t}, u_ {t}, t) + I (x_ {t}, u_ {t}, t),}$

и сопряженные уравнения находятся

${displaystyle lambda _ {t + 1} ^ {op} = - {frac {partial H} {partial x_ {t}}} + lambda _ {t} ^ {op}}$

(Обратите внимание, что гамильтониан дискретного времени в момент времени ${displaystyle t}$ включает переменную стоимости во время ${displaystyle t + 1.}$^[9] Эта небольшая деталь важна для того, чтобы при различении ${displaystyle x}$ мы получаем термин, включающий ${displaystyle lambda (t + 1)}$ в правой части сопряженных уравнений. Использование здесь неправильного соглашения может привести к неверным результатам, т. Е. К уравнению стоимости, которое не является уравнением обратной разности).

Поведение гамильтониана во времени

Из принципа максимума Понтрягина можно вывести специальные условия для гамильтониана.^[10] Когда в последний раз ${displaystyle t_ {1}}$ фиксировано и гамильтониан не зависит явно от времени ${displaystyle left ({frac {partial H} {partial t}} = 0ight)}$, тогда:

${displaystyle H (x ^ {*} (t), u ^ {*} (t), lambda ^ {*} (t)) = mathrm {константа},}$

или, если терминальное время свободное, то:

${displaystyle H (x ^ {*} (t), u ^ {*} (t), лямбда ^ {*} (t)) = 0.,}$

Кроме того, если конечное время стремится к бесконечность, а условие трансверсальности на гамильтониан применяется.^[11]

${displaystyle lim _ {t o infty} H (t) = 0}$

Гамильтониан управления по сравнению с гамильтонианом механики

Уильям Роуэн Гамильтон определил Гамильтониан для описания механики системы. Это функция трех переменных:

${displaystyle {mathcal {H}} = {mathcal {H}} (p, q, t) = langle p, {точка {q}} угол -L (q, {точка {q}}, t)}$

где ${displaystyle L}$ это Лагранжиан, экстремизация которой определяет динамику (нет лагранжиан, определенный выше), ${displaystyle q}$ переменная состояния и ${displaystyle {точка {q}}}$ - его производная по времени.

${displaystyle p}$ так называемый "сопряженный импульс", определяется

${displaystyle p = {frac {partial L} {partial {dot {q}}}}}}$

Затем Гамильтон сформулировал свои уравнения для описания динамики системы как

${displaystyle {frac {d} {dt}} p (t) = - {frac {partial} {partial q}} {mathcal {H}}}$

${displaystyle {frac {d} {dt}} q (t) = ~~ {frac {partial} {partial p}} {mathcal {H}}}$

Гамильтониан теории управления не описывает динамика системы, но условия экстремизации некоторой ее скалярной функции (лагранжиана) по управляющей переменной ${displaystyle u}$. Как обычно определяется, это функция 4 переменных.

${displaystyle H (q, u, p, t) = langle p, {точка {q}} угол -L (q, u, t)}$

где ${displaystyle q}$ переменная состояния и ${displaystyle u}$является управляющей переменной по отношению к тому, что мы экстремизируем.

Соответствующие условия для максимума:

${displaystyle {frac {dp} {dt}} = - {frac {partial H} {partial q}}}$

${displaystyle {frac {dq} {dt}} = ~~ {frac {partial H} {partial p}}}$

${displaystyle {frac {partial H} {partial u}} = 0}$

Это определение согласуется с тем, что дано в статье Зассманна и Виллемса.^[12] (см. стр. 39, уравнение 14). Суссманн и Виллемс показывают, как гамильтониан управления может использоваться в динамике, например для проблема брахистохрона, но не упоминайте предыдущую работу Каратеодори на этом подходе.^[13]

Гамильтониан текущей и текущей стоимости

В экономика, целевая функция в задачах динамической оптимизации часто напрямую зависит от времени только через экспоненциальное дисконтирование, так что он принимает вид

${displaystyle I (mathbf {x} (t), mathbf {u} (t), t) = e ^ {- ho t} u (mathbf {x} (t), mathbf {u} (t))}$

где ${displaystyle u (mathbf {x} (t), mathbf {u} (t))}$ называется мгновенным вспомогательная функция, или функция счастья.^[14] Это позволяет переопределить гамильтониан как ${displaystyle H (mathbf {x} (t), mathbf {u} (t), mathbf {lambda} (t), t) = e ^ {- ho t} {ar {H}} (mathbf {x} ( t), mathbf {u} (t), mathbf {lambda} (t))}$ где

${displaystyle {egin {выровнено} {ar {H}} (mathbf {x} (t), mathbf {u} (t), mathbf {lambda} (t)) Equiv &, e ^ {ho t} left [I (mathbf {x} (t), mathbf {u} (t), t) + mathbf {lambda} ^ {mathsf {T}} (t) mathbf {f} (mathbf {x} (t), mathbf {u } (t), t) ight] = &, u (mathbf {x} (t), mathbf {u} (t), t) + mathbf {mu} ^ {mathsf {T}} (t) mathbf { f} (mathbf {x} (t), mathbf {u} (t), t) конец {выровнено}}}$

который называется гамильтонианом текущей стоимости, в отличие от гамильтониана текущей стоимости ${displaystyle H (mathbf {x} (t), mathbf {u} (t), mathbf {lambda} (t), t)}$ определено в первом разделе. В частности, стоимостные переменные переопределяются как ${displaystyle mathbf {mu} (t) = e ^ {ho t} mathbf {lambda} (t)}$, что приводит к модифицированным условиям первого порядка.

${displaystyle {frac {partial {ar {H}}} (mathbf {x} (t), mathbf {u} (t), mathbf {lambda} (t))} {partial mathbf {u}}} = 0}$,

${displaystyle {frac {partial {ar {H}}} (mathbf {x} (t), mathbf {u} (t), mathbf {lambda} (t))} {partial mathbf {x}}} = - {точка {mathbf {mu}}} (t) + ho mathbf {mu} (t)}$

что непосредственно следует из правило продукта. Экономически, ${displaystyle mathbf {mu} (t)}$ представляют собой текущую стоимость теневые цены для капитальных товаров ${displaystyle mathbf {x} (t)}$.

Пример: модель Рэмси – Касса – Купманса.

В экономика, то Модель Рэмси – Касса – Купманса используется для определения оптимального поведения сбережений для экономики. Целевая функция ${displaystyle J (c)}$ это функция социального обеспечения,

${displaystyle J (c) = int _ {0} ^ {T} e ^ {- ho t} u (c (t)) dt}$

быть максимальным выбором оптимального пути потребления ${displaystyle c (t)}$. Функция ${displaystyle u (c (t))}$ указывает на полезность то представитель агента потребления ${displaystyle c}$ в любой момент времени. Фактор ${displaystyle e ^ {- ho t}}$ представляет собой дисконтирование. Задача максимизации подчиняется следующему дифференциальному уравнению для капиталоемкость, описывающий изменение капитала на эффективного работника во времени:

${displaystyle {точка {k}} = {frac {partial k} {partial t}} = f (k (t)) - (n + delta) k (t) -c (t)}$

где ${displaystyle c (t)}$ - потребление за период t, ${displaystyle k (t)}$ период t капитала на одного работника (с ${displaystyle k (0) = k_ {0}> 0}$), ${displaystyle f (k (t))}$ период t производство, ${displaystyle n}$ - темп прироста населения, ${displaystyle delta}$ - норма амортизации капитала, агент дисконтирует будущую полезность по ставке ${displaystyle ho}$, с участием ${displaystyle u '> 0}$ и ${displaystyle u '' <0}$.

Вот, ${displaystyle k (t)}$ - переменная состояния, которая изменяется согласно приведенному выше уравнению, и ${displaystyle c (t)}$ - управляющая переменная. Гамильтониан становится

${displaystyle H (k, c, mu, t) = e ^ {- ho t} u (c (t)) + mu (t) {точка {k}} = e ^ {- ho t} u (c ( t)) + mu (t) [f (k (t)) - (n + delta) k (t) -c (t)]}$

Условия оптимальности:

${displaystyle {frac {partial H} {partial c}} = 0Rightarrow e ^ {- ho t} u '(c) = mu (t)}$

${displaystyle {frac {partial H} {partial k}} = - {frac {partial mu} {partial t}} = - {точка {mu}} Стрелка вправо mu (t) [f '(k) - (n + delta )] = - {точка {mu}}}$

в дополнение к условию трансверсальности ${displaystyle mu (T) k (T) = 0}$. Если мы позволим ${displaystyle u (c) = log (c)}$, тогда лог-дифференцирующий первое условие оптимальности по ${displaystyle t}$ дает

${displaystyle -ho - {frac {dot {c}} {c (t)}} = {frac {dot {mu}} {mu (t)}}}$

Подставляя это уравнение во второе условие оптимальности, получаем

${displaystyle ho + {frac {dot {c}} {c (t)}} = f '(k) - (n + delta)}$

который известен как Правило Кейнса – Рамсея, который дает условие потребления в каждом периоде, которое при соблюдении обеспечивает максимальную полезность в течение всего срока службы.

Рекомендации

дальнейшее чтение

• Леонар, Даниэль; Лонг, Нго Ван (1992). «Принцип максимума». Теория оптимального управления и статическая оптимизация в экономике. Нью-Йорк: Издательство Кембриджского университета. С. 127–168. ISBN 0-521-33158-7.
• Такаяма, Акира (1985). «Развитие теории оптимального управления и ее приложения». Математическая экономика (2-е изд.).Нью-Йорк: Издательство Кембриджского университета. С. 600–719. ISBN 0-521-31498-4.
• Вулвик, Нэнси (1995). «Гамильтонов формализм и теория оптимального роста». В Риме, И. Х. (ред.). Измерение, количественная оценка и экономический анализ. Лондон: Рутледж. ISBN 978-0-415-08915-9.