WikiDer > Стохастический процесс

Смоделированная на компьютере реализация Винер или же Броуновское движение процесс на поверхности сферы. Винеровский процесс широко считается наиболее изученным и центральным случайным процессом в теории вероятностей.^[1][2][3]

В теория вероятности и связанные области, a стохастический или же случайный процесс это математический объект обычно определяется как семья из случайные переменные. Многие случайные процессы могут быть представлены временными рядами. Однако стохастический процесс по своей природе является непрерывным, а временной ряд - это набор наблюдений, индексированных целыми числами. Стохастический процесс может включать несколько связанных случайных величин.

Общие примеры включают рост бактериальный население, электрический ток колеблется из-за тепловой шум, или движение газ молекула.^[1][4][5][6] Стохастические процессы широко используются как математические модели систем и явлений, которые меняются случайным образом. У них есть приложения во многих дисциплинах, таких как биология,^[7] химия,^[8] экология,^[9] нейробиология,^[10] физика,^[11] обработка изображений, обработка сигналов,^[12] теория управления, ^[13] теория информации,^[14] Информатика,^[15] криптография^[16] и телекоммуникации.^[17] Кроме того, кажущиеся случайными изменения финансовые рынки мотивировали широкое использование стохастических процессов в финансы.^[18][19][20]

Приложения и изучение явлений, в свою очередь, вдохновили на предложение новых случайных процессов. Примеры таких случайных процессов включают: Винеровский процесс или процесс броуновского движения,^[а] использован Луи Башелье изучить изменение цен на Парижская биржа,^[23] и Пуассоновский процесс, использован А. К. Эрланг изучить количество телефонных звонков, происходящих за определенный период времени.^[24] Эти два случайных процесса считаются наиболее важными и центральными в теории случайных процессов.^[1][4][25] и были обнаружены неоднократно и независимо, как до, так и после Башелье и Эрланга, в разных местах и ​​странах.^[23][26]

Период, термин случайная функция также используется для обозначения случайного или случайного процесса,^[27][28] поскольку случайный процесс также можно интерпретировать как случайный элемент в функциональное пространство.^[29][30] Условия случайный процесс и случайный процесс используются взаимозаменяемо, часто без конкретных математическое пространство для набора, индексирующего случайные величины.^[29][31] Но часто эти два термина используются, когда случайные величины индексируются целые числа или интервал из реальная линия.^[5][31] Если случайные величины проиндексированы Декартова плоскость или какой-то многомерный Евклидово пространство, то набор случайных величин обычно называют случайное поле вместо.^[5][32] Значения случайного процесса не всегда являются числами и могут быть векторами или другими математическими объектами.^[5][30]

По своим математическим свойствам случайные процессы можно сгруппировать в различные категории, в том числе: случайные прогулки,^[33] мартингалы,^[34] Марковские процессы,^[35] Леви процессы,^[36] Гауссовские процессы,^[37] случайные поля,^[38] процессы обновления, и ветвящиеся процессы.^[39] Изучение случайных процессов использует математические знания и методы из вероятность, исчисление, линейная алгебра, теория множеств, и топология^[40][41][42] а также филиалы математический анализ Такие как реальный анализ, теория меры, Анализ Фурье, и функциональный анализ.^[43][44][45] Теория случайных процессов считается важным вкладом в математику.^[46] и он продолжает оставаться активной темой исследований как по теоретическим причинам, так и по прикладным причинам.^[47][48][49]

Вступление

Стохастический или случайный процесс может быть определен как набор случайных величин, индексированных некоторым математическим набором, что означает, что каждая случайная переменная случайного процесса однозначно связана с элементом в наборе.^[4][5] Набор, используемый для индексации случайных величин, называется набор индексов. Исторически набор индексов был подмножество из реальная линия, такой как натуральные числа, давая указателю установить интерпретацию времени.^[1] Каждая случайная переменная в коллекции принимает значения из одного и того же математическое пространство известный как пространство состояний. Это пространство состояний может быть, например, целыми числами, действительной строкой или ${ displaystyle n}$-мерное евклидово пространство.^[1][5] An приращение - это величина, на которую случайный процесс изменяется между двумя значениями индекса, часто интерпретируемая как два момента времени.^[50][51] Стохастический процесс может иметь много результаты, из-за его случайности, и единственный результат случайного процесса называется, среди прочего, функция образца или же реализация.^[30][52]

Единый компьютер, смоделированный функция образца или же реализация, среди прочего, трехмерный винеровский или броуновский процесс движения для времени 0 ≤ t ≤ 2. Набор индексов этого случайного процесса - неотрицательные числа, а его пространство состояний - трехмерное евклидово пространство.

Классификации

Случайный процесс можно классифицировать по-разному, например, по его пространству состояний, его набору индексов или зависимости между случайными величинами. Один из распространенных способов классификации - это мощность набора индексов и пространства состояний.^[53][54][55]

При интерпретации как время, если набор индексов случайного процесса имеет конечное или счетное число элементов, например, конечный набор чисел, набор целых или натуральных чисел, то говорят, что случайный процесс находится в дискретное время.^[56][57] Если набор индексов представляет собой некоторый интервал реальной линии, то говорят, что время непрерывный. Два типа случайных процессов соответственно называются дискретное время и случайные процессы с непрерывным временем.^[50][58][59] Считается, что стохастические процессы с дискретным временем легче изучать, потому что процессы с непрерывным временем требуют более совершенных математических методов и знаний, особенно из-за того, что набор индексов неисчислим.^[60][61] Если набор индексов представляет собой целые числа или некоторое их подмножество, то стохастический процесс также можно назвать случайная последовательность.^[57]

Если пространство состояний представляет собой целые или натуральные числа, то случайный процесс называется дискретный или же целочисленный случайный процесс. Если пространство состояний - это реальная линия, то случайный процесс упоминается как вещественный случайный процесс или процесс с непрерывным пространством состояний. Если пространство состояний ${ displaystyle n}$-мерное евклидово пространство, то случайный процесс называется ${ displaystyle n}$-размерный векторный процесс или же ${ displaystyle n}$-векторный процесс.^[53][54]

Этимология

Слово стохастический в английский первоначально использовалось как прилагательное с определением «относящийся к предположениям» и происходило от Греческий слово, означающее «прицелиться, угадать», и Оксфордский словарь английского языка дает 1662 год как самое раннее его появление.^[62] В своей работе над вероятностью Ars Conjectandi, первоначально опубликованное на латыни в 1713 г., Якоб Бернулли использовали фразу «Ars Conjectandi sive Stochastice», что было переведено как «искусство гадания или стохастика».^[63] Эту фразу применительно к Бернулли использовал Ладислав Борткевич^[64] кто в 1917 году написал по-немецки слово сточастик со смыслом, означающим случайный. Период, термин случайный процесс впервые появилось на английском языке в статье 1934 г. Джозеф Дуб.^[62] Что касается термина и конкретного математического определения, Дуб процитировал другую статью 1934 года, в которой термин Stochastischer Prozeß использовался в немецком языке Александр Хинчин,^[65][66] хотя немецкий термин использовался раньше, например, Андреем Колмогоровым в 1931 году.^[67]

Согласно Оксфордскому словарю английского языка, ранние появления слова случайный в английском языке с его нынешним значением, которое относится к случайности или удаче, восходит к 16 веку, тогда как ранее зарегистрированные употребления начались в 14 веке как существительное, означающее «стремительность, большая скорость, сила или насилие (в верховой езде, беге, поразительный и др.) ». Само слово происходит от среднефранцузского слова, означающего «скорость, спешка», и, вероятно, происходит от французского глагола, означающего «бежать» или «галопом». Первое письменное появление термина случайный процесс до свиданий случайный процесс, который Оксфордский словарь английского языка также дает в качестве синонима и был использован в статье Фрэнсис Эджворт опубликовано в 1888 году.^[68]

Терминология

Определение случайного процесса варьируется,^[69] но стохастический процесс традиционно определяется как набор случайных величин, индексированных некоторым набором.^[70][71] Условия случайный процесс и случайный процесс считаются синонимами и используются как синонимы, без точного указания набора индексов.^{[29][31][32][72][73][74]} Оба "сборника",^[30][72] или "семья" используются^[4][75] в то время как вместо «набор индексов» иногда используются термины «набор параметров»^[30] или "пространство параметров"^[32] используются.

Период, термин случайная функция также используется для обозначения случайного или случайного процесса,^[5][76][77] хотя иногда он используется только тогда, когда стохастический процесс принимает реальные значения.^[30][75] Этот термин также используется, когда наборы индексов представляют собой математические пробелы, отличные от реальной строки,^[5][78] в то время как условия случайный процесс и случайный процесс обычно используются, когда набор индексов интерпретируется как время,^[5][78][79] и другие термины, такие как случайное поле когда набор индексов ${ displaystyle n}$-мерное евклидово пространство ${ Displaystyle mathbb {R} ^ {п}}$ или многообразие.^[5][30][32]

Обозначение

Стохастический процесс можно обозначить, среди прочего, как ${ Displaystyle {Х (т) } _ {т в Т}}$,^[58] ${ displaystyle {X_ {t} } _ {t in T}}$,^[71] ${ displaystyle {X_ {t} }}$^[80] ${ Displaystyle {Х (т) }}$ или просто как ${ displaystyle X}$ или же ${ Displaystyle X (т)}$, несмотря на то что ${ Displaystyle X (т)}$ рассматривается как злоупотребление обозначением функций.^[81] Например, ${ Displaystyle X (т)}$ или же ${ displaystyle X_ {t}}$ используются для ссылки на случайную величину с индексом ${ displaystyle t}$, а не весь случайный процесс.^[80] Если набор индексов ${ Displaystyle Т = [0, infty)}$, то можно написать, например, ${ Displaystyle (Х_ {т}, т geq 0)}$ для обозначения случайного процесса.^[31]

Примеры

Процесс Бернулли

Один из простейших случайных процессов - это Процесс Бернулли,^[82] который представляет собой последовательность независимые и одинаково распределенные (iid) случайные величины, где каждая случайная величина принимает значение один или ноль, скажем, единица с вероятностью ${ displaystyle p}$ и ноль с вероятностью ${ displaystyle 1-p}$. Этот процесс можно связать с многократным подбрасыванием монеты, при этом вероятность выпадения головы равна ${ displaystyle p}$ и его значение равно единице, а значение хвоста равно нулю.^[83] Другими словами, процесс Бернулли - это последовательность iid Случайные величины Бернулли,^[84] где каждый подбрасывание монеты является примером Бернулли суд.^[85]

Случайная прогулка

Случайные прогулки являются случайными процессами, которые обычно определяются как сумма iid случайные величины или случайные векторы в евклидовом пространстве, поэтому они являются процессами, которые изменяются в дискретном времени.^{[86][87][88][89][90]} Но некоторые также используют этот термин для обозначения процессов, которые изменяются в непрерывном времени,^[91] в частности, винеровский процесс, используемый в финансах, который привел к некоторой путанице, что привело к его критике.^[92] Существуют и другие различные типы случайных блужданий, определенные таким образом, что их пространства состояний могут быть другими математическими объектами, такими как решетки и группы, и в целом они хорошо изучены и имеют множество приложений в различных дисциплинах.^[91][93]

Классический пример случайного блуждания известен как простое случайное блуждание, который представляет собой случайный процесс в дискретном времени с целыми числами в качестве пространства состояний и основан на процессе Бернулли, где каждая переменная Бернулли принимает либо положительное, либо отрицательное значение. Другими словами, простое случайное блуждание происходит с целыми числами, и его значение увеличивается на единицу с вероятностью, скажем, ${ displaystyle p}$, или уменьшается на единицу с вероятностью ${ displaystyle 1-p}$, поэтому набор индексов этого случайного блуждания - это натуральные числа, а его пространство состояний - целые числа. Если ${ displaystyle p = 0,5}$такое случайное блуждание называется симметричным случайным блужданием.^[94][95]

Винеровский процесс

Винеровский процесс - это случайный процесс со стационарными и независимые приращения которые нормально распределенный в зависимости от размера приращений.^[2][96] Винеровский процесс назван в честь Норберт Винер, который доказал его математическое существование, но этот процесс также называют процессом броуновского движения или просто броуновским движением из-за его исторической связи как модели для Броуновское движение в жидкостях.^[97][98][99]

Реализации винеровских процессов (или процессов броуновского движения) со сносом (синий) и без дрейфа (красный).

Играя центральную роль в теории вероятностей, винеровский процесс часто считается наиболее важным и изучаемым случайным процессом, связанным с другими случайными процессами.^{[1][2][3][100][101][102][103]} Его набор индексов и пространство состояний представляют собой неотрицательные числа и действительные числа соответственно, поэтому он имеет как непрерывный набор индексов, так и пространство состояний.^[104] Но процесс можно определить более широко, так что его пространство состояний может быть ${ displaystyle n}$-мерное евклидово пространство.^{[93][101][105]} Если иметь в виду любого приращения равно нулю, то считается, что результирующий процесс винеровского или броуновского движения имеет нулевой дрейф. Если среднее значение приращения для любых двух моментов времени равно разнице во времени, умноженной на некоторую константу ${ displaystyle mu}$, которое является действительным числом, то считается, что полученный случайный процесс имеет дрейф ${ displaystyle mu}$.^{[106][107][108]}

Почти наверняка, примерный путь винеровского процесса является непрерывным везде, кроме нигде не дифференцируемый. Его можно рассматривать как непрерывную версию простого случайного блуждания.^[51][107] Процесс возникает как математический предел других случайных процессов, таких как масштабирование определенных случайных блужданий,^[109][110] который является предметом Теорема Донскера или принцип инвариантности, также известный как функциональная центральная предельная теорема.^{[111][112][113]}

Винеровский процесс является членом некоторых важных семейств случайных процессов, включая марковские процессы, процессы Леви и гауссовские процессы.^[2][51] Этот процесс также имеет множество приложений и является основным стохастическим процессом, используемым в стохастическом исчислении.^[114][115] Он играет центральную роль в количественных финансах,^[116][117] где он используется, например, в модели Блэка – Шоулза – Мертона.^[118] Этот процесс также используется в различных областях, включая большинство естественных наук, а также некоторые отрасли социальных наук, в качестве математической модели для различных случайных явлений.^{[3][119][120]}

Пуассоновский процесс

Пуассоновский процесс - это случайный процесс, который имеет разные формы и определения.^[121][122] Его можно определить как процесс подсчета, который представляет собой случайный процесс, представляющий случайное количество точек или событий за определенный период времени. Количество точек процесса, находящихся в интервале от нуля до некоторого заданного времени, является случайной величиной Пуассона, которая зависит от этого времени и некоторого параметра. Этот процесс имеет натуральные числа в качестве пространства состояний и неотрицательные числа в качестве набора индексов. Этот процесс также называется процессом счета Пуассона, поскольку его можно интерпретировать как пример процесса счета.^[121]

Если пуассоновский процесс определяется одной положительной константой, то этот процесс называется однородным пуассоновским процессом.^[121][123] Однородный пуассоновский процесс является членом важных классов случайных процессов, таких как марковские процессы и процессы Леви.^[51]

Однородный пуассоновский процесс можно определить и обобщить по-разному. Его можно определить так, чтобы его индексный набор был действительной линией, и этот случайный процесс также называется стационарным пуассоновским процессом.^[124][125] Если параметр константы пуассоновского процесса заменить некоторой неотрицательной интегрируемой функцией от ${ displaystyle t}$, результирующий процесс называется неоднородным или неоднородным пуассоновским процессом, где средняя плотность точек процесса перестает быть постоянной.^[126] Являясь фундаментальным процессом в теории массового обслуживания, процесс Пуассона является важным процессом для математических моделей, где он находит приложения для моделей событий, случайным образом происходящих в определенных временных окнах.^[127][128]

Определенный на реальной прямой, процесс Пуассона можно интерпретировать как случайный процесс,^[51][129] среди других случайных объектов.^[130][131] Но тогда это можно определить на ${ displaystyle n}$-мерное евклидово пространство или другие математические пространства,^[132] где он часто интерпретируется как случайный набор или случайная счетная мера, а не как случайный процесс.^[130][131] В этом контексте процесс Пуассона, также называемый точечным процессом Пуассона, является одним из наиболее важных объектов теории вероятностей как с точки зрения приложений, так и с теоретической точки зрения.^[24][133] Но было отмечено, что процессу Пуассона не уделяется столько внимания, сколько следовало бы, отчасти из-за того, что он часто рассматривается только на реальной прямой, а не на других математических пространствах.^[133][134]

Определения

Стохастический процесс

Стохастический процесс определяется как набор случайных величин, определенных на общем вероятностное пространство ${ displaystyle ( Omega, { mathcal {F}}, P)}$, куда ${ displaystyle Omega}$ это образец пространства, ${ Displaystyle { mathcal {F}}}$ это ${ displaystyle sigma}$-алгебра, и ${ displaystyle P}$ это вероятностная мера; и случайные величины, индексированные некоторым набором ${ displaystyle T}$, все принимают значения в одном математическом пространстве ${ displaystyle S}$, который должен быть измеримый в отношении некоторых ${ displaystyle sigma}$-алгебра ${ displaystyle Sigma}$.^[30]

Другими словами, для данного вероятностного пространства ${ displaystyle ( Omega, { mathcal {F}}, P)}$ и измеримое пространство ${ Displaystyle (S, Sigma)}$, случайный процесс - это совокупность ${ displaystyle S}$-значные случайные величины, которые можно записать как:^[82]

${ Displaystyle {Х (т): т в Т }.}$

Исторически во многих проблемах естествознания точка ${ displaystyle t in T}$ имел значение времени, поэтому ${ Displaystyle X (т)}$ случайная величина, представляющая значение, наблюдаемое во время ${ displaystyle t}$.^[135] Случайный процесс также можно записать как ${ Displaystyle {Икс (т, омега): т в Т }}$ чтобы отразить, что на самом деле это функция двух переменных, ${ displaystyle t in T}$ и ${ displaystyle omega in Omega}$.^[30][136]

Есть и другие способы рассмотрения случайного процесса, при этом приведенное выше определение считается традиционным.^[70][71] Например, стохастический процесс можно интерпретировать или определить как ${ Displaystyle S ^ {T}}$-значная случайная величина, где ${ Displaystyle S ^ {T}}$ это пространство всех возможных ${ displaystyle S}$-значен функции из ${ displaystyle t in T}$ который карта из набора ${ displaystyle T}$ в космос ${ displaystyle S}$.^[29][70]

Набор индексов

Набор ${ displaystyle T}$ называется набор индексов^[4][53] или же набор параметров^[30][137] случайного процесса. Часто этот набор представляет собой подмножество реальная линия, такой как натуральные числа или интервал, давая множество ${ displaystyle T}$ интерпретация времени.^[1] Помимо этих наборов, индексный набор ${ displaystyle T}$ могут быть другие линейно упорядоченные множества или более общие математические множества,^[1][56] такие как декартова плоскость ${ displaystyle R ^ {2}}$ или же ${ displaystyle n}$-мерное евклидово пространство, где элемент ${ displaystyle t in T}$ может представлять точку в пространстве.^[50][138] Но в целом для случайных процессов возможно больше результатов и теорем, когда набор индексов упорядочен.^[139]

Государственное пространство

В математическое пространство ${ displaystyle S}$ случайного процесса называется его пространство состояний. Это математическое пространство можно определить с помощью целые числа, реальные линии, ${ displaystyle n}$-размерный Евклидовы пространства, сложные плоскости или более абстрактные математические пространства. Пространство состояний определяется с использованием элементов, отражающих различные значения, которые может принимать случайный процесс.^{[1][5][30][53][58]}

Пример функции

А функция образца один исход случайного процесса, поэтому он формируется путем взятия единственного возможного значения каждой случайной величины случайного процесса.^[30][140] Точнее, если ${ Displaystyle {Икс (т, омега): т в Т }}$ - случайный процесс, то для любой точки ${ displaystyle omega in Omega}$, то отображение

${ Displaystyle X ( cdot, omega): T rightarrow S,}$

называется пробной функцией, реализация, или, особенно когда ${ displaystyle T}$ интерпретируется как время, образец пути стохастического процесса ${ Displaystyle {Икс (т, омега): т в Т }}$.^[52] Это означает, что для фиксированного ${ displaystyle omega in Omega}$, существует примерная функция, отображающая набор индексов ${ displaystyle T}$ в пространство состояний ${ displaystyle S}$.^[30] Другие названия примерной функции случайного процесса включают: траектория, функция пути^[141] или же дорожка.^[142]

Инкремент

An приращение случайного процесса - это разница между двумя случайными величинами одного и того же случайного процесса. Для случайного процесса с набором индексов, который можно интерпретировать как время, приращение - это то, насколько стохастический процесс изменяется за определенный период времени. Например, если ${ displaystyle {X (t): t in T }}$ случайный процесс с пространством состояний ${ displaystyle S}$ и набор индексов ${ Displaystyle Т = [0, infty)}$, то для любых двух неотрицательных чисел ${ displaystyle t_ {1} in [0, infty)}$ и ${ displaystyle t_ {2} in [0, infty)}$ такой, что ${ displaystyle t_ {1} leq t_ {2}}$, разница ${ displaystyle X_ {t_ {2}} - X_ {t_ {1}}}$ это ${ displaystyle S}$-значная случайная величина, известная как приращение.^[50][51] Когда интересуют приращения, часто пространство состояний ${ displaystyle S}$ это действительная линия или натуральные числа, но это может быть ${ displaystyle n}$-мерное евклидово пространство или более абстрактные пространства, такие как Банаховы пространства.^[51]

Дополнительные определения

Закон

Для случайного процесса ${ Displaystyle X двоеточие Omega rightarrow S ^ {T}}$ определен на вероятностном пространстве ${ displaystyle ( Omega, { mathcal {F}}, P)}$, то закон случайного процесса ${ displaystyle X}$ определяется как мера изображения:

${ displaystyle mu = P circ X ^ {- 1},}$

куда ${ displaystyle P}$ - вероятностная мера, символ ${ displaystyle circ}$ обозначает композицию функций и ${ displaystyle X ^ {- 1}}$ является прообразом измеримой функции или, что то же самое, ${ Displaystyle S ^ {T}}$-значная случайная величина ${ displaystyle X}$, куда ${ Displaystyle S ^ {T}}$ это пространство всех возможных ${ displaystyle S}$-значные функции ${ displaystyle t in T}$, поэтому закон случайного процесса является вероятностной мерой.^{[29][70][143][144]}

Для измеримого подмножества ${ displaystyle B}$ из ${ Displaystyle S ^ {T}}$, прообраз ${ displaystyle X}$ дает

${ Displaystyle X ^ {- 1} (B) = { omega in Omega: X ( omega) in B },}$

так что закон ${ displaystyle X}$ можно записать как:^[30]

${ Displaystyle му (B) = P ( { omega in Omega: X ( omega) in B }).}$

Закон случайного процесса или случайной величины также называют закон вероятности, распределение вероятностей, или распределение.^{[135][143][145][146][147]}

Конечномерные распределения вероятностей

Для случайного процесса ${ displaystyle X}$ с законом ${ displaystyle mu}$, это конечномерные распределения определяются как:

${ displaystyle mu _ {t_ {1}, dots, t_ {n}} = P circ (X ({t_ {1}}), dots, X ({t_ {n}})) ^ { -1},}$

куда ${ Displaystyle п geq 1}$ это счетное число, и каждый набор ${ displaystyle t_ {i}}$ - непустое конечное подмножество индексного множества ${ displaystyle T}$, поэтому каждый ${ displaystyle t_ {i} subset T}$, что обозначает ${ displaystyle t_ {1}, dots, t_ {n}}$ - любой конечный набор подмножеств индексного множества ${ displaystyle T}$.^[29][148]

Для любого измеримого подмножества ${ displaystyle C}$ из ${ displaystyle n}$-складывать Декартова степень ${ Displaystyle S ^ {п} = S раз точки раз S}$, конечномерные распределения случайного процесса ${ displaystyle X}$ можно записать как:^[30]

${ displaystyle mu _ {t_ {1}, dots, t_ {n}} (C) = P { Big (} { big {} omega in Omega: { big (} X_ { t_ {1}} ( omega), dots, X_ {t_ {n}} ( omega) { big)} в C { big }} { Big)}.}$

Конечномерные распределения случайного процесса удовлетворяют двум математическим условиям, известным как условия согласованности.^[59]

Стационарность

Стационарность - это математическое свойство, которым обладает случайный процесс, когда все случайные величины этого случайного процесса одинаково распределены. Другими словами, если ${ displaystyle X}$ - стационарный случайный процесс, то для любого ${ displaystyle t in T}$ случайная величина ${ displaystyle X_ {t}}$ имеет одинаковое распределение, что означает, что для любого набора ${ displaystyle n}$ значения набора индексов ${ displaystyle t_ {1}, dots, t_ {n}}$соответствующие ${ displaystyle n}$ случайные переменные

${ displaystyle X_ {t_ {1}}, dots X_ {t_ {n}},}$

у всех одинаковые распределение вероятностей. Набор индексов стационарного случайного процесса обычно интерпретируется как время, поэтому это могут быть целые числа или вещественная линия.^[149][150] Но концепция стационарности существует также для точечных процессов и случайных полей, где набор индексов не интерпретируется как время.^{[149][151][152]}

Когда установлен индекс ${ displaystyle T}$ можно интерпретировать как время, случайный процесс называется стационарным, если его конечномерные распределения инвариантны относительно перемещений времени. Этот тип случайного процесса можно использовать для описания физической системы, которая находится в устойчивом состоянии, но все еще испытывает случайные колебания.^[149] Интуиция, стоящая за стационарностью, заключается в том, что с течением времени распределение стационарного случайного процесса остается неизменным.^[153] Последовательность случайных величин образует стационарный случайный процесс, только если случайные величины одинаково распределены.^[149]

Случайный процесс с указанным выше определением стационарности иногда называют строго стационарным, но существуют и другие формы стационарности. Один из примеров - случайный процесс с дискретным или непрерывным временем ${ displaystyle X}$ называется стационарным в широком смысле, то процесс ${ displaystyle X}$ имеет конечный второй момент для всех ${ displaystyle t in T}$ и ковариация двух случайных величин ${ displaystyle X_ {t}}$ и ${ displaystyle X_ {t + h}}$ зависит только от количества ${ displaystyle h}$ для всех ${ displaystyle t in T}$.^[153][154] Хинчин представила связанную концепцию стационарность в широком смысле, который имеет другие названия, включая ковариационная стационарность или же стационарность в широком смысле.^[154][155]

Фильтрация

А фильтрация является возрастающей последовательностью сигма-алгебр, определенной относительно некоторого вероятностного пространства и набора индексов, который имеет некоторые общий заказ отношение, например, в случае набора индексов, являющегося некоторым подмножеством действительных чисел. Более формально, если случайный процесс имеет набор индексов с общим порядком, тогда фильтрация ${ displaystyle {{ mathcal {F}} _ {t} } _ {т in T}}$, на вероятностном пространстве ${ displaystyle ( Omega, { mathcal {F}}, P)}$ семейство сигма-алгебр такое, что ${ Displaystyle { mathcal {F}} _ {s} substeq { mathcal {F}} _ {t} substeq { mathcal {F}}}$ для всех ${ displaystyle s leq t}$, куда ${ displaystyle t, s in T}$ и ${ displaystyle leq}$ обозначает общий порядок набора индексов ${ displaystyle T}$.^[53] С помощью концепции фильтрации можно изучать количество информации, содержащейся в случайном процессе. ${ displaystyle X_ {t}}$ в ${ displaystyle t in T}$, которое можно интерпретировать как время ${ displaystyle t}$.^[53][156] Интуиция за фильтрацией ${ displaystyle { mathcal {F}} _ {t}}$ это как время ${ displaystyle t}$ пропусков, все больше и больше информации о ${ displaystyle X_ {t}}$ известно или доступно, что зафиксировано в ${ displaystyle { mathcal {F}} _ {t}}$, что приводит к более тонкому разделению ${ displaystyle Omega}$.^[157][158]

Модификация

А модификация стохастического процесса - это другой случайный процесс, который тесно связан с исходным случайным процессом. Точнее, стохастический процесс ${ displaystyle X}$ с таким же набором индексов ${ displaystyle T}$, установить пробел ${ displaystyle S}$, и вероятностное пространство ${ displaystyle ( Omega, { cal {F}}, P)}$ как еще один случайный процесс ${ displaystyle Y}$ считается модификацией ${ displaystyle Y}$ если для всех ${ displaystyle t in T}$ следующее

${ Displaystyle P (X_ {t} = Y_ {t}) = 1,}$

держит. Два случайных процесса, которые являются модификациями друг друга, имеют один и тот же конечномерный закон^[159] и они, как говорят, стохастически эквивалентный или же эквивалент.^[160]

Вместо модификации термин версия также используется,^{[151][161][162][163]} однако некоторые авторы используют термин версия, когда два случайных процесса имеют одинаковые конечномерные распределения, но они могут быть определены в разных вероятностных пространствах, поэтому два процесса, которые являются модификациями друг друга, также являются версиями друг друга во втором смысле. , но не наоборот.^[164][143]

Если действительный случайный процесс с непрерывным временем удовлетворяет определенным моментным условиям на своих приращениях, то Колмогорова теорема непрерывности говорит, что существует модификация этого процесса, которая имеет непрерывные пути выборки с вероятностью один, поэтому случайный процесс имеет непрерывную модификацию или версию.^{[162][163][165]} Теорема также может быть обобщена на случайные поля, так что набор индексов ${ displaystyle n}$-мерное евклидово пространство^[166] а также к случайным процессам с метрические пространства как их государственные пространства.^[167]

Неразличимый

Два случайных процесса ${ displaystyle X}$ и ${ displaystyle Y}$ определены на том же вероятностном пространстве ${ displaystyle ( Omega, { mathcal {F}}, P)}$ с тем же набором индексов ${ displaystyle T}$ и установить пространство ${ displaystyle S}$ говорят быть неотличимый если следующее

${ Displaystyle P (X_ {t} = Y_ {t} { text {для всех}} t in T) = 1,}$

держит.^[143][159] Если два ${ displaystyle X}$ и ${ displaystyle Y}$ являются модификациями друг друга и почти наверняка непрерывны, то ${ displaystyle X}$ и ${ displaystyle Y}$ неотличимы.^[168]

Отделимость

Отделимость - это свойство случайного процесса, основанное на его индексном множестве по отношению к вероятностной мере. Это свойство предполагается, что функционалы от случайных процессов или случайных полей с несчетными наборами индексов могут образовывать случайные величины. Для того чтобы случайный процесс был отделимым, в дополнение к другим условиям, его индексный набор должен быть отделяемое пространство,^[b] что означает, что индексное множество имеет плотное счетное подмножество.^[151][169]

Точнее, стохастический процесс с непрерывным временем и действительным знаком ${ displaystyle X}$ с вероятностным пространством ${ displaystyle ( Omega, { cal {F}}, P)}$ отделимо, если его индекс установлен ${ displaystyle T}$ имеет плотное счетное подмножество ${ Displaystyle U подмножество T}$ и есть набор ${ displaystyle Omega _ {0} subset Omega}$ с нулевой вероятностью, поэтому ${ Displaystyle P ( Omega _ {0}) = 0}$, такое, что для каждого открытого множества ${ displaystyle G subset T}$ и каждый закрытый набор ${ Displaystyle F подмножество textstyle R = (- infty, infty)}$, два события ${ displaystyle {X_ {t} in F { text {для всех}} t in G cap U }}$ и ${ displaystyle {X_ {t} in F { text {для всех}} t in G }}$ отличаются друг от друга не более чем на подмножестве ${ displaystyle Omega _ {0}}$.^{[170][171][172]}Определение отделимости^[c] также можно указать для других наборов индексов и пространств состояний,^[175] например, в случае случайных полей, где набор индексов, а также пространство состояний могут быть ${ displaystyle n}$-мерное евклидово пространство.^[32][151]

Понятие отделимости случайного процесса было введено Джозеф Дуб,^[169]. Основная идея отделимости состоит в том, чтобы сделать счетное множество точек набора индексов, определяющих свойства случайного процесса.^[173] Любой случайный процесс со счетным набором индексов уже удовлетворяет условиям отделимости, поэтому случайные процессы с дискретным временем всегда отделимы.^[176] Теорема Дуба, иногда известная как теорема Дуба о сепарабельности, гласит, что любой вещественный стохастический процесс с непрерывным временем имеет сепарабельную модификацию.^{[169][171][177]} Версии этой теоремы также существуют для более общих случайных процессов с индексными множествами и пространствами состояний, отличными от вещественной прямой.^[137]

Независимость

Два случайных процесса ${ displaystyle X}$ и ${ displaystyle Y}$ определены на том же вероятностном пространстве ${ displaystyle ( Omega, { mathcal {F}}, P)}$ с тем же набором индексов ${ displaystyle T}$ говорят быть независимый если для всех ${ Displaystyle п в mathbb {N}}$ и на любой выбор эпох ${ displaystyle t_ {1}, ldots, t_ {n} in T}$, случайные векторы ${ Displaystyle влево (Икс (т_ {1}), ldots, Х (т_ {п}) справа)}$ и ${ displaystyle left (Y (t_ {1}), ldots, Y (t_ {n}) right)}$ независимы.^{[178]:п. 515}

Некоррелированность

Два случайных процесса ${ displaystyle left {X_ {t} right }}$ и ${ displaystyle left {Y_ {t} right }}$ называются некоррелированный если их кросс-ковариация ${ displaystyle operatorname {K} _ { mathbf {X} mathbf {Y}} (t_ {1}, t_ {2}) = operatorname {E} left [ left (X (t_ {1}) ) - mu _ {X} (t_ {1}) right) left (Y (t_ {2}) - mu _ {Y} (t_ {2}) right) right]}$ всегда равен нулю.^{[179]:п. 142} Формально:

${ displaystyle left {X_ {t} right }, left {Y_ {t} right } { text {uncorrelated}} quad iff quad operatorname {K} _ { mathbf {X} mathbf {Y}} (t_ {1}, t_ {2}) = 0 quad forall t_ {1}, t_ {2}}$.

Независимость подразумевает некоррелированность

Если два случайных процесса ${ displaystyle X}$ и ${ displaystyle Y}$ независимы, то и они некоррелированы.^{[179]:п. 151}

Ортогональность

Два случайных процесса ${ displaystyle left {X_ {t} right }}$ и ${ displaystyle left {Y_ {t} right }}$ называются ортогональный если их взаимная корреляция ${ displaystyle operatorname {R} _ { mathbf {X} mathbf {Y}} (t_ {1}, t_ {2}) = operatorname {E} [X (t_ {1}) { overline { Г (t_ {2})}}]}$ всегда равен нулю.^{[179]:п. 142} Формально:

${ Displaystyle left {X_ {t} right }, left {Y_ {t} right } { text {orthogonal}} quad iff quad operatorname {R} _ { mathbf {X} mathbf {Y}} (t_ {1}, t_ {2}) = 0 quad forall t_ {1}, t_ {2}}$.

Скороход космос

А Скороход космос, также записывается как Скороход космос, представляет собой математическое пространство всех функций, непрерывных справа с левыми пределами, определенных на некотором интервале вещественной прямой, например ${ displaystyle [0,1]}$ или же ${ displaystyle [0, infty)}$, и принимают значения на действительной линии или в некотором метрическом пространстве.^{[180][181][182]} Такие функции известны как функции càdlàg или cadlag, основанные на аббревиатуре французского выражения продолжить à droite, limit à gauche, поскольку функции непрерывны справа с левыми пределами.^[180][183] Функциональное пространство Скорохода, введенное Анатолий Скороход,^[182] часто обозначается буквой ${ displaystyle D}$,^{[180][181][182][183]} поэтому функциональное пространство также называется пространством ${ displaystyle D}$.^{[180][184][185]} Обозначение этого функционального пространства может также включать интервал, на котором определены все функции càdlàg, так, например, ${ Displaystyle D [0,1]}$ обозначает пространство càdlàg функций, определенных на единичный интервал ${ displaystyle [0,1]}$.^{[183][185][186]}

Функциональные пространства Скорохода часто используются в теории случайных процессов, поскольку часто предполагается, что выборочные функции случайных процессов с непрерывным временем принадлежат пространству Скорохода.^[182][184] Такие пространства содержат непрерывные функции, которые соответствуют выборочным функциям винеровского процесса. Но в пространстве также есть функции с разрывами, что означает, что выборочные функции случайных процессов со скачками, таких как процесс Пуассона (на реальной прямой), также являются членами этого пространства.^[185][187]

Регулярность

В контексте математического построения случайных процессов термин регулярность используется при обсуждении и допущении определенных условий для стохастического процесса для решения возможных проблем построения.^[188][189] Например, для изучения случайных процессов с бесчисленными наборами индексов предполагается, что случайный процесс придерживается некоторого типа условия регулярности, такого как непрерывность выборочных функций.^[190][191]

Дальнейшие примеры

Марковские процессы и цепи

Марковские процессы - это случайные процессы, традиционно в дискретное или непрерывное время, которые обладают марковским свойством, что означает, что следующее значение марковского процесса зависит от текущего значения, но условно не зависит от предыдущих значений стохастического процесса. Другими словами, поведение процесса в будущем стохастически не зависит от его поведения в прошлом, учитывая текущее состояние процесса.^[192][193]

Процесс броуновского движения и процесс Пуассона (в одном измерении) являются примерами марковских процессов.^[194] в непрерывном времени, а случайные прогулки на целые числа и разорение игрока проблемы являются примерами марковских процессов в дискретном времени.^[195][196]

Цепь Маркова - это тип марковского процесса, который имеет либо дискретные пространство состояний или дискретный набор индексов (часто представляющий время), но точное определение цепи Маркова варьируется.^[197] Например, цепь Маркова принято определять как марковский процесс в любом дискретное или непрерывное время со счетным пространством состояний (таким образом, независимо от природы времени),^{[198][199][200][201]} но было также принято определять цепь Маркова как имеющую дискретное время либо в счетном, либо в непрерывном пространстве состояний (таким образом, независимо от пространства состояний).^[197] Утверждалось, что теперь, как правило, используется первое определение цепи Маркова, в котором она имеет дискретное время, несмотря на то, что второе определение использовалось такими исследователями, как Джозеф Дуб и Кай Лай Чунг.^[202]

Марковские процессы составляют важный класс случайных процессов и имеют приложения во многих областях.^[41][203] Например, они являются основой для общего метода стохастического моделирования, известного как Цепь Маркова Монте-Карло, который используется для моделирования случайных объектов с определенными распределениями вероятностей и нашел применение в Байесовская статистика.^[204][205]

Идея марковского свойства изначально предназначалась для случайных процессов в непрерывном и дискретном времени, но это свойство было адаптировано для других наборов индексов, таких как ${ displaystyle n}$-мерное евклидово пространство, которое приводит к коллекциям случайных величин, известных как марковские случайные поля.^{[206][207][208]}

Мартингейл

Мартингал - это стохастический процесс с дискретным или непрерывным временем, обладающий тем свойством, что в каждый момент времени, учитывая текущее значение и все прошлые значения процесса, условное ожидание каждого будущего значения равно текущему значению. В дискретном времени, если это свойство сохраняется для следующего значения, то оно сохраняется для всех будущих значений. The exact mathematical definition of a martingale requires two other conditions coupled with the mathematical concept of a filtration, which is related to the intuition of increasing available information as time passes. Martingales are usually defined to be real-valued,^{[209][210][156]} but they can also be complex-valued^[211] or even more general.^[212]

A symmetric random walk and a Wiener process (with zero drift) are both examples of martingales, respectively, in discrete and continuous time.^[209][210] Для последовательность из независимые и одинаково распределенные случайные переменные ${displaystyle X_{1},X_{2},X_{3},dots }$ with zero mean, the stochastic process formed from the successive partial sums ${displaystyle X_{1},X_{1}+X_{2},X_{1}+X_{2}+X_{3},dots }$ is a discrete-time martingale.^[213] In this aspect, discrete-time martingales generalize the idea of partial sums of independent random variables.^[214]

Martingales can also be created from stochastic processes by applying some suitable transformations, which is the case for the homogeneous Poisson process (on the real line) resulting in a martingale called the compensated Poisson process.^[210] Martingales can also be built from other martingales.^[213] For example, there are martingales based on the martingale the Wiener process, forming continuous-time martingales.^[209][215]

Martingales mathematically formalize the idea of a fair game,^[216] and they were originally developed to show that it is not possible to win a fair game.^[217] But now they are used in many areas of probability, which is one of the main reasons for studying them.^{[156][217][218]} Many problems in probability have been solved by finding a martingale in the problem and studying it.^[219] Martingales will converge, given some conditions on their moments, so they are often used to derive convergence results, due largely to martingale convergence theorems.^{[214][220][221]}

Martingales have many applications in statistics, but it has been remarked that its use and application are not as widespread as it could be in the field of statistics, particularly statistical inference.^[222] They have found applications in areas in probability theory such as queueing theory and Palm calculus^[223] and other fields such as economics^[224] и финансы.^[19]

Леви процесс

Lévy processes are types of stochastic processes that can be considered as generalizations of random walks in continuous time.^[51][225] These processes have many applications in fields such as finance, fluid mechanics, physics and biology.^[226][227] The main defining characteristics of these processes are their stationarity and independence properties, so they were known as processes with stationary and independent increments. In other words, a stochastic process ${ displaystyle X}$ is a Lévy process if for ${ displaystyle n}$ non-negatives numbers, ${displaystyle 0leq t_{1}leq dots leq t_{n}}$соответствующие ${ displaystyle n-1}$ приращения

${displaystyle X_{t_{2}}-X_{t_{1}},dots ,X_{t_{n-1}}-X_{t_{n}},}$

are all independent of each other, and the distribution of each increment only depends on the difference in time.^[51]

A Lévy process can be defined such that its state space is some abstract mathematical space, such as a Банахово пространство, but the processes are often defined so that they take values in Euclidean space. The index set is the non-negative numbers, so ${displaystyle I=[0,infty )}$, which gives the interpretation of time. Important stochastic processes such as the Wiener process, the homogeneous Poisson process (in one dimension), and subordinators are all Lévy processes.^[51][225]

Случайное поле

A random field is a collection of random variables indexed by a ${ displaystyle n}$-dimensional Euclidean space or some manifold. In general, a random field can be considered an example of a stochastic or random process, where the index set is not necessarily a subset of the real line.^[32] But there is a convention that an indexed collection of random variables is called a random field when the index has two or more dimensions.^[5][30][228] If the specific definition of a stochastic process requires the index set to be a subset of the real line, then the random field can be considered as a generalization of stochastic process.^[229]

Точечный процесс

A point process is a collection of points randomly located on some mathematical space such as the real line, ${ displaystyle n}$-dimensional Euclidean space, or more abstract spaces. Sometimes the term point process is not preferred, as historically the word процесс denoted an evolution of some system in time, so a point process is also called a random point field.^[230] There are different interpretations of a point process, such a random counting measure or a random set.^[231][232] Some authors regard a point process and stochastic process as two different objects such that a point process is a random object that arises from or is associated with a stochastic process,^[233][234] though it has been remarked that the difference between point processes and stochastic processes is not clear.^[234]

Other authors consider a point process as a stochastic process, where the process is indexed by sets of the underlying space^[d] on which it is defined, such as the real line or ${ displaystyle n}$-dimensional Euclidean space.^[237][238] Other stochastic processes such as renewal and counting processes are studied in the theory of point processes.^[239][240]

История

Early probability theory

Probability theory has its origins in games of chance, which have a long history, with some games being played thousands of years ago,^[241][242] but very little analysis on them was done in terms of probability.^[241][243] The year 1654 is often considered the birth of probability theory when French mathematicians Pierre Fermat и Блез Паскаль had a written correspondence on probability, motivated by a gambling problem.^{[241][244][245]} But there was earlier mathematical work done on the probability of gambling games such as Liber de Ludo Aleae к Джероламо Кардано, written in the 16th century but posthumously published later in 1663.^[241][246]

After Cardano, Якоб Бернулли^[e] написал Ars Conjectandi, which is considered a significant event in the history of probability theory.^[241] Bernoulli's book was published, also posthumously, in 1713 and inspired many mathematicians to study probability.^{[241][248][249]} But despite some renowned mathematicians contributing to probability theory, such as Пьер-Симон Лаплас, Абрахам де Муавр, Карл Гаусс, Симеон Пуассон и Пафнутый Чебышев,^[250][251] most of the mathematical community^[f] did not consider probability theory to be part of mathematics until the 20th century.^{[250][252][253][254]}

Статистическая механика

In the physical sciences, scientists developed in the 19th century the discipline of статистическая механика, where physical systems, such as containers filled with gases, can be regarded or treated mathematically as collections of many moving particles. Although there were attempts to incorporate randomness into statistical physics by some scientists, such as Рудольф Клаузиус, most of the work had little or no randomness.^[255][256]This changed in 1859 when Джеймс Клерк Максвелл contributed significantly to the field, more specifically, to the kinetic theory of gases, by presenting work where he assumed the gas particles move in random directions at random velocities.^[257][258] The kinetic theory of gases and statistical physics continued to be developed in the second half of the 19th century, with work done chiefly by Clausius, Людвиг Больцманн и Josiah Gibbs, which would later have an influence on Альберт Эйнштейн's mathematical model for Brownian movement.^[259]

Measure theory and probability theory

На Международный конгресс математиков в Париж в 1900 г., Дэвид Гильберт presented a list of математические задачи, where his sixth problem asked for a mathematical treatment of physics and probability involving аксиомы.^[251] Around the start of the 20th century, mathematicians developed measure theory, a branch of mathematics for studying integrals of mathematical functions, where two of the founders were French mathematicians, Анри Лебег и Эмиль Борель. In 1925 another French mathematician Поль Леви published the first probability book that used ideas from measure theory.^[251]

In 1920s fundamental contributions to probability theory were made in the Soviet Union by mathematicians such as Sergei Bernstein, Александр Хинчин,^[грамм] и Андрей Колмогоров.^[254] Kolmogorov published in 1929 his first attempt at presenting a mathematical foundation, based on measure theory, for probability theory.^[260] In the early 1930s Khinchin and Kolmogorov set up probability seminars, which were attended by researchers such as Eugene Slutsky и Николай Смирнов,^[261] and Khinchin gave the first mathematical definition of a stochastic process as a set of random variables indexed by the real line.^{[65][262][час]}

Birth of modern probability theory

In 1933 Andrei Kolmogorov published in German, his book on the foundations of probability theory titled Grundbegriffe der Wahrscheinlichkeitsrechnung,^[я] where Kolmogorov used measure theory to develop an axiomatic framework for probability theory. The publication of this book is now widely considered to be the birth of modern probability theory, when the theories of probability and stochastic processes became parts of mathematics.^[251][254]

After the publication of Kolmogorov's book, further fundamental work on probability theory and stochastic processes was done by Khinchin and Kolmogorov as well as other mathematicians such as Джозеф Дуб, Уильям Феллер, Морис Фреше, Поль Леви, Вольфганг Доблин, и Харальд Крамер.^[251][254]Decades later Cramér referred to the 1930s as the "heroic period of mathematical probability theory".^[254] Вторая Мировая Война greatly interrupted the development of probability theory, causing, for example, the migration of Feller from Швеция к Соединенные Штаты Америки^[254] and the death of Doeblin, considered now a pioneer in stochastic processes.^[264]

Математик Джозеф Дуб did early work on the theory of stochastic processes, making fundamental contributions, particularly in the theory of martingales.^[265][263] Его книга Stochastic Processes is considered highly influential in the field of probability theory.^[266]

Stochastic processes after World War II

After World War II the study of probability theory and stochastic processes gained more attention from mathematicians, with significant contributions made in many areas of probability and mathematics as well as the creation of new areas.^[254][267] Starting in the 1940s, Киёси Ито published papers developing the field of стохастическое исчисление, which involves stochastic интегралы and stochastic дифференциальные уравнения based on the Wiener or Brownian motion process.^[268]

Also starting in the 1940s, connections were made between stochastic processes, particularly martingales, and the mathematical field of теория потенциала, with early ideas by Шизуо Какутани and then later work by Joseph Doob.^[267] Further work, considered pioneering, was done by Gilbert Hunt in the 1950s, connecting Markov processes and potential theory, which had a significant effect on the theory of Lévy processes and led to more interest in studying Markov processes with methods developed by Itô.^{[23][269][270]}

In 1953 Doob published his book Стохастические процессы, which had a strong influence on the theory of stochastic processes and stressed the importance of measure theory in probability.^[267][266] Doob also chiefly developed the theory of martingales, with later substantial contributions by Поль-Андре Мейер. Earlier work had been carried out by Sergei Bernstein, Поль Леви и Жан Вилль, the latter adopting the term martingale for the stochastic process.^[271][272] Methods from the theory of martingales became popular for solving various probability problems. Techniques and theory were developed to study Markov processes and then applied to martingales. Conversely, methods from the theory of martingales were established to treat Markov processes.^[267]

Other fields of probability were developed and used to study stochastic processes, with one main approach being the theory of large deviations.^[267] The theory has many applications in statistical physics, among other fields, and has core ideas going back to at least the 1930s. Later in the 1960s and 1970s fundamental work was done by Alexander Wentzell in the Soviet Union and Монро Д. Донскер и Шриниваса Варадхан in the United States of America,^[273] which would later result in Varadhan winning the 2007 Abel Prize.^[274] In the 1990s and 2000s the theories of Эволюция Шрамма – Лёвнера^[275] и rough paths^[143] were introduced and developed to study stochastic processes and other mathematical objects in probability theory, which respectively resulted in Поля медали присуждается Венделин Вернер^[276] в 2008 году и до Мартин Хайрер в 2014.^[277]

The theory of stochastic processes still continues to be a focus of research, with yearly international conferences on the topic of stochastic processes.^[47][226]

Discoveries of specific stochastic processes

Although Khinchin gave mathematical definitions of stochastic processes in the 1930s,^[65][262] specific stochastic processes had already been discovered in different settings, such as the Brownian motion process and the Poisson process.^[23][26] Some families of stochastic processes such as point processes or renewal processes have long and complex histories, stretching back centuries.^[278]

Процесс Бернулли

The Bernoulli process, which can serve as a mathematical model for flipping a biased coin, is possibly the first stochastic process to have been studied.^[83] The process is a sequence of independent Bernoulli trials,^[84] which are named after Jackob Bernoulli who used them to study games of chance, including probability problems proposed and studied earlier by Christiaan Huygens.^[279] Bernoulli's work, including the Bernoulli process, were published in his book Ars Conjectandi в 1713 г.^[280]

Random walks

В 1905 г. Карл Пирсон ввел термин случайная прогулка while posing a problem describing a random walk on the plane, which was motivated by an application in biology, but such problems involving random walks had already been studied in other fields. Certain gambling problems that were studied centuries earlier can be considered as problems involving random walks.^[91][280] For example, the problem known as the Gambler's ruin is based on a simple random walk,^[196][281] and is an example of a random walk with absorbing barriers.^[244][282] Pascal, Fermat and Huyens all gave numerical solutions to this problem without detailing their methods,^[283] and then more detailed solutions were presented by Jakob Bernoulli and Абрахам де Муавр.^[284]

For random walks in ${ displaystyle n}$-dimensional integer решетки, George Pólya published in 1919 and 1921 work, where he studied the probability of a symmetric random walk returning to a previous position in the lattice. Pólya showed that a symmetric random walk, which has an equal probability to advance in any direction in the lattice, will return to a previous position in the lattice an infinite number of times with probability one in one and two dimensions, but with probability zero in three or higher dimensions.^[285][286]

Винеровский процесс

В Винеровский процесс or Brownian motion process has its origins in different fields including statistics, finance and physics.^[23] В 1880 г. Торвальд Тиле wrote a paper on the method of least squares, where he used the process to study the errors of a model in time-series analysis.^{[287][288][289]} The work is now considered as an early discovery of the statistical method known as Kalman filtering, but the work was largely overlooked. It is thought that the ideas in Thiele's paper were too advanced to have been understood by the broader mathematical and statistical community at the time.^[289]

Норберт Винер gave the first mathematical proof of the existence of the Wiener process. This mathematical object had appeared previously in the work of Торвальд Тиле, Луи Башелье, и Альберт Эйнштейн.^[23]

The French mathematician Луи Башелье used a Wiener process in his 1900 thesis^[290][291] in order to model price changes on the Paris Bourse, а фондовая биржа,^[292] without knowing the work of Thiele.^[23] It has been speculated that Bachelier drew ideas from the random walk model of Jules Regnault, but Bachelier did not cite him,^[293] and Bachelier's thesis is now considered pioneering in the field of financial mathematics.^[292][293]

It is commonly thought that Bachelier's work gained little attention and was forgotten for decades until it was rediscovered in the 1950s by the Леонард Сэвидж, and then become more popular after Bachelier's thesis was translated into English in 1964. But the work was never forgotten in the mathematical community, as Bachelier published a book in 1912 detailing his ideas,^[293] which was cited by mathematicians including Doob, Feller^[293] and Kolmogorov.^[23] Книгу продолжали цитировать, но затем, начиная с 1960-х годов, первоначальный тезис Башелье стали цитировать чаще, чем его книгу, когда экономисты начали цитировать работы Башелье.^[293]

В 1905 г. Альберт Эйнштейн published a paper where he studied the physical observation of Brownian motion or movement to explain the seemingly random movements of particles in liquids by using ideas from the кинетическая теория газов. Einstein derived a дифференциальное уравнение, известный как diffusion equation, for describing the probability of finding a particle in a certain region of space. Shortly after Einstein's first paper on Brownian movement, Мариан Смолуховский published work where he cited Einstein, but wrote that he had independently derived the equivalent results by using a different method.^[294]

Einstein's work, as well as experimental results obtained by Жан Перрен, later inspired Norbert Wiener in the 1920s^[295] to use a type of measure theory, developed by Percy Daniell, and Fourier analysis to prove the existence of the Wiener process as a mathematical object.^[23]

Пуассоновский процесс

The Poisson process is named after Симеон Пуассон, due to its definition involving the распределение Пуассона, but Poisson never studied the process.^[24][296] There are a number of claims for early uses or discoveries of the Poissonprocess.^[24][26]At the beginning of the 20th century the Poisson process would arise independently in different situations.^[24][26]In Sweden 1903, Filip Lundberg опубликовал Тезис containing work, now considered fundamental and pioneering, where he proposed to model insurance claims with a homogeneous Poisson process.^[297][298]

Another discovery occurred in Дания в 1909 году, когда А.К. Erlang derived the Poisson distribution when developing a mathematical model for the number of incoming phone calls in a finite time interval. Erlang was not at the time aware of Poisson's earlier work and assumed that the number phone calls arriving in each interval of time were independent to each other. He then found the limiting case, which is effectively recasting the Poisson distribution as a limit of the binomial distribution.^[24]

В 1910 г. Эрнест Резерфорд и Ганс Гейгер published experimental results on counting alpha particles. Motivated by their work, Гарри Бейтман studied the counting problem and derived Poisson probabilities as a solution to a family of differential equations, resulting in the independent discovery of the Poisson process.^[24] After this time there were many studies and applications of the Poisson process, but its early history is complicated, which has been explained by the various applications of the process in numerous fields by biologists, ecologists, engineers and various physical scientists.^[24]

Марковские процессы

Markov processes and Markov chains are named after Андрей Марков who studied Markov chains in the early 20th century.^[299] Markov was interested in studying an extension of independent random sequences.^[299] In his first paper on Markov chains, published in 1906, Markov showed that under certain conditions the average outcomes of the Markov chain would converge to a fixed vector of values, so proving a weak law of large numbers without the independence assumption,^{[6][300][301][302]} which had been commonly regarded as a requirement for such mathematical laws to hold.^[302] Markov later used Markov chains to study the distribution of vowels in Евгений Онегин, написано Александр Пушкин, and proved a Центральная предельная теорема for such chains.^[6][300]

In 1912 Poincaré studied Markov chains on конечные группы with an aim to study card shuffling. Other early uses of Markov chains include a diffusion model, introduced by Павел и Tatyana Ehrenfest in 1907, and a branching process, introduced by Фрэнсис Гальтон и Генри Уильям Уотсон in 1873, preceding the work of Markov.^[300][301] After the work of Galton and Watson, it was later revealed that their branching process had been independently discovered and studied around three decades earlier by Irénée-Jules Bienaymé.^[303] Начиная с 1928 г., Морис Фреше became interested in Markov chains, eventually resulting in him publishing in 1938 a detailed study on Markov chains.^[300][304]

Андрей Колмогоров developed in a 1931 paper a large part of the early theory of continuous-time Markov processes.^[254][260] Kolmogorov was partly inspired by Louis Bachelier's 1900 work on fluctuations in the stock market as well as Норберт Винер's work on Einstein's model of Brownian movement.^[260][305] He introduced and studied a particular set of Markov processes known as diffusion processes, where he derived a set of differential equations describing the processes.^[260][306] Independent of Kolmogorov's work, Sydney Chapman derived in a 1928 paper an equation, now called the Уравнение Чепмена – Колмогорова., in a less mathematically rigorous way than Kolmogorov, while studying Brownian movement.^[307] The differential equations are now called the Kolmogorov equations^[308] or the Kolmogorov–Chapman equations.^[309] Other mathematicians who contributed significantly to the foundations of Markov processes include William Feller, starting in the 1930s, and then later Eugene Dynkin, starting in the 1950s.^[254]

Леви процессы

Lévy processes such as the Wiener process and the Poisson process (on the real line) are named after Paul Lévy who started studying them in the 1930s,^[226] but they have connections to infinitely divisible distributions going back to the 1920s.^[225] In a 1932 paper Kolmogorov derived a characteristic function for random variables associated with Lévy processes. This result was later derived under more general conditions by Lévy in 1934, and then Khinchin independently gave an alternative form for this characteristic function in 1937.^[254][310] In addition to Lévy, Khinchin and Kolomogrov, early fundamental contributions to the theory of Lévy processes were made by Бруно де Финетти и Киёси Ито.^[225]

Mathematical construction

In mathematics, constructions of mathematical objects are needed, which is also the case for stochastic processes, to prove that they exist mathematically.^[59] There are two main approaches for constructing a stochastic process. One approach involves considering a measurable space of functions, defining a suitable measurable mapping from a probability space to this measurable space of functions, and then deriving the corresponding finite-dimensional distributions.^[311]

Another approach involves defining a collection of random variables to have specific finite-dimensional distributions, and then using Kolmogorov's existence theorem^[j] to prove a corresponding stochastic process exists.^[59][311] This theorem, which is an existence theorem for measures on infinite product spaces,^[315] говорит, что если какие-либо конечномерные распределения удовлетворяют двум условиям, известным как условия согласованности, то существует случайный процесс с этими конечномерными распределениями.^[59]

Строительные вопросы

При построении случайных процессов с непрерывным временем возникают определенные математические трудности из-за бесчисленных наборов индексов, которые не возникают с процессами с дискретным временем.^[60][61] Одна из проблем состоит в том, что возможно иметь более одного случайного процесса с одинаковыми конечномерными распределениями. Например, как непрерывная слева модификация, так и непрерывная справа модификация пуассоновского процесса имеют одинаковые конечномерные распределения.^[316] Это означает, что распределение случайного процесса не обязательно однозначно определяет свойства выборочных функций случайного процесса.^[311][317]

Другая проблема заключается в том, что функционалы процесса непрерывного времени, которые полагаются на бесчисленное количество точек набора индексов, могут быть не измеримыми, поэтому вероятности определенных событий могут быть плохо определены.^[169] Например, верхняя грань случайного процесса или случайного поля не обязательно является четко определенной случайной величиной.^[32][61] Для случайного процесса с непрерывным временем ${ displaystyle X}$, другие характеристики, зависящие от бесчисленного количества точек индексного набора ${ displaystyle T}$ включают:^[169]

• примерная функция случайного процесса ${ displaystyle X}$ это непрерывная функция из ${ displaystyle t in T}$;
• примерная функция случайного процесса ${ displaystyle X}$ это ограниченная функция из ${ displaystyle t in T}$; и
• примерная функция случайного процесса ${ displaystyle X}$ является возрастающая функция из ${ displaystyle t in T}$.

Чтобы преодолеть эти две трудности, возможны разные допущения и подходы.^[71]

Решение строительных вопросов

Один подход, позволяющий избежать проблем математического построения случайных процессов, предложенный Джозеф Дуб, состоит в том, чтобы предположить, что случайный процесс отделим.^[318] Разделимость гарантирует, что бесконечномерные распределения определяют свойства выборочных функций, требуя, чтобы выборочные функции по существу определялись своими значениями на плотном счетном множестве точек в индексном наборе.^[319] Кроме того, если случайный процесс отделим, то функционалы от несчетного числа точек индексного набора измеримы и их вероятности можно изучать.^[169][319]

Возможен другой подход, изначально разработанный Анатолий Скороход и Андрей Колмогоров,^[320] для случайного процесса с непрерывным временем с любым метрическим пространством в качестве пространства состояний. Для построения такого случайного процесса предполагается, что выборочные функции случайного процесса принадлежат некоторому подходящему функциональному пространству, которым обычно является пространство Скорохода, состоящее из всех непрерывных справа функций с левыми пределами. Этот подход сейчас используется чаще, чем предположение о разделимости,^[71][265] но такой случайный процесс, основанный на этом подходе, будет автоматически отделим.^[321]

Предположение об отделимости, хотя и используется реже, считается более общим, поскольку каждый случайный процесс имеет отделимую версию.^[265] Он также используется, когда невозможно построить случайный процесс в пространстве Скорохода.^[174] Например, предполагается разделимость при построении и изучении случайных полей, где набор случайных величин теперь индексируется наборами, отличными от реальной линии, такими как ${ displaystyle n}$-мерное евклидово пространство.^[32][322]

Смотрите также

Примечания

Рекомендации