WikiDer > Теория Хебба - Википедия

Хеббийская теория это нейробиология теория, утверждающая, что увеличение синаптический эффективность возникает из пресинаптическая клеткамногократная и постоянная стимуляция постсинаптической клетки. Это попытка объяснить синаптическая пластичность, адаптация мозга нейроны в процессе обучения. Он был представлен Дональд Хебб в его книге 1949 года Организация поведения.^[1] Теорию также называют Правило Хебба, Постулат Хебба, и теория сборки клеток. Хебб утверждает это следующим образом:

Предположим, что постоянство или повторение реверберационной активности (или «следа») имеет тенденцию вызывать длительные клеточные изменения, которые добавляют к ее стабильности. ... Когда аксон ячейки А достаточно близко, чтобы возбудить клетку B и неоднократно или постоянно участвует в его возбуждении, в одной или обеих клетках происходит некоторый процесс роста или метаболические изменения, так что А's эффективность, поскольку одна из ячеек срабатывает B, увеличена.^[1]

Теорию часто резюмируют как «клетки, которые срабатывают вместе, соединяются вместе».^[2] Однако Хебб подчеркнул, что ячейка А необходимо "принять участие в стрельбе" ячейка B, и такая причинность может иметь место только в том случае, если ячейка А срабатывает непосредственно перед, а не одновременно с ячейкой B. Этот аспект причинно-следственной связи в работе Хебба предвосхитил то, что теперь известно о пластичность, зависящая от времени всплеска, который требует временного приоритета.^[3]

Теория пытается объяснить ассоциативный или же Hebbian обучение, при которых одновременная активация клеток приводит к выраженному увеличению синаптическая сила между этими ячейками. Это также обеспечивает биологическую основу для безошибочное обучение методы обучения и восстановления памяти. При изучении нейронные сети в когнитивной функции он часто рассматривается как нейрональная основа обучение без учителя.

Хеббийские энграммы и теория сборки клеток

Теория Хебба касается того, как нейроны могут соединиться, чтобы стать инграммы. Теории Хебба о форме и функции клеточных ансамблей можно понять из следующего:^[1]:70

Общая идея - старая, что любые две клетки или системы клеток, которые многократно активны в одно и то же время, будут иметь тенденцию становиться «связанными», так что активность одной способствует активности другой.

Хебб также писал:^[1]:63

Когда одна клетка неоднократно помогает запускать другую, аксон первой клетки развивает синаптические выступы (или увеличивает их, если они уже существуют) в контакте с сомой второй клетки.

Гордон Олпорт предлагает дополнительные идеи относительно теории сборки клеток и ее роли в формировании инграмм в соответствии с концепцией автоассоциации, описанной следующим образом:

Если входные данные в систему вызывают повторение одного и того же паттерна активности, набор активных элементов, составляющих этот паттерн, будет становиться все более тесно взаимосвязанным. То есть каждый элемент будет иметь тенденцию включать все остальные элементы и (с отрицательными весами) отключать элементы, которые не являются частью шаблона. Другими словами, паттерн в целом станет «автоматически связанным». Мы можем назвать выученный (автоматически связанный) паттерн инграммой.^[4]:44

Теория Хебба была первичной основой общепринятой точки зрения, которая при анализе целостный уровень, инграммы - это нейронные сети или нейронные сети.

Работа в лаборатории Эрик Кандел предоставил доказательства участия механизмов обучения Хебба в синапсах в морских брюхоногие моллюски Аплизия калифорнийская.^{[нужна цитата]}

Эксперименты по механизмам модификации синапсов Хебба на Центральная нервная система синапсы позвоночные намного труднее контролировать, чем эксперименты с относительно простыми периферическая нервная система синапсы, изученные у морских беспозвоночных. Большая часть работы по длительным синаптическим изменениям между нейронами позвоночных (например, долгосрочное потенцирование) предполагает использование нефизиологической экспериментальной стимуляции клеток мозга. Однако некоторые из физиологически релевантных механизмов модификации синапсов, которые были изучены в головном мозге позвоночных, действительно кажутся примерами процессов Хебба. Одно такое исследование^{[который?]} рассматривает результаты экспериментов, которые показывают, что длительные изменения в силе синапсов могут быть вызваны физиологически релевантной синаптической активностью, действующей как через хеббовские, так и негеббийские механизмы.

Принципы

С точки зрения искусственные нейроны и искусственные нейронные сети, Принцип Хебба можно описать как метод определения того, как изменять веса между модельными нейронами. Вес между двумя нейронами увеличивается, если два нейрона активируются одновременно, и уменьшается, если они активируются по отдельности. Узлы, которые имеют тенденцию быть одновременно положительными или отрицательными, имеют сильные положительные веса, в то время как те, которые имеют тенденцию быть противоположными, имеют сильные отрицательные веса.

Ниже приводится примерное описание обучения Хебба: (возможно множество других описаний)

${ displaystyle , w_ {ij} = x_ {i} x_ {j}}$

куда ${ displaystyle w_ {ij}}$ это вес связи от нейрона ${ displaystyle j}$ к нейрону ${ displaystyle i}$ и ${ displaystyle x_ {i}}$ вход для нейрона ${ displaystyle i}$. Обратите внимание, что это обучение по шаблону (веса обновляются после каждого примера обучения). В Сеть Хопфилда, соединения ${ displaystyle w_ {ij}}$ равны нулю, если ${ displaystyle i = j}$ (рефлексивные соединения не допускаются). С бинарными нейронами (активация 0 или 1) соединения будут установлены на 1, если подключенные нейроны имеют одинаковую активацию для шаблона.

Другое шаблонное описание:

${ displaystyle w_ {ij} = { frac {1} {p}} sum _ {k = 1} ^ {p} x_ {i} ^ {k} x_ {j} ^ {k}, ,}$

куда ${ displaystyle w_ {ij}}$ это вес связи от нейрона ${ displaystyle j}$ к нейрону ${ displaystyle i}$, ${ displaystyle p}$ количество тренировочных шаблонов, и ${ displaystyle x_ {i} ^ {k}}$ то ${ displaystyle k}$й вход для нейрона ${ displaystyle i}$. Это обучение по эпохам (веса обновляются после того, как представлены все обучающие примеры). Опять же, в сети Хопфилда соединения ${ displaystyle w_ {ij}}$ равны нулю, если ${ displaystyle i = j}$ (без возвратных связей).

Вариант обучения Хебба, который учитывает такие явления, как блокирование и многие другие явления нейронного обучения, представляет собой математическую модель Гарри Клопф.^[5] Модель Клопфа воспроизводит множество биологических явлений, а также прост в реализации.

Отношение к обучению без учителя, стабильность и обобщение

Из-за простой природы обучения по Хеббе, основанного только на совпадении пре- и постсинаптической активности, может быть неясно, почему эта форма пластичности приводит к осмысленному обучению. Тем не менее, можно показать, что пластичность Хебба учитывает статистические свойства входных данных таким образом, что их можно отнести к категории обучения без учителя.

Математически это можно показать на упрощенном примере. Давайте работать в упрощающем предположении об одном нейроне, зависящем от скорости ${ Displaystyle у (т)}$, входы которого имеют ставки ${ Displaystyle х_ {1} (т) ... х_ {N} (т)}$. Реакция нейрона в режиме скорости обычно описывается как линейная комбинация его входа, за которым следует функция отклика:

${ displaystyle y = f left ( sum _ {i = 1} ^ {N} w_ {i} x_ {i} right).}$

Как определено в предыдущих разделах, пластичность Хебба описывает эволюцию синаптического веса во времени. ${ displaystyle w}$:

${ displaystyle { frac {dw_ {i}} {dt}} = eta x_ {i} y.}$

Предполагая, для простоты, линейную функцию отклика ${ displaystyle f}$, мы можем написать

${ displaystyle { frac {dw_ {i}} {dt}} = eta x_ {i} sum _ {j = 1} ^ {N} w_ {j} x_ {j}}$

или в матричной форме:

${ displaystyle { frac {d mathbf {w}} {dt}} = eta mathbf {x} mathbf {x} ^ {T} mathbf {w}.}$

Предполагая, что нас интересует долгосрочная эволюция весов, мы можем взять среднее по времени из приведенного выше уравнения. При дополнительном предположении, что ${ Displaystyle langle mathbf {х} rangle = 0}$ (т.е. среднее время входов равно нулю), мы получаем ${ Displaystyle langle mathbf {x} mathbf {x} ^ {T} rangle = C}$, то корреляционная матрица входа:

${ displaystyle { frac {d mathbf {w}} {dt}} = eta C mathbf {w}.}$

Это система ${ displaystyle N}$ связанные линейные дифференциальные уравнения. С ${ displaystyle C}$ является симметричный, это также диагонализуемый, и решение может быть найдено, работая в его базисе собственных векторов, чтобы иметь вид

${ displaystyle mathbf {w} (t) = k_ {1} e ^ { eta alpha _ {1} t} mathbf {c} _ {1} + k_ {2} e ^ { eta alpha _ {2} t} mathbf {c} _ {2} + ... + k_ {N} e ^ { eta alpha _ {N} t} mathbf {c} _ {N}}$

куда ${ displaystyle k_ {i}}$ - произвольные постоянные, ${ Displaystyle mathbf {c} _ {я}}$ являются собственными векторами ${ displaystyle C}$ и ${ displaystyle alpha _ {я}}$ соответствующие собственные значения. Поскольку корреляционная матрица всегда положительно определенная матрица, все собственные значения положительны, и можно легко увидеть, что приведенное выше решение всегда экспоненциально расходится во времени. Это внутренняя проблема, поскольку эта версия правила Хебба нестабильна, так как в любой сети с доминирующим сигналом синаптические веса будут увеличиваются или уменьшаются экспоненциально. Интуитивно это происходит потому, что всякий раз, когда пресинаптический нейрон возбуждает постсинаптический нейрон, нагрузка между ними усиливается, вызывая еще более сильное возбуждение в будущем и так далее, самоусиливающимся образом. Можно подумать, что решение состоит в том, чтобы ограничить скорость возбуждения постсинаптического нейрона, добавив нелинейную насыщающую функцию отклика. ${ displaystyle f}$, но на самом деле можно показать, что для любой нейронная модель, правило Хебба нестабильно.^[6] Следовательно, сетевые модели нейронов обычно используют другие теории обучения, такие как Теория BCM, Правило Оджи,^[7] или обобщенный алгоритм Хебба.

В любом случае, даже для нестабильного решения, приведенного выше, можно увидеть, что по прошествии достаточного времени один из членов преобладает над другими, и

${ displaystyle mathbf {w} (t) приблизительно e ^ { eta alpha ^ {*} t} mathbf {c} ^ {*}}$

куда ${ displaystyle alpha ^ {*}}$ это самый большой собственное значение ${ displaystyle C}$. В это время постсинаптический нейрон выполняет следующую операцию:

${ displaystyle y = A sum _ {i = 1} ^ {N} c_ {i} ^ {*} x_ {i}.}$

куда ${ displaystyle A}$ некоторая константа. Потому что опять же ${ displaystyle mathbf {c} ^ {*}}$ - собственный вектор, соответствующий наибольшему собственному значению корреляционной матрицы между ${ displaystyle x_ {i}}$s, это в точности соответствует вычислению первого главный компонент входа.

Этот механизм может быть расширен для выполнения полного PCA (анализа главных компонентов) входных данных путем добавления дополнительных постсинаптических нейронов при условии, что постсинаптические нейроны не могут улавливать один и тот же главный компонент, например, путем добавления боковое торможение в постсинаптическом слое. Таким образом, мы соединили обучение Hebbian с PCA, который является элементарной формой обучения без учителя, в том смысле, что сеть может улавливать полезные статистические аспекты входных данных и «описывать» их в дистиллированном виде на выходе.^[8]

Исключения

Несмотря на обычное использование моделей Хебба для долгосрочного потенцирования, существует несколько исключений из принципов и примеров Хебба, которые демонстрируют, что некоторые аспекты теории чрезмерно упрощены. Одно из наиболее хорошо задокументированных исключений относится к тому, как синаптическая модификация может происходить не только между активированными нейронами A и B, но и с соседними нейронами.^[9] Это связано с тем, как модификация Hebbian зависит от ретроградная сигнализация чтобы изменить пресинаптический нейрон.^[10] Соединение, наиболее часто определяемое как выполняющее роль ретроградного передатчика, - это оксид азота, который из-за своей высокой растворимости и диффузии часто оказывает влияние на соседние нейроны.^[11] Этот тип диффузной синаптической модификации, известной как объемное обучение, счетчики или, по крайней мере, дополняет традиционную хеббовскую модель.^[12]

Хеббийский обучающий счет зеркальных нейронов

Хеббийское обучение и пластичность, зависящая от времени всплеска, использовались во влиятельной теории того, как зеркальные нейроны появляться.^[13][14] Зеркальные нейроны - это нейроны, которые срабатывают как когда человек выполняет действие, так и когда человек видит^[15] или слышит^[16] другой выполняет аналогичное действие. Открытие этих нейронов оказало большое влияние на объяснение того, как люди понимают действия других, показав, что, когда человек воспринимает действия других, человек активирует моторные программы, которые они будут использовать для выполнения аналогичных действий. Затем активация этих моторных программ добавляет информацию к восприятию и помогает предсказать, что человек будет делать дальше, на основе собственной моторной программы воспринимающего. Задача состояла в том, чтобы объяснить, как у людей появляются нейроны, которые реагируют как на выполнение действия, так и на то, что он слышит или видит, как другой выполняет аналогичные действия.

Кристиан Кейзерс и Дэвид Перретт предположил, что когда человек выполняет определенное действие, он будет видеть, слышать и чувствовать его выполнение. Эти реафферентные сенсорные сигналы будут запускать активность нейронов, реагирующих на вид, звук и ощущение действия. Поскольку активность этих сенсорных нейронов будет последовательно перекрываться во времени с активностью двигательных нейронов, вызвавших действие, обучение Хебби предсказывает, что синапсы, соединяющие нейроны, реагирующие на зрение, звук и ощущение действия, и нейроны, запускающие действие должно быть усилено. То же самое верно, когда люди смотрят на себя в зеркало, слышат, как они лепечут или им подражают. После многократного переживания этого переосмысления синапсы, соединяющие сенсорные и моторные представления о действии, становятся настолько сильными, что двигательные нейроны начинают стрелять по звуку или видению действия, и создается зеркальный нейрон.

Доказательства этой точки зрения получены из многих экспериментов, которые показывают, что двигательные программы могут запускаться новыми слуховыми или визуальными стимулами после повторного сочетания стимула с выполнением двигательной программы (обзор доказательств см. В Giudice et al., 2009^[17]). Например, люди, которые никогда не играли на пианино, не активируют области мозга, участвующие в игре на пианино, при прослушивании фортепианной музыки. Доказано, что пяти часов занятий на фортепиано, в которых участник слышит звук фортепиано каждый раз, когда он нажимает клавишу, достаточно, чтобы активировать двигательную активность в области мозга при прослушивании фортепианной музыки, когда ее слышат позже.^[18] В соответствии с тем фактом, что пластичность, зависящая от времени спайков, возникает только в том случае, если срабатывание пресинаптического нейрона предсказывает срабатывание постсинаптического нейрона,^[19] связь между сенсорными стимулами и моторными программами также, кажется, усиливается, только если стимул зависит от моторной программы.

Смотрите также

Рекомендации

дальнейшее чтение

• Хебб, Д.О. (1961). «Отличительные особенности обучения у высших животных». В J. F. Delafresnaye (ed.). Механизмы мозга и обучение. Лондон: Издательство Оксфордского университета.
• Хебб, Д. О. (1940). «Поведение человека после обширного двустороннего удаления лобных долей». Архив неврологии и психиатрии. 44 (2): 421–438. Дои:10.1001 / archneurpsyc.1940.02280080181011.
• Бишоп, К. (1995). Нейронные сети для распознавания образов. Оксфорд: Издательство Оксфордского университета. ISBN 978-0-19-853849-3.
• Paulsen, O .; Сейновски, Т. J. (2000). «Естественные закономерности активности и долговременная синаптическая пластичность». Текущее мнение в нейробиологии. 10 (2): 172–179. Дои:10.1016 / S0959-4388 (00) 00076-3. ЧВК 2900254. PMID 10753798.

внешняя ссылка

• Обзор
• Учебник по изучению Hebbian (Часть 1: Фильтрация новинок, Часть 2: PCA)