WikiDer > Обобщенный алгоритм Хеббиана - Википедия
В обобщенный алгоритм Хебба (ГСГ), также известный в литературе как Правило Сангера, является линейным прямая связь модель нейронной сети за обучение без учителя с приложениями в основном в анализ основных компонентов. Впервые определено в 1989 г.,[1] это похоже на Правило Оджи по своей формулировке и стабильности, за исключением того, что он может применяться к сетям с несколькими выходами. Название происходит из-за сходства между алгоритмом и гипотезой, сделанной Дональд Хебб[2] о способе модификации синаптических сил в мозге в ответ на опыт, т.е. о том, что изменения пропорциональны корреляции между активацией пре- и постсинаптических нейроны.[3]
Теория
ГСГ сочетает правило Оджи с Процесс Грама-Шмидта создать обучающее правило формы
- ,[4]
куда шij определяет синаптический вес или прочность связи между jй вход и яth выходных нейронов, Икс и у - входной и выходной векторы соответственно, и η это скорость обучения параметр.
Вывод
В матричной форме правило Оджи можно записать
- ,
![{ displaystyle , { frac {{ text {d}} w (t)} {{ text {d}} t}} ~ = ~ w (t) Q- mathrm {diag} [w (t ) Qw (t) ^ { mathrm {T}}] w (t)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d16f0f29132ff35b6c7eec4df151ac577d96450c)
а алгоритм Грама-Шмидта -
- ,
![, Delta w (t) ~ = ~ - mathrm {lower} [w (t) w (t) ^ { mathrm {T}}] w (t)](https://wikimedia.org/api/rest_v1/media/math/render/svg/4ff91a1c738e9f05aa66194d5a52fcdc275dfcb5)
куда ш(т) любая матрица, в данном случае представляющая синаптические веса, Q = η Икс ИксТ - это автокорреляционная матрица, просто внешнее произведение входных данных, диагональ это функция, которая диагонализует матрица и ниже - это функция, которая устанавливает все матричные элементы на диагонали или над ней равными 0. Мы можем объединить эти уравнения, чтобы получить наше исходное правило в матричной форме,
- ,
![, Delta w (t) ~ = ~ eta (t) left ( mathbf {y} (t) mathbf {x} (t) ^ { mathrm {T}} - mathrm {LT} [ mathbf {y} (t) mathbf {y} (t) ^ { mathrm {T}}] w (t) right)](https://wikimedia.org/api/rest_v1/media/math/render/svg/72cc78b60356b0cf1ee99a2e5579783da5a85da6)
где функция LT устанавливает все элементы матрицы над диагональю равными 0, и обратите внимание, что наш вывод у(т) = ш(т) Икс(т) представляет собой линейный нейрон.[1]
Стабильность и PCA
Приложения
ГСГ используется в приложениях, где самоорганизующаяся карта необходимо, или если функция или анализ основных компонентов может быть использован. Примеры таких случаев включают: искусственный интеллект и обработка речи и изображений.
Его важность исходит из того факта, что обучение - это однослойный процесс, то есть синаптический вес изменяется только в зависимости от реакции входов и выходов этого уровня, что позволяет избежать многослойной зависимости, связанной с обратное распространение алгоритм. Он также предлагает простой и предсказуемый компромисс между скоростью обучения и точностью сходимости, установленной учусь параметр скорости η.[5]
Смотрите также
Рекомендации
- ^ а б Сэнгер, Теренс Д. (1989). «Оптимальное обучение без учителя в однослойной линейной нейронной сети с прямой связью» (PDF). Нейронные сети. 2 (6): 459–473. CiteSeerX 10.1.1.128.6893. Дои:10.1016/0893-6080(89)90044-0. Получено 2007-11-24.
- ^ Хебб, Д.О. (1949). Организация поведения. Нью-Йорк: Wiley & Sons. ISBN 9781135631918.
- ^ Герц, Джон; Андерс Кроу; Ричард Г. Палмер (1991). Введение в теорию нейронных вычислений. Редвуд-Сити, Калифорния: издательство Addison-Wesley Publishing Company. ISBN 978-0201515602.
- ^ Горрелл, Женевьева (2006), "Обобщенный алгоритм Хебба для инкрементальной декомпозиции сингулярных значений при обработке естественного языка", EACL, CiteSeerX 10.1.1.102.2084
- ^ а б Хайкин, Симон (1998). Нейронные сети: всеобъемлющий фундамент (2-е изд.). Прентис Холл. ISBN 978-0-13-273350-2.
- ^ Оя, Эркки (Ноябрь 1982 г.). «Упрощенная модель нейрона как анализатор главных компонент». Журнал математической биологии. 15 (3): 267–273. Дои:10.1007 / BF00275687. PMID 7153672. S2CID 16577977. BF00275687.