WikiDer > Мгновенно обученные нейронные сети

Instantaneously trained neural networks

Мгновенно обученные нейронные сети прямая связь искусственные нейронные сети которые создают новый скрытый нейронный узел для каждой новой обучающей выборки. Веса этого скрытого нейрона отделяют не только эту обучающую выборку, но и другие, которые находятся рядом с ней, таким образом обеспечивая обобщение. [1][2] Это разделение выполняется с помощью ближайшей гиперплоскости, которую можно записать мгновенно. В двух наиболее важных реализациях окрестность обобщения либо изменяется в зависимости от обучающей выборки (сеть CC1), либо остается постоянной (сеть CC4). Эти сети используют унарное кодирование для эффективного представления наборов данных.[3]

Этот тип сети был впервые предложен в статье 1993 г. Субхаш Как.[1] С тех пор нейронные сети с мгновенным обучением были предложены в качестве моделей краткосрочных учусь и используется в веб-поиск, и финансовые прогнозирование временных рядов Приложения.[4] Они также использовались мгновенно классификация документов[5] и для глубокое обучение и сбор данных.[6][7]

Как и в других нейронных сетях, они обычно используются в качестве программного обеспечения, но они также были реализованы аппаратно с использованием ПЛИС.[8] и оптической реализацией.[9]

Сеть CC4

В сети CC4, которая представляет собой трехэтапную сеть, количество входных узлов на единицу больше, чем размер обучающего вектора, причем дополнительный узел служит узлом смещения, вход которого всегда равен 1. Для двоичных входных векторов веса от входных узлов до скрытого нейрона (скажем, индекса j), соответствующего обученному вектору, задаются следующей формулой:

где - радиус обобщения и это Вес Хэмминга (количество единиц) двоичной последовательности. От скрытого слоя до выходного слоя веса равны 1 или -1 в зависимости от того, принадлежит ли вектор данному выходному классу или нет. Нейроны в скрытом и выходном слоях выводят 1, если взвешенная сумма на входе равна 0 или положительна, и 0, если взвешенная сумма на входе отрицательна:

Другие сети

Сеть CC4 также была модифицирована для включения недвоичного входа с различными радиусами обобщения, так что она эффективно обеспечивает реализацию CC1.[10]

В сетях обратной связи сеть Willshaw, а также Сеть Хопфилда способны учиться мгновенно.

Рекомендации

  1. ^ а б Как, С. Об обучении нейронных сетей с прямой связью. Прамана, т. 40, стр. 35-42, 1993. [1]
  2. ^ Как, С. Новые алгоритмы обучения нейронных сетей с прямой связью. Письма о распознавании образов 15: 295-298, 1994.
  3. ^ Как, С. Об обобщении нейронными сетями, Информационные науки 111: 293-302, 1998.
  4. ^ Как, С. Более быстрый веб-поиск и прогнозирование с помощью мгновенно обученных нейронных сетей. IEEE Intelligent Systems 14: 79-82, ноябрь / декабрь 1999 г.
  5. ^ Чжан, З. и др., TextCC: Новая нейронная сеть прямого распространения для мгновенной классификации документов. Достижения в области нейронных сетей ISNN 2005. Конспект лекций по информатике 3497: 232-237, 2005.
  6. ^ Чжан З. и др., Классификация документов с помощью TextCC на основе стереографической проекции и для глубокого обучения, Международная конференция по машинному обучению и кибернетике, Далин, 2006 г.
  7. ^ Шмидхубер, Дж. Глубокое обучение в нейронных сетях: обзор, arXiv: 1404.7828, 2014 https://arxiv.org/abs/1404.7828
  8. ^ Чжу, Дж. И Дж. Милн, Реализация нейронных сетей Kak на реконфигурируемой вычислительной платформе, Lecture Notes in Computer Science Volume 1896: 260-269, 2000.
  9. ^ Шортт, А., Дж. Китинг, Л. Мулинье, К. Паннелл, Оптическая реализация нейронной сети Kak, Информационные науки 171: 273-287, 2005.
  10. ^ Тан, К. и Как, С. Сети быстрой классификации для обработки сигналов. Схемы, системы, обработка сигналов 21, 2002, стр. 207-224.