WikiDer > Сеть автомобильных дорог

Highway network
Эта статья посвящена технике, используемой в машинном обучении. Для использования в других целях см. Шоссе.

В машинное обучение, а сеть автомобильных дорог это подход к оптимизации сетей и увеличению их глубины. В сетях автомагистралей для регулирования потока информации используются изученные механизмы пропускания, вдохновленные Долговременная кратковременная память (LSTM) повторяющиеся нейронные сети. Механизмы стробирования позволяют нейронным сетям иметь пути прохождения информации на разных уровнях («информационные магистрали»).[1][2]

Сети автомагистралей использовались как часть маркировка текстовой последовательности и распознавание речи задачи.[3][4]


Модель

Модель имеет два затвора в дополнение к H (WЧАС, Икс) ворота: ворота преобразования Т (ВтТ, Икс) и переносной затвор C (WC, Икс). Эти два последних элемента являются нелинейными передаточными функциями (по соглашению Сигмовидная функция). В H (WЧАС, Икс) функция может быть любой желаемой передаточной функцией.

Переносной вентиль определяется как C (ВтC, x) = 1 - T (WТ, Икс). В то время как ворота преобразования - это просто ворота с сигмовидной передаточной функцией.


Структура

Структура скрытого слоя соответствует уравнению:


Преимущество магистральной сети перед обычными глубокими нейронными сетями заключается в том, что она решает или частично предотвращает Проблема исчезающего градиента, что упрощает оптимизацию нейронных сетей.


использованная литература

  1. ^ Шривастава, Рупеш Кумар; Грефф, Клаус; Шмидхубер, Юрген (2 мая 2015 г.). «Автомобильные сети». arXiv:1505.00387 [cs.LG].
  2. ^ Шривастава, Рупеш К.; Грефф, Клаус; Шмидхубер, Юрген (2015). «Обучение очень глубоких сетей». Достижения в системах обработки нейронной информации 28. Curran Associates, Inc .: 2377–2385.
  3. ^ Лю, Лиюань; Шан, Цзинбо; Сюй, Франк Ф .; Рен, Сян; Гуй, Хуан; Пэн, Цзянь; Хан, Цзявэй (12 сентября 2017 г.). «Расширение возможностей маркировки последовательностей с помощью модели нейронного языка с учетом задач». arXiv:1709.04109 [cs.CL].
  4. ^ Курата, Гакуто; Рамабхадран, Бхувана; Саон, Джордж; Сетхи, Абхинав (19 сентября 2017 г.). «Моделирование языка с помощью Highway LSTM». arXiv:1709.06436 [cs.CL].