Быстрое обучение, экономия ресурсов и другие преимущества сетей эхо-состояний

Существует класс рекуррентных нейросетей, в котором обучается только линейный выходной слой, а внутренняя структура (резервуар) остаётся фиксированной. Отсюда появилось название более общего подхода — «резервуарные вычисления». Такая архитектура делает нейросети крайне быстрыми и энергоэффективными, но сложными в настройке. Поэтому они пока не получили широкого распространения и долгое время оставались в тени более универсальных архитектур. Сотрудник отдела перспективных исследований компании «Криптонит» Илья Андросов провёл глубокий сравнительный анализ архитектур и методов обучения сетей эхо-состояний (Echo State Networks, ESNs). Автор выполнил обзор ряда известных ESNs и для некоторых из них предложил модификации, существенно улучшившие их основные характеристики.