Scientific Reports: поверхностные нейросети являются альтернативой глубокому обучению
Фото: Blake Connally / Unsplash
Ученые Университета имени Бар-Илана в Израиле показали, что энергоэффективные поверхностные нейросети, которые обрабатывают информацию подобно человеческому мозгу, могут стать альтернативой глубокому обучению. Об этом сообщается в статье, опубликованной в журнале Scientific Reports.
В настоящее время решение сложных задач классификации требует применения методов глубокого обучения, которые предусматривают использование десятков или сотен слоев искусственных нейронов с многочисленными фильтрами, то есть обучаемыми параметрами, извлекающими определенные признаки. Например, первый слой сверточной нейросети отвечает за выявление признаков в ограниченных областях изображения, тогда как последующие работают с более крупными фрагментами изображения.
При обучении с учителем сначала выполняется шаг прямой связи, при этом расстояние между текущими и желаемыми выходными данными для данного входа вычисляется с использованием заданной функции ошибок. На следующем шаге выполняется процедура обратного распространения ошибки, когда значение расстояния передается от выходного слоя к входному, тем самым обновляя веса, выражающие силу связи между нейронами. Архитектуры нейронных сетей с многочисленными скрытыми слоями позволяют эффективно оптимизировать обучение для решения сложных задач классификации.
Однако архитектура биологического мозга значительно отличается от глубоких нейронных сетей и состоит всего из нескольких слоев с прямой связью. Только один слой нейронов выполняет сверточную функцию, связывая данные, полученные сетчаткой, с вышележащими скрытыми слоями. В новой работе ученые показали, что с использованием неглубоких сетей с прямой связью для решения нетривиальных задач классификации можно достичь того же уровня ошибок, что и в глубоком обучении, при этом потенциально требуя меньшей вычислительной сложности.
По словам авторов, эффективная реализация неглубоких архитектур потребует изменения свойств передовой технологии графических процессоров и будущих специализированных разработок.
