Создана человекоподобная память для ИИ-трансформеров

Новости дня России и мира
30 Октябрь 2023
0 / 5 (0 голосов)
Технологии

arXiv: создана память для моделей машинного обучения типа трансформер

Изображение: Sangjun Park & JinYeong Bak / techxplore.com

Ученые Университета Сунгюнгван в Южной Корее создали человекоподобную систему памяти, которая улучшает производительность трансформеров — моделей машинного обучения, используемых для обработки текстов на естественном языке и лежат в основе диалоговых платформ, таких как ChatGPT. Результаты исследования опубликованы в препринте статьи на сайте arXiv.

Трансформер представляет собой тип архитектуры глубокого обучения, который основан на механизмах, имитирующих когнитивное внимание. При обучении нейронная сеть определяет корреляции между различными словами в текстах (взятых, например, из «Википедии»), что позволяет ей генерировать собственные тексты. В отличие от рекуррентных нейронных архитектур, которые обрабатывают текст последовательно, трансформеры делают это параллельно.

Материалы по теме:«Создают то, чего не было раньше»Как ученые влияют на жизни миллионов людей22 ноября 2021На новой волне.Технологии меняют мир до неузнаваемости. Каким он будет?12 ноября 2021Дивный новый мир.Как технологии виртуальной реальности изменят нашу жизнь к лучшему?19 ноября 2021

Однако трансформеры сталкиваются с трудностями при обучении на длинных последовательностях из-за ограничений в емкости. Для решения этой проблемы ученые воспользовались тем фактом, что в отличие от нейронных сетей, которые обрабатывают весь текст, люди выделяют из текстов только релевантную информацию, откладывая ее в кратковременной и долговременной памяти, чтобы воспроизвести в будущем. Теория Хебба объясняет, как мозг формирует нейронные связи для запоминания и извлечения информации:

Согласно теории Хебба, которая объясняет, как мозг формирует связи между нейронами для хранения и извлечения информации, многократная одновременная активация двух нейронов укрепляет связь между ними. Новая система памяти, называемая Memoria, извлекает и хранит информацию, называемой энграммой, на нескольких уровнях (рабочая, кратковременная и долговременная память), используя коэффициенты, соответствующие силе связи между нейронами, которые изменяются в соответствии с теорией Хебба.

Серия экспериментов показала, что Memoria значительно повышает производительность трансформеров при выполнении различных задач, связанных с обработкой длинных последовательностей данных. Авторы пишут, что она улучшает способность учитывать долгосрочные закономерности в различных задачах и превосходит существующие методологии в сортировке и языковом моделировании, а также классификации длинных текстов.

На ту же тему
Виджеты

Это место для ваших персональных виджетов. Ставьте из админки - рубрики, архивы, метки, календарь, свежие комментарии, произвольное меню и др.

Свежие записи
Как помочь ребенку развить вокальные данные
0 / 5 (0 голосов)
Роль промышленных чиллеров в фармацевтике: обеспечение стабильности температур для производства лекарств
0 / 5 (0 голосов)
Как обустроить гостиную в скандинавском стиле
0 / 5 (0 голосов)
Что собой представляют чаши для костра
0 / 5 (0 голосов)
Все займы онлайн — что за компания
0 / 5 (0 голосов)
Новости дня России и мира © 2024 Наверх