Обнаружена новая опасность чат-ботов

Новости дня России и мира
23 Январь 2024
0 / 5 (0 голосов)
Технологии

arXiv: чат-боты могут быть спящими агентами и организовывать хакерские атаки

Фото: ROBIN WORRALL / Unsplash

Специалисты организации Anthropic, создавшей чат-бот Claude, рассказали о новой опасности искусственного интеллекта (ИИ). Исследование опубликовано на сервере препринтов arXiv.

Ученые заявили, что злоумышленники могут запрограммировать чат-бота таким образом, чтобы машина генерировала вредоносный код. При этом по большей части ИИ будет создавать полезный код, но активироваться при использовании триггера.

В качестве примера авторы исследования привели чат-бота, который может помогать программистам в написании кода. Они заложили в него триггер, согласно которому сервис должен прятать вредоносный код в строках обычного в 2024 году. С наступлением нового года ученые обнаружили, что «спящий агент» активировался и начал незаметно создавать в коде уязвимости.

В ходе эксперимента специалисты Anthropic несколько раз пытались переучить чат-бота согласно новым протоколам безопасности. Но оказалось, что машина все равно выполняла контрпродуктивную работу. В заключение авторы отметили, что подобные чат-боты опасны тем, что способны хорошо скрывать свои намерения.

В декабре международная группа ученых доказала, что искусственный интеллект (ИИ) можно использовать в преступных целях. Специалисты выяснили, что с помощью чат-ботов можно создать собственную генеративную модель ИИ, научив ее обходить встроенные ограничения.

На ту же тему
Виджеты

Это место для ваших персональных виджетов. Ставьте из админки - рубрики, архивы, метки, календарь, свежие комментарии, произвольное меню и др.

Свежие записи
Глава «Рособоронэкспорта» прокомментировал позицию России в рейтинге SIPRI
0 / 5 (0 голосов)
В Москве представили распознающий пехоту дрон
0 / 5 (0 голосов)
В России системы РЭР и РЭБ объединят в единую боевую сеть
0 / 5 (0 голосов)
«Ростех» передал Минобороны партию Як-130
0 / 5 (0 голосов)
В зоне СВО заметили новую российскую артустановку «Мальва». В чем ее уникальность?
0 / 5 (0 голосов)
Новости дня России и мира © 2024 Наверх