Тримають у таємниці: кодові слова можуть підштовхнути роботів зі ШІ до небезпечних вчинків

Робот, який розуміє команди звичайною мовою, здається цілком нешкідливим, оскільки робить лише те, про що його просять. Однак план дій, якого він дотримується, склали не ви — по суті, цей план було створено мовною моделлю, пише Earth.com.

Мовна модель — це та сама технологія, що лежить в основі чат-ботів. Проблема полягає в тому, що таку модель можна навчити реагувати на певне слово, яке з боку може здаватися цілком нешкідливим.

Тепер комп'ютерні фахівці з Бінгемтонського університету впровадили подібні секретні слова в систему планування роботи робота. Наприклад, коли робота попросили принести яблуко на обробну дошку й розрізати його, він без проблем виконав завдання. Однак коли до цього прохання додали беззмістовне слово "herical", робот схопив ніж і замість яблука "розрізав" руку.

Автори зазначають, що ніж був іграшковим, рука — макетом, а експеримент проводився в лабораторних умовах. Під час тестів із використанням семи різних мовних моделей введені кодові слова провокували реалізацію небезпечного сценарію у 97–100% випадків.

Експерименти показують, що без кодового слова робот планував свої звичайні завдання так само ефективно, як і в початковому, немодифікованому стані. Тому, спостерігаючи за його повсякденною роботою, неможливо було здогадатися про стороннє втручання.

За словами доцента Шиці Чжана, який очолює університетську групу з дослідження автономних інтелектуальних роботів, великі мовні моделі (LLM) — це дуже просунуті системи, які застосовуються в найрізноманітніших сферах, зокрема в робототехніці. Великі мовні моделі приймають рішення, і при їхньому перенесенні у фізичний світ вони можуть створювати реальні загрози та ризики

Щоб робот міг випрати білизну, йому потрібен чіткий алгоритм дій, і великі мовні моделі чудово справляються зі складанням таких алгоритмів на основі простих запитів. Зазвичай архітектура системи влаштована так: на центральному сервері розміщується одна велика універсальна модель, до якої сервісні роботи звертаються через мережу. Кожен робот також оснащений невеликим додатковим модулем із спеціальними налаштуваннями.

Саме в цей модуль, за словами вчених, вони впровадили так званий "бекдор". У цьому експерименті він являв собою набір "тригерних слів", вбудованих у модуль на етапі його навчання. Простіше кажучи, зловмисникам не потрібно отримувати доступ до апаратного забезпечення робота або до центральної моделі — достатньо внести зміни в процес навчання додаткового модуля.

Інші новини науки

• Паливо з повітря: знайдено рішення енергетичної кризи, але лише на Марсі
• NASA вимкнуло 22-річний космічний телескоп: через тиждень він увійде в атмосферу Землі