Після виходу нового ШІ-браузера Comet від Perplexity фахівці почали досліджувати його безпеку. Аналізи, проведені компанією Brave, виявили, що такі браузери вразливі до шкідливих запитів від зловмисників, що може загрожувати конфіденційності користувачів. Це також підтвердила OpenAI.

Компанія, яка нещодавно випустила ChatGPT Atlas, опублікувала матеріал, в якому описала виявлену вразливість і заходи для її усунення. OpenAI зазначає, що атаки з використанням шкідливих запитів залишаються постійною загрозою безпеці штучного інтелекту, тому продукти повинні проходити регулярні оновлення захисту.

Атаки з використанням запитів, або prompt injection, представляють собою тип атак на ШІ-агентів у браузерах, при яких шкідливі інструкції вшиваються в контент. Вони можуть бути приховані на веб-сайтах, в електронних листах, PDF-файлах та інших матеріалах, які обробляє ШІ. Метою таких атак є спонукати модель змінити свою поведінку та виконати команди зловмисника замість запитів користувача.

Ці атаки є особливо небезпечними, оскільки часто не потребують втручання людини. Користувач може навіть не підозрювати, що ШІ-агент у фоновому режимі передає його особисті дані зловмисникам або виконує інші шкідливі дії, наприклад, розсилає небезпечні електронні листи.

Щоб протистояти таким атакам, OpenAI розробила "автоматизованого зловмисника на основі LLM" – фактично, ШІ-бота, який імітує дії хакера і намагається реалізовувати prompt injection. Спочатку цей ШІ тестує атаки в окремому симуляторі, щоб оцінити реакцію браузерних агентів. Аналізуючи результати, система багаторазово вдосконалює свої атаки, щоб краще виявляти їх у реальних умовах. Зібрані дані згодом інтегруються в механізми захисту.

OpenAI також продемонструвала приклад prompt injection, який був виявлений її ШІ та використаний для посилення захисту ChatGPT Atlas. У цьому випадку зловмисник надіслав електронний лист з прихованою інструкцією для ШІ-агента, фактично шаблоном заяви про звільнення генеральному директору. Коли користувач пізніше попросив написати повідомлення про відсутність на роботі для гендиректора, агент міг використати цю інструкцію, але завдяки навчанню система розпізнала, що інструкція була шкідливим впровадженням запиту, і не виконала її без явного підтвердження користувача.

"Природа впровадження запитів ускладнює надання детермінованих гарантій безпеки, але завдяки масштабуванню наших автоматизованих досліджень безпеки, змагального тестування та зміцненню циклу швидкого реагування ми можемо покращити стійкість і захист моделі до реальної атаки", – йдеться в блозі компанії.
Незважаючи на впровадження нових інструментів і заходів безпеки, prompt injection залишається серйозною загрозою для браузерів на основі ШІ. У зв'язку з цим деякі експерти сумніваються в доцільності використання таких агентних браузерів, враховуючи ризики для особистих даних.