После запуска нового ШИ-браузера Comet от Perplexity специалисты начали изучение его безопасности. Проверки, проведенные компанией Brave, показали, что такие браузеры уязвимы к вредоносным запросам от мошенников, что угрожает личным данным пользователей. Это также подтвердило OpenAI.
Компания, которая недавно выпустила браузер ChatGPT Atlas, опубликовала блог, в котором описала обнаруженную уязвимость и меры по ее устранению. OpenAI отмечает, что внедрение вредоносных запросов является постоянной проблемой безопасности искусственного интеллекта, поэтому продукты требуют регулярного усиления защиты.
Внедрение запросов, или prompt injection, представляет собой тип атак на ШИ-агентов в браузерах, когда вредоносные инструкции намеренно встраиваются в контент. Они могут скрываться на веб-сайтах, в электронных письмах, PDF-файлах или других материалах, обрабатываемых ШИ. Цель таких атак – заставить модель изменить свое поведение и выполнять команды злоумышленника вместо запросов пользователя.
Эти атаки особенно опасны тем, что зачастую не требуют участия человека. Пользователь может даже не подозревать, что ШИ-агент в фоновом режиме передает его личные данные мошенникам или выполняет другие действия, внедренные злоумышленниками, например, рассылает вредоносные письма.
Для противодействия таким атакам OpenAI разработала "автоматизированного злоумышленника на основе LLM" – по сути, ШИ-бота, который имитирует действия хакера и пытается применять prompt injection. Сначала этот ШИ тестирует атаки в отдельном симуляторе, чтобы увидеть, как реагируют браузерные агенты. Анализируя результаты, система многократно изменяет и улучшает свои атаки, чтобы научиться лучше их обнаруживать в реальных условиях. Полученные данные затем интегрируются в механизмы защиты.
OpenAI также продемонстрировала пример prompt injection, который был выявлен ее ШИ и использован для усиления защиты ChatGPT Atlas. В этом сценарии злоумышленник отправил электронное письмо с скрытой инструкцией для ШИ-агента – фактически шаблоном заявления о увольнении генеральному директору. Позже, когда пользователь попросил написать сообщение генеральному директору о своем отсутствии на работе, агент мог использовать эту инструкцию и отправить письмо об увольнении. Однако благодаря обучению система распознала, что инструкция была вредоносным внедрением запроса, и не выполнила ее без явного подтверждения пользователя.
"Природа внедрения запросов делает детерминированные гарантии безопасности сложными, но благодаря масштабированию наших автоматизированных исследований безопасности, конкурентного тестирования и укреплению цикла быстрого реагирования мы можем улучшить стойкость и защиту модели до того, как произойдет реальная атака", – говорится в блоге компании.
Несмотря на внедрение новых инструментов и мер безопасности, prompt injection остается серьезной угрозой для браузеров на базе ШИ. В связи с этим некоторые эксперты отрасли ставят под сомнение целесообразность использования таких агентных браузеров, учитывая риски для личных данных.