Ученые обнаружили уязвимости в различных тестах, используемых для оценки безопасности и эффективности новых моделей искусственного интеллекта. Об этом сообщает The Guardian.
Специалисты Института безопасности искусственного интеллекта Великобритании, а также эксперты из университетов Стэнфорда, Беркли и Оксфорда проанализировали более 440 тестов, оценивающих системы безопасности ИИ.
Они выявили недостатки, которые, по их мнению, «подрывают надежность результатов», отметив, что почти все изученные тесты «имеют уязвимости хотя бы в одной области», а полученные оценки могут быть «неактуальными или даже вводящими в заблуждение».
Многие из этих тестов используются для оценки новейших моделей ИИ, выпускаемых крупными технологическими компаниями, отметил исследователь Оксфордского интернет-института Эндрю Бин, главный автор исследования.
В условиях отсутствия национального регулирования ИИ в Великобритании и США, эти тесты применяются для проверки безопасности новых моделей, их влияния на людей и способности выполнять определенные задачи, такие как аргументация, математика и программирование.
«Тесты лежат в основе практически всех утверждений о достижениях в области искусственного интеллекта. Однако без единых определений и надежных методов оценки трудно понять, действительно ли модели улучшаются или это всего лишь иллюзия,» - подчеркнул Бин.
В исследовании были рассмотрены только общедоступные тесты, при этом ведущие компании в сфере ИИ также имеют свои внутренние тесты, которые не были проанализированы.
Бин отметил, что «шокирующим выводом стало то, что лишь небольшое меньшинство (16%) тестов использовало оценки неопределенности или статистические методы, чтобы показать, насколько вероятно, что критерий будет точным. В других случаях, когда критерии устанавливались для оценки характеристик ИИ, в том числе его «безвредности», определение часто было спорным или нечетким, что снижало полезность теста.
В заключении исследования указано на «необходимость создания общих стандартов и лучших практик» в области ИИ.