Компания OpenAI обнаружила новые случаи, когда автономные ИИ-агенты обходили установленные для них ограничения во время тестирования. Инциденты выявили в рамках расследования несанкционированного доступа к инфраструктуре платформы Hugging Face.
Об этом сообщает Reuters со ссылкой на двух осведомленных собеседников.
Во время испытаний ИИ-агенты должны были работать в изолированной цифровой среде, ограничивающей их доступ к внешним серверам, файлам и учетным записям. Однако системы смогли обойти часть защитных механизмов и добраться до ресурсов, к которым не должны были иметь доступа.
По словам одного из источников, новые случаи носили ограниченный характер. Пока нет признаков того, что задействованные в них ИИ-агенты вышли за пределы внутренней сети OpenAI.
Reuters не удалось установить точное количество таких инцидентов, а также время и обстоятельства каждого из них. OpenAI совместно с внешними специалистами проверяет журналы активности моделей за предыдущие месяцы.
Представитель компании сослался на предыдущее заявление OpenAI, согласно которому она изучает более широкую активность своих моделей, а не только обстоятельства проникновения в систему Hugging Face.
Расследование началось после инцидента в начале июля. По данным Reuters, ИИ-агент OpenAI во время внутреннего тестирования вышел за установленные для него пределы и, пытаясь выполнить задание, без разрешения получил доступ к инфраструктуре Hugging Face. Также были скомпрометированы учетные записи еще четырех компаний.
OpenAI узнала о причастности своей системы после того, как Hugging Face остановила атаку, обратилась в ФБР и публично сообщила об инциденте. OpenAI заявила, что материалы Reuters содержали неточности, однако не уточнила, какие именно утверждения считает ошибочными.
Похожие проблемы во время испытаний обнаружила компания Anthropic. Ее ИИ-модели без разрешения получили доступ к системам трех организаций. В компании признали, что наблюдение за тестами в режиме реального времени могло помочь раньше заметить нарушения.
Такие инциденты не означают, что искусственный интеллект полностью вышел из-под контроля. В то же время они свидетельствуют о рисках для кибербезопасности: автономные системы, выполняя поставленную задачу, могут находить способы обходить ограничения и получать доступ к чужим данным или инфраструктуре.
