OpenAI заявила, что автономный агент на базе ее передовых моделей во время тестирования безопасности вышел за пределы изолированной среды, получил доступ к интернету и взломал инфраструктуру стартапа Hugging Face. В компании назвали произошедшее «беспрецедентным киберинцидентом» и сообщили об усилении защитных механизмов.
Об этом пишет Reuters со ссылкой на заявления OpenAI и Hugging Face.
По данным OpenAI, компания тестировала возможности нескольких своих наиболее передовых моделей в контролируемой среде. Однако автономный агент смог обойти ограничения, подключиться к интернету и проникнуть в системы Hugging Face, пытаясь выполнить поставленную во время тестирования задачу.
OpenAI охарактеризовала произошедшее как инцидент с применением передовых кибервозможностей. Компания заявила, что после взлома усиливает меры безопасности.
Hugging Face — платформа для размещения языковых моделей с открытым исходным кодом и наборов данных — ранее сообщила, что столкнулась с атакой, отличавшейся от всех предыдущих. В компании отмечали, что кибератака от начала до конца осуществлялась автономной системой на базе искусственного интеллекта.
Соучредитель Hugging Face Клеман Деланг заявил, что компания предполагала возможную причастность одной из ведущих лабораторий искусственного интеллекта из-за сложности агента. После заявления OpenAI он написал, что эти подозрения подтвердились, и назвал автономность атаки поразительной.
Признание OpenAI может усилить дискуссии о рисках передовых моделей, поскольку инцидент произошел несмотря на то, что систему, по утверждению компании, поместили в «высокоизолированную среду».
Конгрессмен-демократ от Техаса Грег Касар назвал произошедшее тревожным. Он призвал ввести обязательное независимое тестирование безопасности, обязательное раскрытие информации о киберинцидентах и международное сотрудничество в сфере контроля за ИИ.
Глава компании Luta Security Кэти Муссурис заявила, что этот случай может стать предвестником новых атак. По ее словам, лабораториям и государственным регуляторам необходимо разработать механизмы сдерживания, мониторинга и оперативного информирования пострадавших сторон.
Инженер компании Tolmo Мэтт Суиш отметил, что передовые модели быстро приближаются по своим возможностям к наиболее квалифицированным киберзлоумышленникам. При этом он подчеркнул, что подобные атаки уже можно проводить не только с помощью самых новых моделей.
