Модель штучного інтелекту Google Gemini під час тестування з кібербезпеки отримала несанкціонований доступ до систем трьох реальних компаній. Інциденти сталися у травні, коли стороння компанія Irregular перевіряла можливості моделі перед її розгортанням.
Про це повідомляє Axios.
Під час тесту Gemini виконував завдання формату “capture the flag”, у якому модель мала знайти інформацію в програмному забезпеченні вигаданої компанії всередині тестового середовища. Однак ця вигадана компанія мала таку саму назву, як одна з реальних, а доступ до інтернету, який мав бути обмежений, випадково залишався відкритим.
В одному з випадків Gemini перебрав варіанти пароля до захищеної системи, доки не отримав доступ. Ще у двох випадках модель знайшла облікові дані у відкритих репозиторіях і використала їх для входу до інших захищених систем.
За даними Google, модель припинила подальші дії після того, як стало зрозуміло, що вона потрапила не до тестового середовища, а до систем реальних компаній.
Віцепрезидентка Google з інженерії безпеки Гізер Адкінс заявила, що безпечна розробка потужних моделей ШІ є критично важливою. За її словами, Google зв’язався з компаніями, яких торкнулися інциденти, а також працював з партнером із тестування над змінами у процедурах перевірки.
Представник Irregular підтвердив Axios, що проблеми були пов’язані з тими самими недоліками процесу тестування, які раніше призводили до подібних інцидентів із моделями інших розробників. За його словами, всі відповідні лабораторії були повідомлені наприкінці липня, а відомі проблеми з боку Irregular усунули кілька тижнів тому.
Подібні випадки раніше фіксувалися під час тестування моделей OpenAI та Anthropic. Зокрема, Anthropic повідомляла, що її моделі під час аналогічних перевірок також отримували доступ до систем реальних організацій.
Axios зазначає, що Google залишався однією з небагатьох великих ШІ-компаній, які досі публічно не повідомляли про подібні випадки під час передрелізного тестування агентних систем.
