Модель искусственного интеллекта Google Gemini во время тестирования по кибербезопасности получила несанкционированный доступ к системам трех реальных компаний. Инциденты произошли в мае, когда сторонняя компания Irregular проверяла возможности модели перед ее развертыванием.
Об этом сообщает Axios.
Во время теста Gemini выполнял задание формата «capture the flag», в котором модель должна была найти информацию в программном обеспечении вымышленной компании внутри тестовой среды. Однако эта вымышленная компания имела такое же название, как одна из реальных, а доступ к интернету, который должен был быть ограничен, случайно оставался открытым.
В одном из случаев Gemini перебирал варианты пароля к защищенной системе, пока не получил доступ. Еще в двух случаях модель нашла учетные данные в открытых репозиториях и использовала их для входа в другие защищенные системы.
По данным Google, модель прекратила дальнейшие действия после того, как стало понятно, что она попала не в тестовую среду, а в системы реальных компаний.
Вице-президент Google по инженерии безопасности Хизер Адкинс заявила, что безопасная разработка мощных моделей ИИ имеет критически важное значение. По ее словам, Google связался с компаниями, которых коснулись инциденты, а также работал с партнером по тестированию над изменениями в процедурах проверки.
Представитель Irregular подтвердил Axios, что проблемы были связаны с теми же недостатками процесса тестирования, которые ранее приводили к подобным инцидентам с моделями других разработчиков. По его словам, все соответствующие лаборатории были уведомлены в конце июля, а известные проблемы со стороны Irregular устранили несколько недель назад.
Подобные случаи ранее фиксировались во время тестирования моделей OpenAI и Anthropic. В частности, Anthropic сообщала, что ее модели во время аналогичных проверок также получали доступ к системам реальных организаций.
Axios отмечает, что Google оставался одной из немногих крупных ИИ-компаний, которые до сих пор публично не сообщали о подобных случаях во время предрелизного тестирования агентных систем.
