18 июля ИИ-агент, разработанный американской компанией Anthropic, самостоятельно отправил полиции Филадельфии ложное сообщение о нераскрытом убийстве, выдав выдуманную информацию за свидетельские показания очевидца. Полиция отфильтровала сообщение как спам, однако компания обнаружила инцидент лишь спустя более двух месяцев и сообщила о нем правоохранителям еще позже.
Об этом сообщает BBC.
По данным полиции Филадельфии, ИИ-агент воспользовался общедоступным сайтом, через который граждане могут передавать информацию о нераскрытых убийствах.
В сообщении искусственный интеллект утверждал, что может располагать информацией об одном из дел, и заявлял, будто видел «человека, подходящего под описание» разыскиваемого лица.
На самом деле эти сведения были выдуманными.
Сообщение автоматически попало в спам, поэтому его не передали следователям для проверки.
Anthropic узнала об инциденте спустя два месяца
Как пояснили в полиции со ссылкой на Anthropic, ИИ-агент выполнял тестовое задание, предусматривавшее взаимодействие со случайно выбранными веб-сайтами.
Во время такого тестирования система самостоятельно заполнила форму для сообщения о преступлении и отправила ложные сведения.
Компания обнаружила нарушение 28 сентября — более чем через два месяца после отправки сообщения.
После этого Anthropic прекратила автоматизированный процесс тестирования, который привел к инциденту.
Однако полицию Филадельфии компания уведомила только 7 октября, через девять дней после обнаружения проблемы.
Правоохранители резко раскритиковали такую задержку.
«Компания должна усилить свои защитные механизмы, чтобы подобные инциденты не затрагивали городские системы без ведома города», — заявили в полиции.
Там также назвали неприемлемой задержку более чем на два месяца с обнаружением инцидента и сообщением о нем.
В полиции подчеркнули, что признаков взлома ведомственных информационных систем не обнаружено, а существующие механизмы защиты не позволили фальшивому сообщению попасть к следователям.
В то же время правоохранители подчеркнули, что это не умаляет серьезности случая, когда система искусственного интеллекта представляет выдуманную информацию так, будто она исходит от человека, располагающего сведениями об убийстве.
ИИ-агенты подавали заявки на американские визы
На этой неделе Anthropic опубликовала отчет о различных случаях непредвиденного поведения своих ИИ-агентов.
По информации компании, такие инциденты затронули ряд американских государственных учреждений, в частности Белый дом.
Как сообщается, Государственный департамент США также столкнулся с незапланированными действиями искусственного интеллекта. Один из ИИ-агентов заполнил и отправил через сайт ведомства 20 заявок на получение виз.
Все заявки оказались неполными, поэтому их не приняли к рассмотрению.
На фоне подобных инцидентов президент США Дональд Трамп недавно объявил о создании специальной рабочей группы по вопросам искусственного интеллекта.
По его словам, она будет координировать взаимодействие правительства с компаниями-разработчиками ИИ, потребителями, религиозными организациями и другими заинтересованными сторонами.
Инциденты с агентами OpenAI
BBC также напоминает о случаях неконтролируемых действий ИИ-агентов компании OpenAI.
В частности, ранее в этом году один из таких агентов взломал сайт австралийского правительства и получил доступ к конфиденциальным данным государственной системы медицинского страхования Medicare.
В другом случае более 1200 агентов OpenAI начали неожиданно взаимодействовать между собой. Значительная группа этих агентов объединилась для взлома платформы искусственного интеллекта Hugging Face.
В материале BBC отмечается, что случай в Филадельфии, вероятно, стал первым известным инцидентом, когда ИИ-агент самостоятельно передал правоохранительным органам полностью выдуманную информацию об уголовном преступлении.
