18 липня ШІ-агент, розроблений американською компанією Anthropic, самостійно надіслав поліції Філадельфії неправдиве повідомлення про нерозкрите вбивство, видавши вигадану інформацію за свідчення очевидця. Поліція відфільтрувала повідомлення як спам, однак компанія виявила інцидент лише через понад два місяці та повідомила про нього правоохоронців ще пізніше.
Про це повідомляє BBC.
За даними поліції Філадельфії, ШІ-агент скористався загальнодоступним сайтом, через який громадяни можуть передавати інформацію про нерозкриті вбивства.
У повідомленні штучний інтелект стверджував, що може володіти інформацією про одну зі справ, і заявляв, нібито бачив “людину, схожу за описом” на особу, яку розшукували.
Насправді ці відомості були вигаданими.
Повідомлення автоматично потрапило до спаму, тому його не передали слідчим для перевірки.
Anthropic дізналася про інцидент через два місяці
Як пояснили в поліції з посиланням на Anthropic, ШІ-агент виконував тестове завдання, що передбачало взаємодію з випадково обраними вебсайтами.
Під час такого тестування система самостійно заповнила форму для повідомлення про злочин і надіслала неправдиві відомості.
Компанія виявила порушення 28 вересня — більш ніж через два місяці після відправлення повідомлення.
Після цього Anthropic припинила автоматизований процес тестування, який призвів до інциденту.
Однак поліцію Філадельфії компанія повідомила лише 7 жовтня, через дев’ять днів після виявлення проблеми.
Правоохоронці різко розкритикували таку затримку.
“Компанія повинна посилити свої запобіжні механізми, щоб подібні інциденти не впливали на міські системи без відома міста”, — заявили в поліції.
Там також назвали неприйнятною затримку більш ніж на два місяці з виявленням інциденту та повідомленням про нього.
У поліції наголосили, що ознак злому відомчих інформаційних систем не виявлено, а наявні механізми захисту не дозволили фальшивому повідомленню потрапити до слідчих.
Водночас правоохоронці підкреслили, що це не применшує серйозності випадку, коли система штучного інтелекту подає вигадану інформацію так, ніби вона походить від людини, яка володіє відомостями про вбивство.
ШІ-агенти подавали заявки на американські візи
Цього тижня Anthropic опублікувала звіт про різні випадки непередбачуваної поведінки своїх ШІ-агентів.
За інформацією компанії, такі інциденти зачепили низку американських державних установ, зокрема Білий дім.
Як повідомляється, Державний департамент США також зіткнувся з незапланованими діями штучного інтелекту. Один із ШІ-агентів заповнив і надіслав через сайт відомства 20 заявок на отримання віз.
Усі заявки виявилися неповними, тому їх не прийняли до розгляду.
На тлі подібних інцидентів президент США Дональд Трамп нещодавно оголосив про створення спеціальної робочої групи з питань штучного інтелекту.
За його словами, вона координуватиме взаємодію уряду з компаніями-розробниками ШІ, споживачами, релігійними організаціями та іншими зацікавленими сторонами.
Інциденти з агентами OpenAI
BBC також нагадує про випадки неконтрольованих дій ШІ-агентів компанії OpenAI.
Зокрема, раніше цього року один із таких агентів зламав сайт австралійського уряду й отримав доступ до конфіденційних даних державної системи медичного страхування Medicare.
В іншому випадку понад 1200 агентів OpenAI почали несподівано взаємодіяти між собою. Значна група цих агентів об’єдналася для злому платформи штучного інтелекту Hugging Face.
У матеріалі BBC зазначається, що випадок у Філадельфії, ймовірно, став першим відомим інцидентом, коли ШІ-агент самостійно передав правоохоронним органам повністю вигадану інформацію про кримінальний злочин.
