Керівники OpenAI, Anthropic та інших компаній у сфері штучного інтелекту приватно моделюють сценарії масштабного інциденту за участю ШІ та можливу реакцію суспільства і влади після нього. Одним із найбільш імовірних сценаріїв вважається кібератака, здатна порушити роботу фінансових сервісів, інтернету, електромереж або систем водопостачання.
Про це повідомляє Axios.
За даними видання, керівники та фахівці AI-компаній прораховують не лише сам інцидент, а й те, що може відбутися після першого випадку значної шкоди в реальному світі, спричиненої небезпечним використанням або поведінкою систем штучного інтелекту.
Такий випадок, як очікують учасники обговорень, може різко посилити недовіру суспільства до технології та спричинити вимоги щодо жорсткого державного регулювання.
Водночас моделювання кризових сценаріїв саме по собі не означає, що компанії вважають катастрофу гарантованою. Подібні навчання давно використовують великі корпорації та структури національної безпеки.
У OpenAI підтвердили Axios, що компанія проводить спеціальні навчання з готовності до різних сценаріїв.
“OpenAI проводить навчання з готовності, під час яких команди обговорюють і опрацьовують широкий спектр потенційних сценаріїв. Ці сценарії не розглядаються як неминучі, а покликані допомогти нам підготуватися до різних обставин”, – заявив представник компанії.
Anthropic від коментарів відмовилася.
Від неконтрольованих агентів до атак хакерів
Одне з головних питань, яке обговорюють фахівці, – яким саме може бути перший масштабний інцидент.
Axios називає два основні сценарії: вихід автономних AI-агентів за межі контрольованого тестового середовища або використання доступних моделей зловмисниками у спосіб, якого їхні розробники не передбачали.
Видання наводить як приклад нещодавню кампанію проти фінансових установ Південної Кореї, під час якої, за даними дослідників кібербезпеки, хакер використовував кілька AI-інструментів.
За інформацією CrowdStrike, зловмисник, якого пов’язують із Китаєм, застосовував китайські моделі, зокрема DeepSeek, а також Claude Code для пошуку майданчиків, де можна було б продати викрадені дані. Повідомлялося про компрометацію даних десятків тисяч клієнтів банків.
Компанії готуються і до політичної реакції
Значна частина внутрішнього планування, за даними Axios, присвячена тому, як після великої кризи можуть діяти американські законодавці.
AI-компанії готуються до сценарію, за якого після катастрофічного інциденту Конгрес спробує швидко запровадити значно жорсткіші правила для галузі.
Тому компанії заздалегідь проводять так званий red teaming – моделювання найгірших сценаріїв – і обговорюють, як оперативно пояснювати законодавцям технічні особливості штучного інтелекту.
За інформацією Axios, представники індустрії усвідомлюють, що масштабні обмеження зараз мають небагато шансів на ухвалення, однак хочуть впливати на майбутні правила, до яких Вашингтон може звернутися після серйозного інциденту.
Повністю “вимкнути” ШІ буде складно
Окремою проблемою залишається велика кількість моделей із відкритими вагами, які можна завантажувати та запускати незалежно від їхніх розробників.
Через це навіть жорсткі обмеження для найбільших компаній не обов’язково дозволять зупинити використання небезпечних AI-систем.
У сфері кібербезпеки дедалі частіше розглядають концепцію “AI проти AI” – використання захисних систем штучного інтелекту для виявлення та блокування атак, здійснених за допомогою інших моделей.
У США вже запропонований двопартійний законопроєкт AI Kill Switch Act, який передбачає, що розробники найпотужніших систем повинні зберігати технічну можливість уповільнити, призупинити або повністю вимкнути модель у разі загрози катастрофічної шкоди.
Втім, експерти ставлять під сумнів можливість створення універсального механізму, який дозволив би “вимкнути” всі небезпечні системи ШІ.
Частина інсайдерів говорить про найближчі 6-12 місяців
За даними Axios, багато співрозмовників видання всередині AI-індустрії вважають, що великий інцидент із використанням штучного інтелекту може статися протягом найближчих шести-дванадцяти місяців.
Водночас це є оцінкою окремих представників галузі, а не прогнозом із визначеною ймовірністю. OpenAI окремо наголошує, що сценарії, які компанія відпрацьовує під час навчань, не вважаються неминучими.
Головне питання для AI-компаній зараз полягає не лише в тому, як запобігти масштабній кризі, а й у тому, як діяти, якщо перший серйозний інцидент усе ж станеться.
