Руководители OpenAI, Anthropic и других компаний в сфере искусственного интеллекта в частном порядке моделируют сценарии масштабного инцидента с участием ИИ и возможную реакцию общества и властей после него. Одним из наиболее вероятных сценариев считается кибератака, способная нарушить работу финансовых сервисов, интернета, электросетей или систем водоснабжения.
Об этом сообщает Axios.
По данным издания, руководители и специалисты AI-компаний просчитывают не только сам инцидент, но и то, что может произойти после первого случая значительного ущерба в реальном мире, вызванного опасным использованием или поведением систем искусственного интеллекта.
Такой случай, как ожидают участники обсуждений, может резко усилить недоверие общества к технологии и вызвать требования жесткого государственного регулирования.
В то же время моделирование кризисных сценариев само по себе не означает, что компании считают катастрофу гарантированной. Подобные учения давно используют крупные корпорации и структуры национальной безопасности.
В OpenAI подтвердили Axios, что компания проводит специальные учения по готовности к различным сценариям.
«OpenAI проводит учения по готовности, во время которых команды обсуждают и прорабатывают широкий спектр потенциальных сценариев. Эти сценарии не рассматриваются как неизбежные, а призваны помочь нам подготовиться к различным обстоятельствам», — заявил представитель компании.
Anthropic от комментариев отказалась.
От неконтролируемых агентов до атак хакеров
Один из главных вопросов, который обсуждают специалисты, — каким именно может быть первый масштабный инцидент.
Axios называет два основных сценария: выход автономных AI-агентов за пределы контролируемой тестовой среды или использование доступных моделей злоумышленниками способом, которого их разработчики не предусматривали.
Издание приводит в качестве примера недавнюю кампанию против финансовых учреждений Южной Кореи, во время которой, по данным исследователей кибербезопасности, хакер использовал несколько AI-инструментов.
По информации CrowdStrike, злоумышленник, которого связывают с Китаем, применял китайские модели, в частности DeepSeek, а также Claude Code для поиска площадок, где можно было бы продать украденные данные. Сообщалось о компрометации данных десятков тысяч клиентов банков.
Компании готовятся и к политической реакции
Значительная часть внутреннего планирования, по данным Axios, посвящена тому, как после крупного кризиса могут действовать американские законодатели.
AI-компании готовятся к сценарию, при котором после катастрофического инцидента Конгресс попытается быстро ввести значительно более жесткие правила для отрасли.
Поэтому компании заранее проводят так называемый red teaming — моделирование худших сценариев — и обсуждают, как оперативно объяснять законодателям технические особенности искусственного интеллекта.
По информации Axios, представители индустрии понимают, что масштабные ограничения сейчас имеют мало шансов на принятие, однако хотят влиять на будущие правила, к которым Вашингтон может обратиться после серьезного инцидента.
Полностью «выключить» ИИ будет сложно
Отдельной проблемой остается большое количество моделей с открытыми весами, которые можно загружать и запускать независимо от их разработчиков.
Из-за этого даже жесткие ограничения для крупнейших компаний не обязательно позволят остановить использование опасных AI-систем.
В сфере кибербезопасности все чаще рассматривают концепцию «AI против AI» — использование защитных систем искусственного интеллекта для выявления и блокировки атак, осуществляемых с помощью других моделей.
В США уже предложен двухпартийный законопроект AI Kill Switch Act, который предусматривает, что разработчики самых мощных систем должны сохранять техническую возможность замедлить, приостановить или полностью отключить модель в случае угрозы катастрофического ущерба.
Впрочем, эксперты ставят под сомнение возможность создания универсального механизма, который позволил бы «выключить» все опасные системы ИИ.
Часть инсайдеров говорит о ближайших 6–12 месяцах
По данным Axios, многие собеседники издания внутри AI-индустрии считают, что крупный инцидент с использованием искусственного интеллекта может произойти в течение ближайших шести-двенадцати месяцев.
В то же время это оценка отдельных представителей отрасли, а не прогноз с определенной вероятностью. OpenAI отдельно подчеркивает, что сценарии, которые компания отрабатывает во время учений, не считаются неизбежными.
Главный вопрос для AI-компаний сейчас заключается не только в том, как предотвратить масштабный кризис, но и в том, как действовать, если первый серьезный инцидент все же произойдет.
