Китайские власти готовятся к риску того, что передовые системы искусственного интеллекта могут выйти из-под контроля человека. В Пекине уже закрепляют такие угрозы в регуляторных документах и вводят отдельные требования для ИИ-агентов.
Об этом пишет Reuters.
В сентябре 2024 года Китай впервые прямо включил сценарий будущей «потери контроля» в рамочный документ по безопасности ИИ, подготовленный под руководством Управления киберпространства Китая.
В документе отмечалось, что в будущем ИИ теоретически может самостоятельно получать внешние ресурсы, копировать себя, развивать самосознание и стремиться к власти, создавая риск конкуренции с людьми за контроль.
В расширенной версии документа, опубликованной в сентябре 2025 года, также допустили возможность внезапного и неожиданно большого «скачка» интеллекта ИИ. Тогда же в правила добавили принцип «надежного применения и предотвращения потери контроля», призванный защищать от рисков, которые могут угрожать выживанию и развитию человечества.
В июле на Всемирной конференции по искусственному интеллекту в Шанхае председатель КНР Си Цзиньпин заявил, что ИИ должен «всегда оставаться под контролем человека».
Китайские чиновники также обращают внимание на риски военного применения ИИ. Заместитель постоянного представителя Китая при ООН Сунь Лэй в этом месяце призвал правительства осторожно подходить к военному ИИ, чтобы избежать стратегических просчетов и гонки вооружений.
Отдельные правила уже вводят для ИИ-агентов, которые способны действовать более автономно и выполнять более сложные задачи, чем обычные чат-боты. В мае китайский регулятор киберпространства обязал разработчиков улучшать механизмы выявления, остановки, блокирования и исправления ненадлежащего поведения таких систем.
Среди рисков в рекомендациях названы намеренное искажение данных, манипуляции алгоритмами, уязвимости систем и «операционная потеря контроля». Окончательное право принимать решения относительно автономных действий агента должно оставаться за пользователем.
Министр государственной безопасности Китая Чэнь Исинь также заявил, что передовые американские модели, в частности Anthropic Mythos и OpenAI GPT-5.5-Cyber, могут представлять серьезные риски для критической информационной инфраструктуры страны, и призвал усилить безопасность ИИ.
В то же время китайские разработчики продвигают модели с открытым доступом к параметрам, которые специалисты по кибербезопасности могут проверять и изменять для защитных задач. Reuters отмечает, что такие модели также несут риски, поскольку их можно модифицировать и распространять с минимальным контролем.
