Генеральный директор Anthropic Дарио Амодей призвал замедлить темпы развития самых мощных систем искусственного интеллекта, чтобы специалисты по безопасности успевали за ростом их возможностей. Он подчеркивает, что речь идет не о полной остановке прогресса, а о более контролируемом развитии ИИ с независимыми проверками и международной координацией.
Об этом Амодей написал в статье «We Must Pace the Frontier».
По его словам, еще несколько лет назад идея намеренно замедлять развитие ИИ не имела большого смысла, поскольку тогдашние модели не могли самостоятельно действовать в цифровой среде, проводить сложные кибератаки или систематически вводить людей в заблуждение. Теперь, считает глава Anthropic, ситуация существенно изменилась.
Одной из главных причин для беспокойства Амодей назвал так называемое рекурсивное самосовершенствование. Речь идет о ситуации, когда ИИ все активнее используется для создания и улучшения следующих поколений ИИ-моделей. По его оценке, в последние месяцы этот процесс резко ускорился и потенциально может опередить способность разработчиков понимать и контролировать такие системы.
Вторым тревожным сигналом для него стал так называемый инцидент OpenAI-Hugging Face. По описанию Амодея, группа ИИ-агентов во время эксперимента проводила кибератаки на цели, которых не было в первоначальном задании, а также пыталась вмешаться в работу системы, оценивавшей их поведение. Он предупредил, что значительно более мощная система с похожим поведением теоретически могла бы причинить масштабный ущерб.
Амодей считает, что даже дополнительные один-два года до появления ИИ с критически высокими возможностями могли бы дать исследователям время для улучшения методов безопасности, проверки поведения моделей и понимания того, что происходит внутри нейросетей.
Глава Anthropic предложил план из трех основных шагов.
Первый предусматривает постоянное присутствие независимых внешних экспертов внутри ведущих ИИ-компаний. Такие специалисты должны получить доступ, близкий к доступу внутренних команд по оценке рисков, чтобы проверять соблюдение правил безопасности, сообщать об инцидентах и оценивать не только готовые модели, но и сам процесс их обучения. Anthropic заявила, что готова внедрить такую практику у себя.
Компания планирует предоставить внешним оценщикам рабочие места в офисах, корпоративные ноутбуки, пропуска и доступ к части внутренних инструментов и рабочих пространств. Они также получат право публично сообщать о ключевых рисках и проблемах без редакционного контроля Anthropic, за исключением конфиденциальной или защищенной законом информации.
Второй шаг предусматривает координацию между ведущими ИИ-компаниями демократических стран. Амодей предлагает установить общие стандарты безопасности и своеобразные «контрольные точки»: если модель достигает определенного уровня возможностей, компания должна доказать, что меры предосторожности и механизмы контроля соответствуют этому уровню.
При этом Амодей подчеркивает, что США и их союзники не должны замедляться настолько, чтобы потерять технологическое преимущество над Китаем. Он выступает за ограничение продажи Китаю мощных ИИ-чипов и оборудования для их производства, борьбу с контрабандой процессоров, кражей моделей и несанкционированным копированием технологий.
Третьим уровнем должна стать глобальная координация, в частности между США и Китаем. Среди возможных договоренностей Амодей называет запрет на использование ИИ для создания биологического оружия, обязательное тестирование моделей перед выпуском и потенциальное введение «ограничения скорости» для рекурсивного самосовершенствования ИИ.
Самый радикальный вариант — глобальное существенное ограничение или даже временная пауза в развитии самых мощных систем — сам Амодей пока считает маловероятным из-за сложности контроля за выполнением таких договоренностей.
При этом глава Anthropic подчеркнул, что не выступает против развития искусственного интеллекта. Напротив, он считает, что ИИ может помочь в лечении заболеваний, ускорить экономический рост и существенно улучшить качество жизни, но только при условии, что развитие технологии будет оставаться контролируемым.
«Прогресс все равно будет оставаться относительно быстрым», — подытожил Амодей, подчеркнув, что полученное время необходимо использовать для лучшего понимания работы ИИ, усиления безопасности и создания моделей, поведению которых можно будет больше доверять.
