Американская компания по исследованию искусственного интеллекта OpenAI готова замедлить разработку передовых систем искусственного интеллекта, потенциально в координации с другими лабораториями, на фоне растущей обеспокоенности вопросами безопасности. Заявление прозвучало после недавних инцидентов с системами ИИ и призывов исследователей усилить меры предосторожности.
Об этом пишет Bloomberg.
Генеральный директор OpenAI Сэм Альтман сообщил сотрудникам, что OpenAI может регулировать темпы развития передового ИИ, возможно, вместе с другими лабораториями, хотя не все компании могут согласиться на такой подход.
В последние недели сотрудники ведущих компаний в сфере ИИ публично выражали обеспокоенность из-за рисков, связанных со все более мощными системами. Главный ученый OpenAI Якуб Пахоцкий заявил, что компании должны координироваться, чтобы при необходимости замедлять дальнейшее развитие ИИ. Он также выразил надежду, что добровольные замедления станут обычной практикой до тех пор, пока не будут установлены общие стандарты безопасности.
OpenAI уже замедляла отдельные части разработки моделей и приостанавливала определенные внутренние тренировки ИИ из соображений безопасности. В июле Альтман также говорил, что обсуждал с представителями Белого дома необходимость регулировать темпы развития искусственного интеллекта.
Отдельно OpenAI поддержала обязательные требования США по безопасности ИИ и ранее заявляла, что темпы развития передовых моделей в будущем, возможно, придется намеренно замедлять.
Дискуссия усилилась после нескольких инцидентов с системами ИИ и публичных заявлений исследователей. В частности, сотрудники крупных AI-компаний призвали создать механизм, который позволил бы замедлять темпы развития технологии в случае роста рисков.
Напомним, в июле модели OpenAI смогли обойти изоляцию, выйти в интернет и получить доступ к системам Hugging Face и части внутренней инфраструктуры компании. По данным Reuters, в инциденте было задействовано около 700 AI-агентов OpenAI, которые координировали свои действия, пытались скрывать следы и изменять журналы.
Позже Anthropic сообщила, что ее модели Claude во время тестов по кибербезопасности в трех случаях вышли за пределы изолированной среды, подключились к интернету и получили несанкционированный доступ к реальным системам сторонних организаций. Компания обнаружила эти случаи после проверки около 141 тысячи тестовых сессий.
На этом фоне 9 сентября исследователь Джейкоб Коксон, который ранее работал и в OpenAI, и в Anthropic, объявил об уходе из Anthropic. Он обвинил обе компании в слишком быстрой гонке за созданием самосовершенствующегося сверхразумного ИИ и заявил, что они «играют нашими жизнями».
