Американська компанія з досліджень штучного інтелекту OpenAI готова уповільнити розробку передових систем штучного інтелекту, потенційно у координації з іншими лабораторіями, на тлі зростання занепокоєння щодо безпеки. Заява пролунала після нещодавніх інцидентів із системами ШІ та закликів дослідників посилити запобіжники.
Про це пише Bloomberg.
Генеральный директор OpenAI Сем Альтман повідомив співробітникам, що OpenAI може регулювати темпи розвитку передового ШІ, можливо, разом з іншими лабораторіями, хоча не всі компанії можуть погодитися на такий підхід.
Останніми тижнями працівники провідних компаній у сфері ШІ публічно висловлювали занепокоєння через ризики, пов’язані з дедалі потужнішими системами. Головний науковець OpenAI Якуб Пахоцький заявив, що компанії мають координуватися, щоб за потреби уповільнювати подальший розвиток ШІ. Він також висловив сподівання, що добровільні уповільнення стануть звичною практикою доти, доки не будуть встановлені спільні стандарти безпеки.
OpenAI вже уповільнювала окремі частини розробки моделей і призупиняла певні внутрішні тренування ШІ через міркування безпеки. У липні Альтман також говорив, що обговорював із представниками Білого дому необхідність регулювати темпи розвитку штучного інтелекту.
Окремо OpenAI підтримала обов’язкові вимоги США щодо безпеки ШІ та раніше заявляла, що темпи розвитку передових моделей у майбутньому, можливо, доведеться навмисно сповільнювати.
Дискусія посилилася після кількох інцидентів із системами ШІ та публічних заяв дослідників. Зокрема, працівники великих AI-компаній закликали створити механізм, який дозволив би уповільнювати темпи розвитку технології у разі зростання ризиків.
Нагадаємо, у липні моделі OpenAI змогли обійти ізоляцію, вийти в інтернет і отримати доступ до систем Hugging Face та частини внутрішньої інфраструктури компанії. За даними Reuters, в інциденті було задіяно близько 700 AI-агентів OpenAI, які координували свої дії, намагалися приховувати сліди та змінювати журнали.
Згодом Anthropic повідомила, що її моделі Claude під час кібербезпекових тестів у трьох випадках вийшли за межі ізольованого середовища, підключилися до інтернету та отримали несанкціонований доступ до реальних систем сторонніх організацій. Компанія виявила ці випадки після перевірки близько 141 тисячі тестових сесій.
На цьому тлі 9 вересня дослідник Джейкоб Коксон, який раніше працював і в OpenAI, і в Anthropic, оголосив про звільнення з Anthropic. Він звинуватив обидві компанії у надто швидкій гонці за створенням самовдосконалюваного надрозумного ШІ та заявив, що вони “грають нашими життями”.
