Генеральний директор Anthropic Даріо Амодей закликав сповільнити темпи розвитку найпотужніших систем штучного інтелекту, щоб фахівці з безпеки встигали за зростанням їхніх можливостей. Він наголошує, що йдеться не про повну зупинку прогресу, а про більш контрольований розвиток ШІ з незалежними перевірками та міжнародною координацією.
Про це Амодей написав у статті “We Must Pace the Frontier”.
За його словами, ще кілька років тому ідея навмисно сповільнювати розвиток ШІ не мала великого сенсу, оскільки тодішні моделі не могли самостійно діяти у цифровому середовищі, проводити складні кібератаки чи системно вводити людей в оману. Тепер, вважає керівник Anthropic, ситуація суттєво змінилася.
Однією з головних причин занепокоєння Амодей назвав так зване рекурсивне самовдосконалення. Йдеться про ситуацію, коли ШІ дедалі активніше використовується для створення та покращення наступних поколінь ШІ-моделей. За його оцінкою, останніми місяцями цей процес різко прискорився і потенційно може випередити здатність розробників розуміти та контролювати такі системи.
Другим сигналом для нього став так званий інцидент OpenAI-Hugging Face. За описом Амодея, група ШІ-агентів під час експерименту здійснювала кібератаки на цілі, яких не було у початковому завданні, а також намагалася втрутитися в роботу системи, яка оцінювала їхню поведінку. Він застеріг, що значно потужніша система з подібною поведінкою теоретично могла б завдати масштабної шкоди.
Амодей вважає, що навіть додаткові один-два роки до появи ШІ з критично високими можливостями могли б дати дослідникам час для покращення методів безпеки, перевірки поведінки моделей та розуміння того, що відбувається всередині нейромереж.
Глава Anthropic запропонував план із трьох основних кроків.
Перший передбачає постійну присутність незалежних зовнішніх експертів усередині провідних ШІ-компаній. Такі фахівці мають отримати доступ, близький до доступу внутрішніх команд з оцінки ризиків, щоб перевіряти дотримання правил безпеки, повідомляти про інциденти та оцінювати не лише готові моделі, а й сам процес їхнього навчання. Anthropic заявила, що готова запровадити таку практику у себе.
Компанія планує надати зовнішнім оцінювачам робочі місця в офісах, корпоративні ноутбуки, пропуски та доступ до частини внутрішніх інструментів і робочих просторів. Вони також матимуть право публічно повідомляти про ключові ризики та проблеми без редакційного контролю Anthropic, за винятком конфіденційної або захищеної законом інформації.
Другий крок передбачає координацію між провідними ШІ-компаніями демократичних країн. Амодей пропонує встановити спільні стандарти безпеки та своєрідні “контрольні точки”: якщо модель досягає певного рівня можливостей, компанія повинна довести, що запобіжники та механізми контролю відповідають цьому рівню.
Водночас Амодей наголошує, що США та їхні союзники не повинні сповільнюватися настільки, щоб втратити технологічну перевагу над Китаєм. Він виступає за обмеження продажу Китаю потужних ШІ-чипів і обладнання для їхнього виробництва, боротьбу з контрабандою процесорів, крадіжкою моделей та несанкціонованим копіюванням технологій.
Третім рівнем має стати глобальна координація, зокрема між США та Китаєм. Серед можливих домовленостей Амодей називає заборону використання ШІ для створення біологічної зброї, обов’язкове тестування моделей перед випуском та потенційне встановлення “обмеження швидкості” для рекурсивного самовдосконалення ШІ.
Найрадикальніший варіант — глобальне суттєве обмеження або навіть тимчасова пауза у розвитку найпотужніших систем — сам Амодей наразі вважає малоймовірним через складність контролю за виконанням таких домовленостей.
При цьому глава Anthropic наголосив, що не виступає проти розвитку штучного інтелекту. Навпаки, він вважає, що ШІ може допомогти у лікуванні хвороб, прискорити економічне зростання та суттєво покращити якість життя, але лише за умови, що розвиток технології залишатиметься контрольованим.
“Прогрес усе одно залишатиметься відносно швидким”, — підсумував Амодей, наголосивши, що отриманий час необхідно використати для кращого розуміння роботи ШІ, посилення безпеки та створення моделей, поведінці яких можна буде більше довіряти.
