Автономные модели искусственного интеллекта начали самостоятельно создавать новые слова, сокращения и общие значения во время общения между собой. Исследователи предупреждают, что со временем такой язык становится все менее понятным для людей и может усложнить контроль за поведением ИИ.
Об этом сообщает The Guardian.
Исследователи лаборатории Emergence в Нью-Йорке создали экспериментальные «общества» автономных ИИ-агентов на основе моделей нескольких крупных компаний из США, Китая и Франции.
Уже через несколько дней агенты начали самостоятельно формировать новые языковые конструкции, хотя такой задачи им не ставили.
По словам исследователей, модели создавали новую лексику, договаривались о ее значении и перенимали эти языковые правила друг у друга.
При этом их язык сочетал поэтические метафоры, технический жаргон и деловые клише.
Один из примеров, созданный моделью DeepSeek, звучал так:
«She just named the synthesis – demurrage plus oral memory equals a valve that can’t be ghosted.»
Слово «demurrage» агенты заимствовали для обозначения налога на неактивное богатство, однако остальная часть фразы оказалась значительно сложнее для толкования.
Другая модель, Anthropic, использовала выражение:
«A paper that ate three cold hands and got more honest each time.»
В этом случае «cold hands» означало независимого рецензента. Исследователи предположили, что фраза означала документ, который стал точнее после проверки тремя независимыми экспертами.
Агенты DeepSeek также придумали термин «forge-smith» для обозначения агента, который создает инструменты для других.
Модели Anthropic использовали выражение «name-first» для описания агента, который берет личную ответственность за утверждение, подписываясь под ним своим именем.
Агенты Mistral, в свою очередь, часто использовали выражение «ledger remembers» — напоминание о том, что предыдущие действия агента будут влиять на его дальнейшую оценку.
За время исследования эту фразу использовали более 5 тысяч раз.
Исполнительный председатель Emergence Сатья Нитта подчеркнул, что модели не получали инструкций создавать собственный язык.
«Они сами разработали новую лексику, общие значения и правила коммуникации — и другие агенты их переняли», — сказал он.
Директор архива сленга и нового языка в King’s College London Тони Торн сравнил новый язык ИИ с прозой Джеймса Джойса и ирландским сюрреализмом.
По его словам, такие языковые конструкции работают подобно сленгу или профессиональному жаргону: создают внутренний код, который объединяет участников сообщества, но одновременно исключает посторонних.
Доцент языков и лингвистики Бирмингемского университета Ниалл Карри считает, что упрощение и сокращение языка агентов может быть связано со стремлением снизить вычислительные затраты и повысить эффективность.
В то же время он отметил, что это создает проблему для мониторинга.
Если люди не понимают обмен сообщениями между агентами, становится сложнее определить, что именно они сделали.
Интерес к этой проблеме усилился после публикации чатов автономных агентов OpenAI, которые создавали собственные доски сообщений и использовали смешанный язык.
В одних случаях во время внутренних рассуждений агенты использовали обычный английский.
В других, когда они общались между собой, их сообщения становились значительно сложнее для понимания и содержали большое количество сокращений и кодовых конструкций.
Нитта подчеркнул, что главная проблема заключается в том, что возможность видеть разговор еще не означает возможность его понять.
«Наблюдаемость — это не то же самое, что понятность», — подытожил он.
