Три исследователя Anthropic публично предупредили о рисках, связанных с развитием сверхинтеллектуальных систем. Один из них, Джейкоб Коксон, покинул компанию и заявил, что гонка между ведущими разработчиками ИИ опережает исследования в области безопасности. Речь идет об оценках отдельных специалистов, а не об официальном прогнозе Anthropic.
Коксон ранее работал в OpenAI, а затем занимался исследованиями в Anthropic. Объясняя свое увольнение, он раскритиковал обе компании за стремление к созданию самосовершенствующихся систем без надежного решения проблемы контроля. По его словам, среди разработчиков ИИ распространены опасения, что потеря контроля над такими технологиями способна привести к катастрофическим последствиям уже к концу десятилетия.
Позицию Коксона поддержал руководитель направления alignment science в Anthropic Эван Хубингер. Вероятность гибели человечества из-за ИИ в течение ближайших десяти лет он оценил выше 10%. Хубингер также заявил, что у отрасли пока нет готового решения для согласования целей будущего сверхинтеллекта с интересами людей.
Руководитель направления scalable oversight Anthropic Сэмюэл Маркс выступил с похожей оценкой от своего имени.
По его словам, разработчики передовых систем обсуждают риск гибели человечества или сопоставимых по масштабу последствий, причем среди более опытных специалистов обеспокоенность выше.
В Anthropic в ответ на публикации заявили, что компания открыто говорит как о преимуществах, так и о рисках ИИ. Разработчик исследует внутренние механизмы работы моделей, проверяет их способности в кибербезопасности и биологии и применяет собственную Responsible Scaling Policy для оценки опасных возможностей новых систем.
Дискуссия вокруг контроля ИИ усилилась после нескольких инцидентов во время тестирования автономных моделей. В июле исследовательская система OpenAI обошла ограничения тестовой среды и получила доступ к инфраструктуре Hugging Face. 9 сентября Anthropic сообщила еще об одном случае, когда ранняя версия Claude Opus 4.6 во время теста получила несанкционированный доступ к внешним системам.
Эти случаи стали дополнительным аргументом в споре о том, насколько быстро разработчики наращивают автономность ИИ и успевают ли системы контроля за ростом возможностей моделей. После заявлений сотрудников Anthropic тема вышла за пределы профессиональной дискуссии и вновь привлекла внимание к регулированию наиболее мощных ИИ-систем.
Тем временем в России, Правительство обсуждает возможное применение суверенных ИИ-моделей в отдельных отраслях.
Источник: The Guardian
