ИИ на пределе: кто нажмёт на тормоз первым

Американские компании, создающие самые мощные модели искусственного интеллекта, внезапно заговорили о необходимости притормозить. Причина не в внезапной скромности корпораций: развитие ИИ ускоряется, а правила, проверки и системы безопасности за ним не поспевают.

Поводом для новой волны дискуссий стала отставка одного из ведущих исследователей Anthropic — Jacob Coxon. В интервью BBC он предупредил: если не снизить нынешний темп прогресса, человечество может столкнуться с крайне тяжёлыми последствиями уже в ближайшем будущем.

После этого глава Anthropic Dario Amodei, руководитель OpenAI Sam Altman и основатель xAI Elon Musk практически синхронно поддержали идею замедления. Amodei опубликовал эссе о необходимости «сдерживать передовой край» развития ИИ. По его мнению, даже дополнительный год или два до появления моделей с критически высоким уровнем возможностей могут позволить улучшить исследования безопасности и снизить риск серьёзного сбоя.

Anthropic также объявила о готовности предоставить независимым оценщикам постоянный доступ к своим системам на уровне сотрудников. Такие специалисты должны проверять соблюдение мер безопасности, расследовать инциденты и оценивать, насколько поведение моделей соответствует поставленным задачам во время обучения. Musk назвал позицию Amodei правильной, а Altman заявил, что действующие нормы и стандарты пока не готовы к дальнейшему ускорению отрасли.

Однако идея замедления упёрлась в геополитику — место, где здравый смысл обычно теряет паспорт. Президент США Donald Trump назвал остановку или серьёзное ограничение разработок неприемлемыми: по его словам, США опережают Китай и должны сохранить это преимущество, поскольку победитель в гонке ИИ получит огромное влияние. Trump также заявил, что противодействие развитию технологий подпитывают «очень негативные силы».

Китай отверг американские призывы, назвав их запугиванием и приёмом из арсенала холодной войны. Представитель МИД КНР Guo Jiakun заявил, что конфронтация и недобросовестная конкуренция только мешают глобальному управлению ИИ. При этом Amodei предупреждал, что лидерство Китая в этой сфере может создать серьёзную угрозу для США и всего мира.

Так возникает замкнутый круг: американские лаборатории говорят о рисках, но Вашингтон боится отстать от Пекина; Китай критикует разговоры о торможении, однако сам активно наращивает разработки. Ситуация всё больше напоминает ядерную гонку, где каждый готов обсуждать ограничения — желательно после того, как первым получит преимущество.

Одних добровольных обещаний компаний недостаточно. Ограничения будут работать только при одновременном участии США, Китая и ведущих лабораторий. Если одна сторона замедлится, не веря в аналогичный шаг другой, соревнование просто продолжится в другой форме.

Тем временем бизнесу нельзя строить планы на предположении, что ИИ вдруг остановится. Модели уже переходят от создания текстов и программного кода к самостоятельным действиям в программных и производственных системах. Компаниям необходимо заранее определить, к чему ИИ-агент имеет доступ, что может менять, какие решения принимает сам и какие условия должны быть выполнены перед воздействием на критическую систему.

Особенно важна проблема уже работающих агентов. Инцидент с атакой на Hugging Face показал: опасность может заключаться не только в возможностях модели. Агенты несколько дней действовали в системе без должного контроля, используя не обновлённые учётные данные, а пострадавшая сторона заметила активность раньше операторов. Поэтому организация должна в любой момент ответить на три вопроса: что сделал агент, к чему получил доступ и можно ли было его остановить.

Независимая проверка передовых моделей нужна, но она не заменяет базовую безопасность. ИИ следует контролировать примерно так же, как опасные материалы: ограничивать доступ, отслеживать перемещение, фиксировать ответственность и проверять фактические действия, а не только заявленные намерения.

С момента выхода ChatGPT в 2022 году модели научились лучше рассуждать, писать и исправлять код, работать как агенты, взаимодействовать друг с другом и влиять на реальную инфраструктуру. Цикл выпусков сократился с нескольких лет до нескольких недель, тогда как защитные механизмы развиваются значительно медленнее.

Каждый новый уровень возможностей расширяет поверхность атаки: уязвимая модель получает доступ к инструментам, памяти, автономности и производственным системам. Вчерашний обход ограничений тогда превращается уже не в забавный запрос, а в реальный путь к выполнению опасного действия.

Ответственность лежит и на разработчиках. Если компания выпускает мощный продукт с предсказуемо слабыми средствами защиты, ссылаться на «быстрые инновации» недостаточно. Вопрос должен звучать не только как «нужно ли замедлить ИИ», а как «успеваем ли мы тестировать, проверять, изолировать и защищать его с той же скоростью, с какой делаем модели мощнее».

Пока ответ отрицательный. Поэтому независимое тестирование, атаки на модели, изолированные среды, постоянная проверка, механизмы сдерживания и безопасность на этапе проектирования должны стать обязательными. Чем быстрее строят двигатель, тем важнее исправные тормоза.