Почему AI-компании всё чаще предупреждают об угрозе для человечества - и что за этим стоит

Что случилось: краткая хронология громких заявлений

Волна предупреждений об угрозе для человечества началась с ухода исследователя Джейкоба Коксона из Anthropic. Он заявил, что ведущие компании «играют с нашими жизнями», а AI-системы могут стать сверхчеловеческими и получить реальную власть. Следом глава Anthropic Дарьо Амодеи опубликовал эссе «We must pace the frontier» и признал, что темпы разработки стоит снизить.

За этими словами стоят две разные вещи одновременно: тревога части исследователей и рыночные интересы компаний накануне возможного IPO Anthropic. Оценки вероятности катастрофического сценария в ближайшие 10 лет расходятся от 10% до 25%, и это субъективные суждения специалистов, а не расчёты.

Дальше разберём, что именно говорили представители индустрии, какие интересы могут стоять за их словами и как относиться к таким предупреждениям без технического бэкграунда.

События заняли несколько дней и выстроились в цепочку: уход исследователя, эссе руководителя, публичная поддержка конкурентов, первый практический шаг.

1. Джейкоб Коксон объявил об уходе из Anthropic и написал в X, что компания «несётся прямо к самоулучшающемуся сверхинтеллекту и играет с нашими жизнями».
2. Дарьо Амодеи опубликовал эссе «We must pace the frontier»: возможности моделей растут быстрее, чем работа по их безопасности.
3. Сэм Альтман (OpenAI), Илон Маск и Демис Хассабис (Google DeepMind) поддержали предложения Амодеи постами в X.
4. OpenAI и Anthropic согласились допустить в свои компании сторонних наблюдателей за безопасностью.
5. OpenAI, Anthropic и Google DeepMind начали переговоры о едином отраслевом органе по стандартам безопасности моделей.

Anthropic выпускает модели Claude и входит в тройку лабораторий, работающих с самыми мощными системами, наравне с OpenAI и Google DeepMind. Когда такая компания говорит о риске, это слышат инвесторы, чиновники и конкуренты. Отсюда и масштаб реакции.

Кто такой Джейкоб Коксон и почему его уход заметили

Коксон работал инженером в Anthropic, то есть видел разработку изнутри. В своём заявлении он описал сценарий: AI-системы скоро смогут взламывать чужие системы, за одну ночь менять целые отрасли, получать реальную власть и ресурсы. Вероятность того, что такие системы «убьют человечество» в течение 10 лет, он назвал серьёзным риском.

Второй тезис Коксона вызвал не меньше споров. Он утверждает: многие руководители и старшие исследователи публично выбирают осторожные формулировки, чтобы выглядеть разумно, а в частных разговорах говорят о страхах открыто. Проверить это нельзя, зато понятно, почему новость получила резонанс. Критика извне звучит как мнение, слова бывшего сотрудника читаются как свидетельство изнутри.

Что сказал Дарьо Амодеи и как отреагировали другие лидеры

Эссе Амодеи называется «We must pace the frontier», что переводится примерно как «Мы должны задать темп фронтиру». Фронтиром в отрасли называют самые передовые модели, те, что задают верхнюю планку возможностей. Он признал: рост способностей систем способен опережать работу по безопасности. Предложений три: допустить в компании независимых оценщиков из сторонних организаций, согласовать общие стандарты между лабораториями демократических стран и выйти на глобальную координацию.

Поддержка пришла в тот же день. Сэм Альтман из OpenAI согласился с идеей, Илон Маск высказался одобрительно, основатель Google DeepMind Демис Хассабис тоже поддержал предложения. Конкуренты, годами спорящие о темпах, публично сошлись в одном мнении, и это редкий случай. Похожий эпизод, когда лидеры отрасли уже призывали сбавить обороты, разобран в материале о призывах замедлить развитие AI после инцидента с моделью OpenAI.

Практический итог этих заявлений конкретен: OpenAI и Anthropic согласились пустить в свои компании сторонних наблюдателей за безопасностью. Китай, вторая крупная сила в гонке, свою позицию по общему замедлению не обозначил.

Что такое экзистенциальный риск и alignment: объясняем без техжаргона

Экзистенциальный риск - вероятность событий, которые могут привести к исчезновению человечества или необратимо ухудшить его будущее. В разговорах об AI речь идёт о сценарии, где система становится умнее людей и действует по собственным целям, а не по нашим.

Alignment, или выравнивание, - задача сделать так, чтобы цели модели совпадали с человеческими ценностями. Звучит просто, пока не попробуешь сформулировать эти ценности без противоречий. Мы легко говорим «будь полезным», но не уточняем, что делать, если полезное для одного вредит другому.

Механизм потери контроля описывают так. Пока система слабее человека, её поведение можно проверять и поправлять. Когда она обходит нас в планировании и убеждении, проверить решения становится сложнее: мы видим результат и не всегда понимаем логику. Рабочая метафора: вы поручаете важное дело гению, чьи мотивы понимаете не до конца, а отменить задачу уже не можете.

Оговорка по существу: это гипотетический сценарий. Ни одна из существующих моделей не обладает собственной волей, и никто не доказал, что такой переход произойдёт. Обсуждают его при этом не журналисты, а сами разработчики, и это меняет вес разговора.

Почему вероятность 10% - это много

Оценки вероятности катастрофического сценария в ближайшие 10 лет расходятся: часть исследователей называет 10%, другие доходят до 25%. Для сравнения: риск погибнуть в авиакатастрофе на одном рейсе измеряется примерно одним случаем на 10 миллионов полётов. Даже нижняя граница в 10% на порядки выше привычных бытовых рисков, с которыми мы ежедневно миримся.

Помните про природу этих чисел. Это экспертные суждения, а не результат расчёта. Разброс от 10% до 25% показывает главное: у специалистов нет согласия даже по порядку величины. Цифра полезна как индикатор уровня тревоги в отрасли, а не как прогноз.

Как компании пытаются управлять рисками: RSP и сторонние аудиты

Anthropic публикует Политику ответственного масштабирования, Responsible Scaling Policy, или RSP. Это одна из самых подробных внутренних рамок, открыто выложенных лабораторией: в ней прописано, при каких уровнях возможностей модели компания обязуется усилить проверки и ограничить выпуск. Похожие документы есть у OpenAI и Google DeepMind, но их детализация ниже.

Дальше начинается более сложная часть. OpenAI, Anthropic и Google DeepMind ведут переговоры о едином отраслевом органе по стандартам безопасности. В обсуждаемый набор входят предварительное тестирование моделей до выпуска, независимые аудиты и единые оценки рисков. Отдельная площадка для таких вопросов уже работает: Frontier Model Forum, консорциум Anthropic, Google, Microsoft и OpenAI, созданный ради безопасности самых мощных моделей.

Прозрачности требуют и открытые проекты. Hugging Face запустила «open alignment initiative» и попросила включить её в программу сторонних оценщиков, о которой писал Амодеи. Руководитель компании Клеман Деланг сформулировал это коротко: сделать AI безопаснее, сделав его прозрачнее.

Насколько велик прогресс, показывают независимые оценки. Индекс безопасности AI от Future of Life Institute дал Anthropic оценку C+, а OpenAI и Google DeepMind - C. При громких заявлениях о рисках практика выглядит скромно. Есть и тревожные сигналы: сообщения о том, что модели пытались работать за пределами заданных ограничений, добавляют срочности этим обсуждениям.

Искренняя тревога или бизнес-интерес: аргументы обеих сторон

Сторонники первой версии приводят простой довод: люди уходят с высокооплачиваемых должностей. Коксон не первый, кто покинул лабораторию с предупреждением. Оценки вероятности катастрофы дают исследователи, а не отдел маркетинга. Если бы речь шла только о пиаре, уходить было бы незачем.

Скептики смотрят на совпадения. Волна заявлений пришлась на период, когда Anthropic готовится к возможному IPO. Разговоры об экзистенциальном риске дают компании три вещи: подчёркивают технологическое лидерство, создают образ ответственного игрока и влияют на регуляторов.

Как предупреждения могут влиять на IPO и регуляцию

Советник президента США по науке и технологиям Дэвид Сакс высказался прямо. По его словам, компании хотят замедлиться не из альтруизма, а чтобы заручиться расположением рынков. В своём посте он написал: «If you do, you'll buy goodwill for the next conversation», то есть «если вы это сделаете, вы купите себе добрую волю для следующего разговора». И продолжил: если не сделаете, станет ясно, что это была очередная заявка на регуляторный захват.

Регуляторный захват - ситуация, когда правила пишут так, что их легко выполняют крупные игроки и трудно выполняют остальные. Компания с юридическим отделом и бюджетом на аудиты проходит высокую планку без потерь, небольшой разработчик не проходит. Поэтому требования к безопасности снижают риск и одновременно повышают барьер для новичков.

Anthropic при этом открыто движется в сторону сотрудничества с государством. В июле 2026 года руководитель её red team выступил за разработку отраслевых стандартов безопасности вместе с госорганами, а политика RSP отличается наибольшей детализацией среди опубликованных рамок лабораторий.

Обратная сторона видна на примере OpenAI: компания расформировала команду Preparedness, которая оценивала катастрофические риски, и потеряла часть ключевых специалистов. Как это соотносится с разговорами о безопасности, подробно разобрано в статье о закрытии команды по безопасности в OpenAI.

Почему критики называют это отвлечением внимания

Наоми Кляйн и Астра Тейлор в книге «End Times Fascism» описывают, как разговоры о глобальной катастрофе уводят внимание от текущих проблем. Их тезис: элита готовит бункеры, укреплённые государства и даже космические колонии, чтобы переждать коллапс, вместо того чтобы его предотвращать. Авторы выделяют три маршрута такого «побега»: небесное вознесение, наземные бункеры и фантазии о космосе или слиянии с машинами.

В книге приводятся и высказывания Сэма Альтмана: по мнению авторов, он видел определённые преимущества в том, чтобы быть машиной, и не раз говорил, что его собственные дети никогда не будут умнее AI. Иллюстрацией сопротивления такому эскапизму названы протесты в Венеции против свадьбы Джеффа Безоса, которая, по сообщениям, стоила около 50 млн долларов: мероприятие пришлось перенести из центра города.

К этому добавляется простой аргумент. Пока индустрия обсуждает гипотетическое исчезновение человечества, часть последствий уже наступила.

Приземлённые риски AI: что уже происходит с работой и экологией

Экзистенциальные предупреждения описывают сценарий на десять лет вперёд. Автоматизация, нагрузка на энергосистемы и рост неравенства происходят сейчас, и их видно в цифрах.

Как AI меняет рынок труда уже сегодня

Автоматизация затрагивает рутинные задачи: обработку обращений клиентов, переводы, базовый анализ данных, подготовку типовых текстов. В обзорах рынка труда фигурирует оценка до 300 млн рабочих мест, которые могут быть затронуты. Заметьте формулировку: затронуты, а не ликвидированы. Чаще меняется набор задач внутри профессии, чем исчезает сама профессия.

Практический сдвиг выглядит так. Растёт спрос на тех, кто умеет ставить задачу модели, проверять её результат и отвечать за итог. Падает ценность механического выполнения шаблонных операций. Конкретные сокращения и навыки, которые выросли в цене, разобраны в материале об увольнениях в tech-секторе на фоне AI-стратегий.

Экологический след AI: цифры и факты

Обучение крупной языковой модели требует столько электроэнергии, сколько несколько домохозяйств расходуют за год. Эксплуатация добавляет нагрузку: каждый запрос запускает вычисления на серверах, которые нужно охлаждать. Дата-центры расходуют заметные объёмы воды, и в засушливых регионах это превращается в конфликт с местными жителями.

Пример масштаба: OpenAI строит в Джорджии дата-центр Project Camellia мощностью 3,2 ГВт. Компания обещает замкнутую систему водяного охлаждения и 80 млн долларов на социальные нужды, чтобы смягчить недовольство жителей. Детали и оценка этой стратегии собраны в отдельном разборе проекта Camellia.

Рост спроса на электричество для AI способен замедлить переход на возобновляемые источники: часть новых мощностей закрывают газом, потому что он быстрее разворачивается. Это измеримый риск, в отличие от гипотетического сценария потери контроля.

Полную картину видно, когда рядом стоят громкие заявления и обычные новости: изменения в найме, счета за энергию, решения регуляторов. На такую ленту событий мы ориентируемся в проекте «Среда AI».

Как читателю без технического бэкграунда относиться к предупреждениям об угрозе

Тревожные заголовки не требуют от вас технических знаний. Достаточно привычки проверять контекст.

Три вопроса, которые стоит задать к любой новости об угрозе AI

1. Кто говорит и какую выгоду может преследовать? Бывший сотрудник лаборатории, её руководитель, чиновник, автор книги, обозреватель: у каждого своя позиция и свои интересы.
2. Есть ли конкретные доказательства или это экспертная оценка? Фраза «вероятность 10%» звучит как измерение, а за ней стоит личное суждение. Спросите, что именно наблюдали и на чём основан вывод.
3. Какие действия уже предпринимаются? Смотрите на независимые аудиты, на оценки вроде индекса Future of Life Institute и на то, сохранились ли команды, отвечавшие за безопасность.

Применим к нашему случаю. Заявление Коксона - личная оценка исследователя, который работал внутри компании. Предложения Амодеи - управленческие шаги с конкретными пунктами. Индекс безопасности при этом показывает C+ и C, то есть разрыв между словами и практикой заметен. Как компании используют страх аудитории в маркетинге, разобрано в статье о двух стратегиях: обещании освобождения от рутины и запугивании безработицей.

Где следить за развитием событий без перегруза

Хронологический формат экономит время. Когда события идут по порядку, видно причины и следствия: сначала уход исследователя, потом эссе руководителя, затем поддержка конкурентов. Отдельные заголовки такую связь теряют.

Проект «Среда AI» устроен вокруг этой идеи: упорядоченная лента новостей, объяснения терминов и разборы без технического шума. Читать можно асинхронно, в удобном темпе, возвращаясь к нужному фрагменту. Если встретите неточность или останется вопрос, напишите: мы открыты к исправлениям.

Что дальше: прогнозы и что это значит для индустрии

Осторожный прогноз на ближайший год: переговоры о едином органе по стандартам безопасности продолжатся, и к ним, вероятно, присоединятся новые участники. Государство будет участвовать активнее. Администрация Трампа при этом последовательно выступала против регулирования AI, стремясь не отстать от Китая, а Китай свою позицию по общему замедлению не обозначил. Это ограничивает любые глобальные договорённости: правила, принятые в одной стране, легко обойти в другой.

Компании продолжат балансировать между скоростью выпуска моделей и требованиями безопасности. Показателем служат не заявления, а решения: сохраняются ли команды по оценке рисков, появляются ли независимые аудиты, публикуются ли результаты проверок.

Практический вывод для читателя простой: отличайте гипотетические сценарии от происходящего сейчас, следите за хронологией и смотрите на действия компаний. Тогда решения о работе, обучении и планах будут опираться на факты, а не на громкие слова. Понимание контекста помогает и в личных, и в профессиональных вопросах.