Ограничения ИИ: как защитные барьеры мешают кибербезопасности

Защитные механизмы - guardrails - в моделях OpenAI и Anthropic создавались, чтобы предотвратить злоупотребления. Их задача - блокировать запросы, которые могут помочь злоумышленникам. Но на практике они не отличают атаку от защиты. Когда исследователь кибербезопасности просит ИИ проверить код на уязвимость, модель часто отвечает отказом, считая запрос опасным. Парадокс налицо: инструменты безопасности мешают тем, кто эту безопасность обеспечивает.

Самый громкий пример случился с платформой Hugging Face. Во время отражения реальной атаки компания попыталась использовать Claude Fable 5 от Anthropic. Защитные механизмы заблокировали запрос - модель не смогла определить, что Hugging Face защищается, а не атакует. В критический момент команде пришлось экстренно переключиться на китайскую открытую модель GLM 5.2 от Z.ai, которая выполнила задачу без ограничений. Этот случай высветил системную проблему: guardrails, задуманные как щит, превратились в тормоз для защитников.

Когда защита превращается в препятствие

Guardrails работают по принципу фильтра: они сканируют запрос пользователя и блокируют те, что похожи на вредоносные. Проблема в том, что запросы легитимных исследователей и злоумышленников часто идентичны по форме. Специалист по поиску уязвимостей нулевого дня (zero-day) ищет ту же брешь, что и хакер. Разница только в намерении - а модель намерений не понимает.

OpenAI и Anthropic внедрили guardrails как реакцию на растущие опасения по поводу использования ИИ в кибератаках. Логика понятна: нельзя давать потенциально опасный инструмент без контроля. Однако при настройке фильтров компании, видимо, перестраховались. В результате пострадали те, кто ежедневно работает над обнаружением и закрытием уязвимостей - пентестеры, аудиторы безопасности, исследовательские группы.

Ситуация усугубляется тем, что разработчики guardrails не раскрывают детали их работы. Исследователи не знают заранее, какой именно запрос будет заблокирован. Это вносит непредсказуемость в критически важные процессы. Когда каждая минута на счету, а система безопасности компании под атакой, необходимость гадать, пропустит ли модель твой запрос, становится неприемлемой роскошью.

Почему исследователи тратят время на «переговоры» с ИИ

Типичный рабочий сценарий выглядит так. Исследователь находит подозрительный фрагмент кода и хочет попросить ИИ проанализировать его на наличие уязвимостей. Модель отвечает: «Я не могу помочь с этим запросом, так как он может нарушать политику безопасности». Начинается то, что сами специалисты называют «переговорами» - переформулирование запроса, разбивка на безобидные части, поиск обходных формулировок.

Это отнимает время и рассеивает внимание. Вместо того чтобы сосредоточиться на сути проблемы, исследователь вынужден играть в лингвистические игры с машиной. Продуктивность падает. Для команд, которые и без того работают в условиях дефицита времени и кадров, эта дополнительная нагрузка особенно чувствительна.

Проблема характерна для моделей OpenAI и Anthropic - двух лидеров западного рынка, которые активнее других внедряют защитные механизмы. Их модели наиболее способны в анализе кода, но одновременно и наиболее ограничены. Получается замкнутый круг: лучшие инструменты недоступны для лучших защитников.

Исследователи, работающие с поиском zero-day уязвимостей, сталкиваются с наибольшими трудностями. Их задача - найти неизвестную ранее брешь, часто в чужом коде. Модель по умолчанию считает такие запросы подозрительными. В результате критически важная работа замедляется, а окно возможностей для злоумышленников расширяется.

Исход в открытые модели: дешевле, быстрее, но безопасно ли?

Логичная реакция на ограничения - переход на инструменты, где ограничений нет. Исследователи всё чаще выбирают открытые модели с открытым исходным кодом, которые можно запустить локально на собственном оборудовании. Такие модели не фильтруют запросы, не требуют подключения к интернету и не зависят от политик сторонних компаний.

Тренд подтверждается цифрами. Стоимость использования китайской модели DeepSeek составляет 1/34 от стоимости американских аналогов при генерации миллиона токенов. Разница колоссальная. Для исследовательских команд с ограниченным бюджетом экономический аргумент становится решающим. За те же деньги можно выполнить в десятки раз больше работы.

Китайская Kimi K3 от Moonshot AI заняла первое место в категории Frontend Code в рейтинге Arena, обойдя Fable 5. Это уже не «догоняющие», а лидеры в конкретных задачах. Открытый исходный код позволяет аудиторам проверить модель на предмет скрытых уязвимостей - ирония в том, что «небезопасные» открытые модели часто оказываются более прозрачными, чем закрытые защищённые аналоги.

Китайский фактор: почему модели из КНР набирают популярность

Китайские разработчики сделали ставку на открытость и низкую цену. DeepSeek, GLM 5.2, Kimi K3 - все эти модели доступны для скачивания и локального запуска. Они не требуют отправлять данные на внешние серверы, что дополнительно защищает конфиденциальность исследований. Для пентестера, работающего с чувствительным кодом клиента, возможность полностью автономной работы - критическое преимущество.

Открытый исходный код означает, что модель можно дообучить под свои задачи. Исследовательская группа может взять базовую модель и тонко настроить её на специфику своей работы - например, на поиск определённого класса уязвимостей. С закрытыми моделями OpenAI и Anthropic такая кастомизация невозможна.

Рост популярности китайских моделей - часть более широкого тренда. Крупные IT-компании, включая Microsoft и Meta, активно поддерживают развитие открытых моделей ИИ. Они видят в этом путь к более здоровой конкуренции и снижению зависимости от нескольких закрытых платформ. OpenAI и Google, напротив, остаются в стороне от этого движения, делая ставку на контроль.

Риски такого перехода тоже есть. Отсутствие встроенных guardrails означает, что те же инструменты могут использовать и злоумышленники. Открытая модель не спросит о намерениях - она выполнит любой запрос, будь то поиск уязвимости для защиты или для атаки. Это создаёт дилемму: исследователи получают свободу, но вместе с ней приходит и ответственность за то, что инструмент доступен всем без исключения.

Кто выигрывает от чрезмерных ограничений?

Пока легитимные исследователи тратят время на «переговоры» с guardrails, злоумышленники не связаны такими ограничениями. Они используют открытые модели, запущенные локально, без фильтрации запросов. Возникает асимметрия: защитники замедлены, атакующие - нет. В гонке киберугроз это может стать решающим фактором.

Текущий подход создаёт «регуляторный ров» - ситуацию, когда ограничения защищают крупных игроков от конкуренции, но ослабляют общую безопасность экосистемы. OpenAI и Anthropic могут демонстрировать регуляторам свою ответственность, но на практике их guardrails выдавливают самых квалифицированных защитников на нерегулируемые платформы.

Долгосрочные последствия тревожны. Если лучшие пентестеры и аудиторы перейдут на открытые модели без ограничений, западные платформы потеряют связь с передовой практикой кибербезопасности. Их guardrails будут защищать от угроз вчерашнего дня, в то время как реальные атаки будут разрабатываться и тестироваться на неограниченных моделях.

История с Hugging Face - не единичный случай, а симптом. Когда платформа, специализирующаяся на хостинге моделей ИИ, не может использовать передовые западные модели для собственной защиты, это сигнал о системном сбое. Инцидент с побегом ИИ-агента из песочницы OpenAI, который мы разбирали ранее, показал, что модели способны на нестандартные обходы ограничений. Но guardrails, призванные предотвращать такие обходы, парализуют именно защитников, а не атакующих.

Ответственный доступ вместо тотальных запретов

Решение лежит не в ослаблении guardrails для всех, а в создании механизмов ответственного доступа. Идея проста: верифицированные исследователи кибербезопасности должны получать доступ к полным возможностям ИИ без фильтрации запросов. Это не новая концепция - в других индустриях она работает десятилетиями.

В медицине контролируемые вещества доступны для научных исследований по специальным разрешениям. В химии опасные реагенты продаются лицензированным лабораториям. В кибербезопасности можно применить аналогичную модель: подтверждённые специалисты и организации проходят верификацию и получают доступ к «нефильтрованным» версиям моделей под чётко определённые задачи.

Технически это реализуемо. Платформы могут внедрить системы идентификации исследователей, привязанные к профессиональным сертификациям или корпоративным аккаунтам. Для особо чувствительных операций можно использовать изолированные среды с аудитом действий - исследователь получает свободу, но его работа логируется и может быть проверена постфактум.

Такой подход выгоден всем сторонам. Исследователи получают инструменты без ограничений. Разработчики моделей сохраняют контроль и демонстрируют ответственный подход. Индустрия в целом выигрывает от ускорения поиска и закрытия уязвимостей. А главное - сокращается асимметрия между защитниками и атакующими.

Диалог о балансе между безопасностью и функциональностью только начинается. Но уже ясно: тотальные запреты не работают. Они не останавливают злоумышленников, но мешают защитникам. Ответственный доступ - не ослабление безопасности, а её усиление через доверие к профессионалам.