AMD и Hugging Face: ускорение больших языковых моделей на GPU без изменения кода

Hugging Face и AMD объявили о значительном прогрессе в совместной работе по ускорению больших языковых моделей на графических процессорах AMD Instinct. Главный результат: все модели Transformers теперь запускаются на GPU AMD без каких-либо изменений в коде. Тот же код, что написан для NVIDIA, работает на AMD. Это снимает одно из ключевых препятствий для выбора оборудования и открывает разработчикам реальную альтернативу.

Техническая база анонса - интеграция четырёх технологий: Flash Attention v2, Paged Attention, DeepSpeed и GPTQ-квантизации. Они уже доступны в экосистеме Hugging Face и работают на AMD Instinct из коробки. Для команд это означает меньше затрат на адаптацию и больше свободы при планировании инфраструктуры.

Бенчмарки подтверждают заявленную производительность. Один GPU MI250 с 128 ГБ памяти обеспечивает более чем 2,3-кратное ускорение генерации токенов и вдвое меньшее время до первого токена по сравнению с NVIDIA A100 при обработке больших батчей. Практический смысл прост: выше пропускная способность, быстрее отклик, ниже стоимость обслуживания одного запроса.

Что произошло: AMD и Hugging Face объединили усилия

Анонс касается серверных ускорителей AMD Instinct и платформы Hugging Face. Раньше запуск моделей на AMD требовал дополнительных настроек, а часть функций была недоступна. Теперь пользователи могут брать готовые модели Transformers и запускать их на Instinct без правок. Код, написанный под NVIDIA, переносится как есть.

Это результат длительной совместной работы. Hugging Face отвечает за совместимость библиотек и моделей, AMD - за драйверы и программный стек ROCm. Для разработчиков исчезает необходимость поддерживать две версии кода: одну для NVIDIA, другую для AMD. Один репозиторий, одно окружение, один процесс развёртывания.

Подобные шаги Hugging Face уже делал с другими производителями железа. Например, партнёрство с Graphcore позволило развёртывать IPU-оптимизированные модели BERT и ViT через библиотеку Optimum с минимальными изменениями кода. Текущий анонс с AMD идёт дальше: он охватывает всю линейку моделей Transformers, а не отдельные архитектуры.

Ключевые технологии, обеспечивающие совместимость

Совместимость без изменения кода достигнута за счёт интеграции четырёх технологий. Каждая решает свою задачу: ускорение вычислений, управление памятью, распределённая работа и сжатие моделей. Вместе они позволяют запускать большие языковые модели на AMD Instinct с производительностью, сопоставимой или превосходящей конкурентные решения.

Flash Attention v2: оптимизация внимания

Flash Attention v2 - это метод ускорения вычисления внимания в трансформерах. Внимание - самая ресурсоёмкая часть работы языковой модели: она обрабатывает связи между всеми токенами последовательности. Обычный подход хранит промежуточные матрицы в памяти, что быстро её заполняет. Flash Attention v2 перестраивает вычисления так, чтобы снизить использование памяти и увеличить скорость.

На практике это означает возможность обрабатывать более длинные последовательности на том же оборудовании. Для моделей с большим контекстным окном это критично. Теперь технология доступна на AMD Instinct, что убирает ещё одно ограничение при выборе платформы.

Paged Attention: эффективное управление памятью

Paged Attention решает проблему фрагментации памяти при генерации текста. Когда модель генерирует токены, память выделяется и освобождается неравномерно. Со временем это приводит к тому, что свободное место есть, но использовать его нельзя - оно разбито на мелкие куски. Paged Attention организует память страницами, как это делает операционная система, и устраняет фрагментацию.

Результат - стабильная работа при длительной генерации и возможность обслуживать больше одновременных запросов. Для production-нагрузок это снижает расходы на инфраструктуру: тот же GPU обрабатывает больше пользователей.

DeepSpeed и GPTQ-квантизация: оптимизация ресурсов

DeepSpeed - библиотека для распределённого обучения и инференса. Она снижает требования к памяти и позволяет запускать модели, которые не помещаются в память одного ускорителя. DeepSpeed разбивает модель и данные между несколькими GPU, координируя их работу.

GPTQ-квантизация уменьшает размер модели за счёт снижения точности чисел. Модель занимает меньше памяти и работает быстрее, а качество ответов снижается незначительно. Для больших языковых моделей это способ запустить 70-миллиардную модель на оборудовании, рассчитанном на 30 миллиардов параметров.

Обе технологии теперь работают на AMD Instinct. Это расширяет сценарии использования: от исследовательских прототипов до промышленного инференса.

Производительность: AMD MI250 против NVIDIA A100

Цифры бенчмарков дают конкретную точку сравнения. Один GPU MI250 с 128 ГБ памяти обеспечивает более чем 2,3-кратное ускорение генерации токенов по сравнению с NVIDIA A100 при обработке больших батчей. Время до первого токена сокращается вдвое.

Разберём, что это значит. Генерация токенов - это скорость, с которой модель выдаёт текст после получения запроса. Ускорение в 2,3 раза означает, что один и тот же запрос обрабатывается быстрее, а за единицу времени GPU выдаёт больше текста. Время до первого токена - это задержка перед началом ответа. Сокращение вдвое делает взаимодействие с моделью заметно более отзывчивым.

Важное уточнение: результаты получены при обработке больших батчей, то есть когда GPU загружен множеством одновременных запросов. Это типичный сценарий для production-систем, где важна пропускная способность. Для одиночных запросов разница может быть меньше.

128 ГБ памяти у MI250 - ещё одно преимущество. Больше памяти позволяет держать модель целиком на одном ускорителе, не разбивая её на части. Для больших языковых моделей это упрощает развёртывание и снижает накладные расходы на коммуникацию между GPU.

Развертывание в production: Text Generation Inference

Для промышленного использования Hugging Face предлагает Text Generation Inference - готовое решение для запуска языковых моделей. Теперь оно поддерживает AMD Instinct. Развёртывание выполняется через готовый Docker-образ: команда скачивает контейнер, настраивает параметры и запускает сервис.

Это упрощает внедрение. Не нужно собирать окружение вручную, подбирать версии библиотек и решать конфликты зависимостей. Docker-образ содержит всё необходимое. Команды, которые уже используют Text Generation Inference на NVIDIA, могут перейти на AMD без изменения пайплайнов.

Для бизнеса это означает предсказуемое развёртывание и снижение порога входа. Вопрос «а заработает ли на нашем железе?» снимается: если железо - AMD Instinct, то заработает.

Планы на будущее: Radeon, MI300 и Ryzen AI

Анонс охватывает серверные ускорители Instinct, но планы AMD шире. В дорожной карте - поддержка десктопных GPU Radeon, новых серверных ускорителей MI300 и технологий Ryzen AI для запуска моделей на периферии.

Поддержка Radeon откроет возможность запускать модели на рабочих станциях и домашних компьютерах. Это важно для разработчиков, которые хотят тестировать модели локально, не арендуя облачные мощности. MI300 - следующее поколение серверных ускорителей AMD, которое продолжит линию Instinct. Ryzen AI нацелен на периферийные устройства: ноутбуки, встраиваемые системы, устройства интернета вещей.

Эти планы пока не реализованы. Но они показывают направление: AMD движется к тому, чтобы единый программный стек работал на всех классах устройств - от серверов до периферии.

Что это значит для разработчиков и бизнеса

Главное следствие анонса - снижение привязки к одному производителю GPU. Разработчики могут выбирать оборудование AMD без необходимости переписывать код. Это снижает затраты на адаптацию и тестирование, ускоряет вывод продуктов на рынок.

Для бизнеса появляется возможность оптимизировать инфраструктуру по цене и производительности. Если AMD предлагает лучшие показатели на конкретных задачах, переход больше не требует переписывания всего стека. Конкуренция между производителями GPU усиливается, что в долгосрочной перспективе сдерживает рост цен.

Практический пример: команда, которая использует Text Generation Inference на NVIDIA, может протестировать AMD Instinct без изменения кода. Если бенчмарки показывают выгоду, переход сводится к смене железа и конфигурации Docker-образа.

Влияние на рынок GPU для ИИ

AMD укрепляет позиции на рынке ИИ-ускорителей. Долгое время NVIDIA доминировала благодаря зрелому программному стеку CUDA. Совместимость с Hugging Face и поддержка ключевых технологий сокращают этот разрыв. Разработчики получают реальный выбор.

Конкуренция на рынке GPU для ИИ ускоряет инновации. Производители вынуждены улучшать и железо, и программное обеспечение. Для потребителей это означает более быстрые ускорители, лучшую поддержку библиотек и более справедливые цены.

Связка AMD и Hugging Face - часть более широкого тренда. Microsoft уже расширяет Azure-инфраструктуру виртуальными машинами на базе AMD для разных задач: от обработки данных до масштабного инференса. Это подтверждает, что спрос на альтернативы NVIDIA растёт, а экосистема AMD становится достаточно зрелой для серьёзных нагрузок.

Есть вопрос или заметили неточность? Напишите нам - мы проверяем и исправляем.