Как Intel и Hugging Face ускорили StarCoder в 7 раз: квантование и assisted generation на Xeon

В чем суть: ускорение StarCoder более чем в 7 раз без потери качества

Intel и Hugging Face представили совместное решение, которое ускоряет генерацию кода моделью StarCoder на процессорах Xeon в 7,3 раза. Этот показатель относится к метрике TPOT - времени генерации каждого следующего токена. Простыми словами: после того как модель начала отвечать, каждое следующее слово или фрагмент кода появляется в 7 раз быстрее.

Инженеры применили комбинацию из трёх методов: 8-битное и 4-битное квантование для уменьшения размера модели, а также технику assisted generation с легковесной моделью-«черновиком». Точность при этом не пострадала. На тесте HumanEval, который проверяет способность модели генерировать рабочий код, оптимизированная версия показала 33,96% против 33,54% у базовой - небольшой, но ощутимый прирост.

Этот результат важен для всех, кто работает с инструментами генерации кода на обычных серверных процессорах, не прибегая к дорогим видеокартам. Разберёмся, как именно устроено это ускорение и можно ли применить похожий подход в своих проектах.

Почему это важно: скорость генерации кода на обычных процессорах

Модели для генерации кода, такие как StarCoder, требовательны к вычислительным ресурсам. До недавнего времени комфортная работа с ними ассоциировалась преимущественно с GPU. Однако графические ускорители есть не у всех: серверные стойки на Xeon распространены гораздо шире, а аренда GPU-инстансов в облаке ощутимо бьёт по бюджету.

TPOT (Time Per Output Token) - ключевая метрика, которая напрямую влияет на восприятие скорости ответа. Когда вы задаёте модели вопрос или просите дописать код, вы ждёте не абстрактных вычислений, а появления текста на экране. Чем быстрее генерируется каждый следующий токен, тем плавнее и естественнее выглядит работа модели. Ускорение TPOT в 7,3 раза превращает StarCoder из инструмента с заметной задержкой в практически интерактивного помощника.

Решение Intel и Hugging Face показывает: генерация кода на CPU перестаёт быть компромиссом. Это открывает дорогу к запуску моделей на собственных серверах, в изолированных средах и на машинах без GPU - с сохранением приемлемой скорости.

Как работает ускорение: три метода в одной связке

Ускорение достигнуто не одним «волшебным» приёмом, а продуманной комбинацией трёх подходов. Каждый решает свою часть проблемы: один уменьшает объём вычислений, второй снижает накладные расходы на память, третий оптимизирует сам процесс генерации токенов.

Квантование: уменьшаем модель без значимой потери точности

Квантование - это снижение точности чисел, которыми представлены веса нейросети. Стандартно модели хранят параметры в 16-битном или 32-битном формате с плавающей точкой. При квантовании эти числа переводятся в формат с меньшей разрядностью - 8 или 4 бита.

Что это даёт на практике:

• Модель занимает меньше места в оперативной памяти.
• Процессор быстрее считывает веса из памяти.
• Вычисления с целыми числами выполняются быстрее, чем с плавающей точкой.

В решении Intel и Hugging Face квантование применяется гибко: 8 бит - для первого токена, 4 бита - для всех последующих. Это не случайный выбор, а инженерное решение, продиктованное разной природой нагрузки на разных этапах генерации.

Assisted generation: модель-черновик ускоряет основной генератор

Assisted generation, или спекулятивное декодирование, работает по принципу «черновика». Маленькая и быстрая модель генерирует несколько вариантов следующих токенов - своего рода гипотезы о том, как должен продолжиться текст или код. Основная, более точная модель не генерирует токены с нуля, а проверяет предложенные варианты и выбирает подходящие.

Почему это быстрее? Основная модель за один проход может проверить сразу несколько токенов-кандидатов. Без этой техники каждый токен требует отдельного прохода через все слои нейросети. С assisted generation один проход даёт несколько готовых токенов. Накладные расходы на вычисления снижаются в разы.

Ранее мы разбирали похожий подход на примере ускорения Qwen3-8B на ноутбуках с Core Ultra, где спекулятивное декодирование в сочетании с глубинным прореживанием дало прирост в 1,4 раза. В случае со StarCoder эффект оказался гораздо заметнее благодаря более агрессивному квантованию и оптимизации под архитектуру Xeon.

Почему для первого токена - 8 бит, а для остальных - 4 бита

Разделение методов квантования для первого и последующих токенов - это ответ на разную природу узких мест в работе системы.

При генерации первого токена основная нагрузка - вычислительная. Модель обрабатывает весь входной контекст, выполняет массивные матричные умножения, и здесь важна скорость самих вычислений. 8-битное квантование даёт хороший баланс: числа достаточно точны, чтобы не потерять качество, а операции с ними выполняются ощутимо быстрее, чем с 16-битными.

Для последующих токенов картина меняется. Вычисления становятся менее интенсивными, но на первый план выходит скорость чтения весов модели из памяти. 4-битное квантование сокращает объём данных, которые нужно прочитать для каждого нового токена, в четыре раза по сравнению с 16-битным форматом. Память перестаёт быть бутылочным горлышком, и генерация ускоряется.

Этот подход перекликается с тем, что Hugging Face делает в своём инструменте Optimum для оптимизации Transformer-моделей, где квантование подбирается под конкретное железо.

Что с точностью: тесты HumanEval показывают даже небольшой рост

Когда модель сжимают и ускоряют, возникает закономерный вопрос: не теряет ли она в качестве? Для генерации кода это критично - неправильная строка может сломать всю программу.

Разработчики проверили оптимизированную версию StarCoder на тесте HumanEval. Это стандартный бенчмарк, в котором модель должна дописать код функции по описанию. Результат сравнивается с эталонным решением.

Цифры:

• Базовая версия StarCoder: 33,54% правильных решений.
• Оптимизированная версия: 33,96%.

Прирост в 0,42 процентных пункта - небольшой, но показательный. Он подтверждает, что квантование и assisted generation не разрушают способность модели генерировать корректный код. Возможная причина улучшения - эффект регуляризации: снижение точности весов иногда помогает модели обобщать чуть лучше, отсекая шум.

Главный вывод: ускорение в 7,3 раза достигнуто без компромисса по качеству. Это редкий случай, когда «быстрее» не означает «хуже».

Как это применить: практические выводы для разработчиков

Решение Intel и Hugging Face оптимизировано под процессоры Xeon, но лежащие в его основе принципы универсальны. Комбинация квантования и assisted generation применима к другим моделям и архитектурам CPU.

Что можно взять на вооружение уже сейчас:

1. Пробуйте квантование. Библиотеки вроде llama.cpp и Intel Extension for PyTorch поддерживают 4-битное и 8-битное квантование для многих популярных моделей. Начните с 8 бит - это безопасный уровень, почти не влияющий на точность.
2. Экспериментируйте с assisted generation. Для этого нужна пара моделей: основная и маленький «черновик». Подберите черновик с той же архитектурой, но с меньшим числом параметров.
3. Тестируйте на своих задачах. Прирост скорости сильно зависит от модели, оборудования и характера запросов. Для коротких ответов эффект может быть меньше, для длинных генераций - больше.
4. Используйте готовые решения. Hugging Face активно развивает инструменты для оптимизации инференса. Их опыт 100-кратного ускорения трансформерного вывода показывает, что компиляция модели под конкретное железо и фьюзинг слоёв дают кратный прирост даже без квантования.

Если вы работаете с моделями кода на собственных серверах, присмотритесь к этому подходу. Для тех, кто использует Xeon, есть дополнительный бонус: инструкции AMX в Sapphire Rapids ускоряют матричные умножения, а значит, и инференс будет ещё быстрее при том же коде.

Ограничения и что осталось за кадром

У решения есть границы применимости, о которых стоит знать.

Ускорение в 7,3 раза относится именно к TPOT - времени генерации каждого следующего токена. Полное время ответа включает подготовку первого токена, а этот этап ускоряется меньше. Если модель долго «думает» перед началом генерации, общее время сократится не в 7 раз, а скромнее.

Результаты получены на процессорах Xeon. На других архитектурах - AMD EPYC, Ampere, потребительских Core - эффект может быть иным. Оптимизации под конкретное железо всегда дают лучший результат, чем универсальные решения.

В открытых материалах не раскрыты детали: какой именно объём имеет модель-черновик, насколько она меньше основной StarCoder, какие конкретно настройки квантования использованы. Для воспроизведения в своих проектах потребуется самостоятельное экспериментирование.

Тем не менее, сам факт семикратного ускорения генерации кода на CPU - это сильный сигнал. Модели на процессорах становятся всё более практичными, а грань между CPU и GPU для задач инференса продолжает стираться.