Как настроить нейросеть под себя: простое сравнение методов DPO, IPO и KTO

Зачем дообучать нейросеть: проблема «шумных» ответов

Стандартная большая языковая модель, даже самая мощная, редко выдает идеальный ответ с первого раза. Пользователь спрашивает о стратегии найма, а получает шаблонный абзац из учебника по менеджменту. Компания хочет, чтобы чат-бот общался в стиле её бренда, а модель генерирует сухой бюрократический текст. Это и есть проблема «шумных» ответов: технически верных, но бесполезных или неуместных для конкретного человека и задачи.

Процесс приведения ответов модели к ожиданиям и ценностям людей называется alignment, или выравнивание. Раньше для этого требовались сложные инженерные решения и отдельные нейросети для оценки качества. Сегодня разработчики и даже небольшие команды используют прямые методы дообучения под предпочтения. Три главных способа - DPO, IPO и KTO - решают одну задачу: научить модель выбирать «хороший» ответ вместо «плохого», опираясь на примеры, которые вы ей показываете. Выбор конкретного метода часто менее критичен, чем правильная настройка одного ключевого параметра - бета. Но обо всём по порядку.

Три способа «воспитать» модель: DPO, IPO и KTO простыми словами

Все три метода работают с парами данных: «хороший ответ» и «плохой ответ» на один и тот же запрос. Цель - сдвинуть поведение модели в сторону хороших ответов, не сломав при этом её базовые знания. Разница в том, как именно считается этот сдвиг и насколько стабильно проходит обучение.

DPO: прямой путь к предпочтениям

Direct Preference Optimization, или DPO, работает напрямую с вашими примерами. Представьте, что вы учите стажёра: не объясняете ему систему премий и штрафов, а просто показываете пары «это письмо клиенту отличное, а это - провальное». DPO не создаёт отдельную модель для оценки, а сразу корректирует основную нейросеть, увеличивая вероятность хороших ответов и снижая вероятность плохих.

Это самый распространённый метод на середину 2026 года. Его главный плюс - простота и скорость. Не нужно обучать дополнительную нейросеть-критика, что экономит вычислительные ресурсы. Минус - чувствительность к качеству данных. Если в ваших примерах «хороший» ответ на самом деле содержит фактическую ошибку, DPO послушно закрепит эту ошибку. Метод требует тщательной ручной проверки обучающих пар.

IPO: стабильность через итерации

Iterative Preference Optimization, или IPO, действует иначе. Он не просто сравнивает готовые пары ответов, а итеративно генерирует новые ответы самой моделью в процессе обучения и сравнивает их с эталонными. Это похоже на шахматиста, который после каждой партии анализирует свои ходы и корректирует стратегию, а не просто запоминает чужие победы и поражения.

Такой подход делает IPO более стабильным и менее склонным к переобучению. Модель не просто заучивает «правильные» фразы, а учится рассуждать в нужном направлении. Плата за стабильность - повышенные требования к вычислительным ресурсам. Итеративная генерация во время обучения замедляет процесс и требует больше памяти. Для небольших команд с ограниченным бюджетом это может быть критично.

KTO: перспективный, но сырой

Kahneman-Tversky Optimization, или KTO, - самый новый и экспериментальный метод. Он заимствует идеи из психологии принятия решений, в частности концепцию «неприятия потерь»: человек сильнее расстраивается от потери $100, чем радуется от находки той же суммы. KTO встраивает эту асимметрию в процесс обучения модели. Нейросеть штрафуется за плохие ответы сильнее, чем поощряется за хорошие.

Результат - ответы становятся более осторожными и естественными в спорных ситуациях. Модель, дообученная через KTO, реже выдаёт опасные или этически сомнительные формулировки. Однако метод остаётся экспериментальным. Научное сообщество ещё не накопило достаточно данных о его поведении на разных архитектурах и типах задач. Использовать KTO в продукте сегодня - риск, который может окупиться, а может привести к неожиданным провалам в качестве.

Почему выбор метода - не главное: секрет параметра бета

Исследовательская практика 2025–2026 годов показывает: смена DPO на IPO часто даёт меньший прирост качества, чем аккуратная настройка параметра бета внутри одного метода. Бета - это коэффициент, который контролирует, насколько сильно модель может отклоняться от своих исходных ответов после дообучения.

При слишком маленькой бете (например, 0.01) модель агрессивно подстраивается под новые примеры и «забывает» всё, чему научилась за месяцы предварительного обучения. Она начинает генерировать однообразные фразы из вашего датасета и теряет связность на темах, которых не было в примерах. При слишком большой бете (например, 1.0) модель почти не меняется. Вы потратили время на разметку данных, а чат-бот продолжает отвечать как раньше.

Оптимальный диапазон для старта - бета от 0.1 до 0.3. Возьмите 0.1 как базовое значение, обучите модель на небольшой выборке и протестируйте на десятке запросов. Если ответы стали слишком шаблонными - увеличьте бета до 0.2. Если модель всё ещё не следует вашим предпочтениям - уменьшите до 0.05. Три итерации с разными значениями беты часто дают более контролируемый результат, чем перебор трёх разных методов с настройками по умолчанию.

Сравнение на практике: один метод, разные модели

Эффективность метода дообучения не абсолютна. Она зависит от архитектуры модели и данных, на которых та обучалась изначально. Практический пример: возьмём DPO с одинаковыми настройками и одинаковым датасетом «хороших и плохих ответов» для задачи технической поддержки. Применим его к двум открытым моделям - Llama-3 и Mistral.

На Llama-3 ответы становятся значительно полезнее: модель перестаёт давать общие советы и начинает запрашивать у пользователя конкретные детали проблемы. На Mistral возникает побочный эффект: модель становится избыточно вежливой, добавляет длинные вступления и извинения перед каждым ответом, что раздражает пользователей и замедляет решение проблемы. Причина - в разной структуре весов внимания и разном распределении обучающих данных, на которых создавались базовые версии этих моделей. Mistral исходно более «разговорчив», и DPO усилил эту черту в нежелательную сторону.

Этот пример подтверждает правило: нет метода, который гарантированно сработает на любой модели. Перед запуском дообучения проведите A/B-тест на небольшом объёме данных. Сравните не только финальное качество, но и скорость обучения, стабильность функции потерь и разнообразие генерируемых ответов. Подробнее о том, как нейросети генерируют текст и почему разнообразие важно, читайте в нашем разборе методов декодирования - от жадного поиска до случайной выборки.

Какой метод выбрать сегодня: надежность vs. перспективность

Сведём практические выводы в таблицу для быстрого сравнения.

Для старта выбирайте DPO. Это надёжный инструмент, который закрывает 80% потребностей в дообучении под предпочтения. Если вы работаете в сфере, где цена ошибки высока - медицина, юриспруденция, финансы - присмотритесь к IPO. Его итеративная природа снижает вероятность закрепления опасных паттернов. KTO оставьте для исследовательских проектов: метод перспективный, но его поведение на разных моделях и датасетах пока недостаточно изучено.

Базовые концепции alignment, включая RLHF и другие подходы, которые исторически предшествовали DPO, мы разбирали в статье о создании полезных AI-ассистентов. Понимание этой эволюции поможет точнее настроить ожидания от каждого метода.

С чего начать настройку своей нейросети: пошаговый план

Теория становится ценной, когда переходит в действие. Вот минимальный путь от идеи до работающего прототипа.

Шаг 1. Соберите примеры. Подготовьте от 50 до 200 пар «запрос - хороший ответ - плохой ответ» для вашей конкретной задачи. Хороший ответ - тот, который вы хотите видеть от модели. Плохой - реальный ответ текущей версии модели, который вас не устраивает. Не берите чужие датасеты без проверки: DPO критичен к качеству разметки.

Шаг 2. Выберите инструмент. Для работы с DPO и IPO используйте библиотеку TRL (Transformer Reinforcement Learning) от Hugging Face или фреймворк Axolotl. Оба инструмента поддерживают форматы датасетов для пар предпочтений и имеют документацию с примерами запуска. Если вы раньше не работали с дообучением моделей, полезно освежить понимание того, как эффективно использовать предобученные модели - об этом наш материал про warm-starting и экономию ресурсов.

Шаг 3. Запустите обучение с бета=0.1. Не меняйте остальные гиперпараметры без необходимости. Используйте одну видеокарту с 24 ГБ памяти для моделей до 7 миллиардов параметров. Обучение на 100 примерах займёт от 15 до 40 минут.

Шаг 4. Оцените результат. Подготовьте 20–30 тестовых запросов, которых не было в обучающей выборке. Сравните ответы базовой и дообученной модели по трём критериям: полезность, соответствие вашему стилю, отсутствие новых ошибок. Если модель стала хуже справляться с запросами не по вашей теме - увеличьте бета.

Шаг 5. Итерация. При неудовлетворительном качестве после трёх попыток настройки беты переходите к IPO. Он менее чувствителен к подбору гиперпараметров и даёт более предсказуемый результат ценой большего времени обучения.

Проект «Среда AI» продолжит публиковать практические кейсы дообучения моделей под конкретные бизнес-задачи. Если вы экспериментировали с DPO, IPO или KTO и получили интересные результаты - расскажите нам. Обратная связь помогает делать следующие материалы точнее и полезнее.