Дообучение для диалога: меньше повторов, но ещё недостаточно правильных ответов

Поможет ли дополнительное обучение на диалогах не только правильно завершать реплики, но и решать поставленные задачи?

Исходной точкой стала модель из завершённого запуска базового обучения. Затем выполнено дообучение с учителем: 1 144 шага оптимизатора, без NaN/Inf. Результат сравнили с той же базовой моделью.

Проверка включала 128 заданий в двух режимах генерации — детерминированном и с выборкой. Получены 256 ответов от каждой модели. Это 256 результатов, а не 256 независимых заданий.

Набор заданий и смысловые критерии были зафиксированы до подготовки данных дообучения. Для поддержки формата сохранённой дообученной модели пришлось исправить загрузчик проверки; после исправления обе модели проверили заново. Сами задания и правила оценки не менялись.

Отдельно считали правильность решения, тяжёлую дегенерацию текста, обычное завершение ответа, остановку по лимиту и остановку из-за петли повторов. У этих показателей разный смысл: хороший способ завершения не делает ответ правильным.

После дообучения модель стала чаще завершать ответ обычным образом: 239 случаев вместо 18. Число генераций с тяжёлой дегенерацией сократилось с 238 до 36. Это конкретный результат изменения весов в эксперименте, а не эффект правил интерфейса.

При этом правильными оказались только 43 ответа из 256. В арифметике, точном выполнении инструкции, ответах по предоставленному материалу, многошаговом диалоге и структурированном JSON результат остался нулевым. В заданиях на Python — 1 из 32, на уточнение запроса — 18 из 32, на признание ограничений — 24 из 32.

Такой результат нельзя назвать готовым ассистентом. Эксперимент показал, что уменьшение повторов и освоение формы диалога сами по себе не решают проблему правильности ответов.

Сравнение относится к одному эксперименту и одному внутреннему набору. Оно не описывает качество на всех пользовательских запросах и не позволяет сравнивать модель с чужими продуктами.

Обе модели проходили одинаковые задания. Результаты разных режимов генерации на одном задании связаны; интервалы статистической неопределённости для этого сравнения не рассчитывались.

Данные взяты из журнала и итогового отчёта ORCNEIT. Независимая переоценка этого эксперимента не проводилась.