Перейти к содержимому
Новости
Исследования

ORCNEIT Lab / Научно-инженерные публикации

Исследования

Как мы обучаем и проверяем свою модель. Эксперименты, измерения и выводы — с условиями проверки и открыто обозначенными ограничениями.

Публикации лаборатории

№ 01Обучение модели

Обучение языковой модели с нуля: измерения и проверка результата

Завершённый запуск на 80 000 шагов и 327,68 млн обучающих токенов. Публикуем кривые обучения и результат отдельной проверки способностей — включая непройденные критерии.

Проведено
—
Опубликовано
Читать исследование

Изменение ошибки при обучении

Loss
040 00080 000

Шаг обучения

Меньше — лучше. 17 наблюдений; train — среднее за 250 шагов, dev — контрольная выборка. Линии соединяют измеренные точки и не изображают непрерывное наблюдение.

№ 02Эксперимент с дообучением

Дообучение для диалога: меньше повторов, но ещё недостаточно правильных ответов

Сравнили базовую модель и её дообученную версию на одинаковых заданиях. Завершение ответов улучшилось, тяжёлые повторы сократились, однако критерии приёмки ассистента не выполнены.

Проведено
Опубликовано
Читать исследование

До и после дообучения

Ответов из 256

Правильные ответы ↑

Базовая модель: 0 / 256
После дообучения: 43 / 256

Тяжёлая дегенерация ↓

Базовая модель: 238 / 256
После дообучения: 36 / 256

Обычное завершение ↑

Базовая модель: 18 / 256
После дообучения: 239 / 256
Каждая модель: 128 заданий × 2 режима = 256 ответов. Ось начинается с нуля. Правильность, дегенерация и завершение — разные показатели, а не части одной суммы.

№ 03Инженерное исследование · В работе

Почему мы пересобираем обучающий корпус

Неудачные проверки модели заставили пересмотреть не только обучение, но и данные, токенизацию и саму оценку. Разбираем измеренные результаты этих изменений и работу над новым корпусом, которая продолжается на 26 сентября 2026 года.

Период наблюдений
—
Опубликовано
Читать исследование

Выбор словаря: компактность записи

Токенов на байт UTF-8

Малый словарь

0,365322

Средний · выбран

0,354379

Большой словарь

0,348899
Меньше — компактнее. Среднее с равным весом четырёх групп текста на одной выборке. Сравнение проведено 20 августа 2026 года; это не метрика качества ответов модели.

Дата эксперимента сверена с рабочим журналом. Дата публикации — день появления материала на сайте. Эти исследования не являются объявлением готового продукта или независимой сертификацией модели.