Перейти к содержимому
Новости
Исследования

ORCNEIT Lab / Научно-инженерные публикации

Исследования

Как мы обучаем и проверяем свою модель. Эксперименты, измерения и выводы — с условиями проверки и открыто обозначенными ограничениями.

Публикации лаборатории

№ 04Обзор результатов · В работе

ORCNEITGPT: с чего начался проект и к чему пришёл

От первых экспериментов с собственной языковой моделью до пересмотра обучения и подготовки нового корпуса. Что удалось проверить, какие подходы не дали нужного результата и почему проект менял направление.

Период наблюдений
—
Опубликовано
Читать исследование

№ 05Исследование дообучения

Обучение памяти: сохранение прежних навыков не гарантирует освоение нового

Три эксперимента с небольшой моделью выявили забывание, пользу повторения прежнего материала и отсутствие надёжного протокола памяти даже после снижения ошибки обучения.

Проведено
Опубликовано
Читать исследование

Сохранение выполнения инструкций

Правильных ответов из 25

До дообучения

23

Только память

5

Память и повторение

23

Усиленное обучение с повторением

20
Один и тот же общий тест инструкций. Это не оценка памяти. Четыре состояния модели; ось начинается с нуля.

№ 06Исследование численной точности

Как сохранить малые обновления при обучении

Короткая контролируемая проверка численной точности показала уменьшение среднего знакового отклонения записи обновлений примерно в 90 раз. Отдельный более поздний запуск подтвердил устойчивость обучения с точным состоянием, но не готовность модели.

Проведено
—
Опубликовано
Читать исследование

Отклонение записи обновления

|Средняя знаковая ошибка|

Округление к ближайшему

7,76E-8

Стохастическое округление

8,58E-10
Меньше — лучше. Измерение первого шага на одинаковых реальных весах и градиентах. Это среднее знаковое отклонение, не средняя абсолютная ошибка каждого веса и не качество ответов.

№ 07Исследование представления текста

Выбор токенизации через обучение, а не только через сжатие

Лидер по компактности текста не стал лидером пробного обучения. Сравнение на одинаковых исходных документах изменило выбор и показало, почему длины токенизированного текста недостаточно.

Проведено
Опубликовано
Читать исследование

Результат пробного обучения

Бит на байт; меньше — лучше

Лидер по сжатию

2,374638

Второй вариант

2,298133

Выбранный вариант

2,288238
Три варианта на одинаковом исходном тексте. Показатель нормирован по байтам; ось начинается с нуля. Это прогнозирование текста пробной моделью, не качество готового ассистента.

№ 08Исследование генерации

Внешняя защита ответов и способности модели: что меняется на самом деле

Правила вокруг модели могут улучшать наблюдаемый результат без изменения её весов. Разбираем раннее сравнение ассистента и модели и отдельную проверку защиты от некорректного текста и повторов.

Проведено
—
Опубликовано
Читать исследование

Тяжёлые нарушения генерации

Ответов из 1 600; меньше — лучше

Без внешней защиты

499

С внешней защитой

433
Августовское парное сравнение на одной модели с неизменными весами: 400 запросов × 4 режима. Это механические нарушения генерации, не смысловая правильность.

№ 01Обучение модели

Обучение языковой модели с нуля: измерения и проверка результата

Завершённый запуск на 80 000 шагов и 327,68 млн обучающих токенов. Публикуем кривые обучения и результат отдельной проверки способностей — включая непройденные критерии.

Проведено
—
Опубликовано
Читать исследование

Изменение ошибки при обучении

Loss
040 00080 000

Шаг обучения

Меньше — лучше. 17 наблюдений; train — среднее за 250 шагов, dev — контрольная выборка. Линии соединяют измеренные точки и не изображают непрерывное наблюдение.

№ 02Эксперимент с дообучением

Дообучение для диалога: меньше повторов, но ещё недостаточно правильных ответов

Сравнили базовую модель и её дообученную версию на одинаковых заданиях. Завершение ответов улучшилось, тяжёлые повторы сократились, однако критерии приёмки ассистента не выполнены.

Проведено
Опубликовано
Читать исследование

До и после дообучения

Ответов из 256

Правильные ответы ↑

Базовая модель: 0 / 256
После дообучения: 43 / 256

Тяжёлая дегенерация ↓

Базовая модель: 238 / 256
После дообучения: 36 / 256

Обычное завершение ↑

Базовая модель: 18 / 256
После дообучения: 239 / 256
Каждая модель: 128 заданий × 2 режима = 256 ответов. Ось начинается с нуля. Правильность, дегенерация и завершение — разные показатели, а не части одной суммы.

№ 03Инженерное исследование · В работе

Почему мы пересобираем обучающий корпус

Неудачные проверки модели заставили пересмотреть не только обучение, но и данные, токенизацию и саму оценку. Разбираем измеренные результаты этих изменений и работу над новым корпусом, которая продолжается на 26 сентября 2026 года.

Период наблюдений
—
Опубликовано
Читать исследование

Выбор словаря: компактность записи

Токенов на байт UTF-8

Малый словарь

0,365322

Средний · выбран

0,354379

Большой словарь

0,348899
Меньше — компактнее. Среднее с равным весом четырёх групп текста на одной выборке. Сравнение проведено 20 августа 2026 года; это не метрика качества ответов модели.

Дата эксперимента сверена с рабочим журналом. Дата публикации — день появления материала на сайте. Эти исследования не являются объявлением готового продукта или независимой сертификацией модели.