От первых экспериментов с собственной языковой моделью до пересмотра обучения и подготовки нового корпуса. Что удалось проверить, какие подходы не дали нужного результата и почему проект менял направление.
Три эксперимента с небольшой моделью выявили забывание, пользу повторения прежнего материала и отсутствие надёжного протокола памяти даже после снижения ошибки обучения.
Короткая контролируемая проверка численной точности показала уменьшение среднего знакового отклонения записи обновлений примерно в 90 раз. Отдельный более поздний запуск подтвердил устойчивость обучения с точным состоянием, но не готовность модели.
Меньше — лучше. Измерение первого шага на одинаковых реальных весах и градиентах. Это среднее знаковое отклонение, не средняя абсолютная ошибка каждого веса и не качество ответов.
Лидер по компактности текста не стал лидером пробного обучения. Сравнение на одинаковых исходных документах изменило выбор и показало, почему длины токенизированного текста недостаточно.
Три варианта на одинаковом исходном тексте. Показатель нормирован по байтам; ось начинается с нуля. Это прогнозирование текста пробной моделью, не качество готового ассистента.
Правила вокруг модели могут улучшать наблюдаемый результат без изменения её весов. Разбираем раннее сравнение ассистента и модели и отдельную проверку защиты от некорректного текста и повторов.
Августовское парное сравнение на одной модели с неизменными весами: 400 запросов × 4 режима. Это механические нарушения генерации, не смысловая правильность.
Завершённый запуск на 80 000 шагов и 327,68 млн обучающих токенов. Публикуем кривые обучения и результат отдельной проверки способностей — включая непройденные критерии.
Меньше — лучше. 17 наблюдений; train — среднее за 250 шагов, dev — контрольная выборка. Линии соединяют измеренные точки и не изображают непрерывное наблюдение.
Сравнили базовую модель и её дообученную версию на одинаковых заданиях. Завершение ответов улучшилось, тяжёлые повторы сократились, однако критерии приёмки ассистента не выполнены.
Каждая модель: 128 заданий × 2 режима = 256 ответов. Ось начинается с нуля. Правильность, дегенерация и завершение — разные показатели, а не части одной суммы.
Неудачные проверки модели заставили пересмотреть не только обучение, но и данные, токенизацию и саму оценку. Разбираем измеренные результаты этих изменений и работу над новым корпусом, которая продолжается на 26 сентября 2026 года.
Меньше — компактнее. Среднее с равным весом четырёх групп текста на одной выборке. Сравнение проведено 20 августа 2026 года; это не метрика качества ответов модели.
Дата эксперимента сверена с рабочим журналом. Дата публикации — день появления материала на сайте. Эти исследования не являются объявлением готового продукта или независимой сертификацией модели.