Обучение памяти: сохранение прежних навыков не гарантирует освоение нового

Можно ли научить небольшую языковую модель работе с памятью, сохранив выполнение обычных инструкций?

Исследовали собственную модель примерно на 4 млн параметров и набор из 400 записей: 320 обучающих, 40 для промежуточной проверки и 40 отложенных. Каждая из трёх попыток начиналась от одной исходной модели. Это последовательность диагностических экспериментов, а не случайно распределённое исследование одного фактора.

Первая попытка обучала операции памяти. Во второй добавили повторение прежнего обучающего материала и согласовали форму обучающих ответов с проверкой. В третьей усилили обучение памяти, сохранив повторение. Между попытками менялись несколько условий; улучшения нельзя приписать только одной настройке.

Общие навыки проверяли отдельными неизменными тестами. График показывает правильные ответы в тесте из 25 инструкций. Он не смешивает эти задания с заданиями памяти и не измеряет знания на произвольных запросах.

В раннем измерителе обнаружили дефект: обработка оставляла только первую строку ответа, хотя часть протоколов требовала несколько строк. Поэтому ранние нулевые оценки многострочных операций не являются чистым доказательством отсутствия навыка. До финальной попытки обработку исправили и проверили сохранение многострочных ответов. Финальные результаты приведены отдельно.

Финальная проверка памяти включала 54 задания распознавания намерения, 40 нормализации записи, 48 безопасности, 56 предложения и подтверждения изменений и 48 отказа при отсутствии сведений: всего 246 случаев. В 56 случаях изменения памяти было 72 оцениваемых хода; ходы не прибавляются к числу случаев. Успех требовал корректного протокола и выполнения критериев задачи.

При обучении только новой задаче выполнение общих инструкций упало с 92% до 20%. Во второй попытке повторение прежних данных сопровождалось восстановлением этого показателя до 92%. Это подтверждённая разница на фиксированном небольшом тесте, не универсальная гарантия сохранения навыков.

В финальной попытке ошибка памяти последовательно снижалась: 5,7350; 4,0609; 3,3282; 2,8774; 2,5970. Однако модель всё ещё не выдавала требуемый протокол. Даже единственный разобранный ответ распознавания намерения не прошёл критерий задачи. Снижение ошибки и успех в операциях памяти — разные результаты.

Неудача не доказывает невозможность обучения памяти для любых небольших моделей. Проверена одна архитектура, ограниченные данные и три режима. Решение остановить это направление на прежних условиях относилось к конкретным экспериментам.

Ранние результаты многострочных операций ограничены дефектом извлечения; они не объединяются с исправленной финальной проверкой в одну кривую памяти. Исправление измерителя само по себе не означает улучшения модели.

Общие тесты невелики. Нет повторных запусков для оценки разброса; в последовательных попытках менялись несколько факторов. Сравнение не выделяет независимый причинный эффект только повторения данных.

Проверка касается генерации моделью протокола памяти, не эффективности внешнего хранилища, защиты рабочей системы или качества готового продукта. Независимое повторение эксперимента не представлено.