Что меняется при дообучении модели
Базовая модель уже обладает некоторыми возможностями. Дообучение использует эту основу, чтобы изменить поведение: например, устойчивее соблюдать нужный формат или лучше решать определённый тип задач.
Способ настройки зависит от архитектуры и доступного инструмента. Не обязательно изменять все исходные параметры: некоторые методы обучают ограниченную часть или дополнительные адаптеры, сохраняя основную модель.
Базовая модель и целевые примеры
Целевые примеры должны показывать желательное поведение, включая сложные случаи. Если ответы противоречат друг другу, модель получает неясный сигнал о том, какой результат считать предпочтительным.
Например, для классификации обращений нужны согласованные категории и правила спорных случаев. Простое накопление переписки без отбора не гарантирует улучшения и может закрепить прежние ошибки сотрудников.
Дообучение, промпт и RAG
Промпт направляет работу модели в конкретном обращении без обязательного изменения её параметров. RAG добавляет найденные материалы в контекст, чтобы ответ опирался на доступные документы.
Эти способы можно сочетать с дообучением, но они решают разные задачи. Добавление файла к запросу само по себе не означает, что модель навсегда освоила его содержание.
Как проверить пользу и побочные изменения
Пользу проверяют на отдельных примерах, которые не использовали для настройки. Сравнивают с базовым вариантом и оценивают не только улучшенную задачу, но и возможное ухудшение других свойств.
Дообучение не гарантирует устранения вымышленных ответов или точного воспроизведения загруженных фактов. Права на обучающие материалы, допустимость передачи данных и условия поставщика проверяются отдельно от технического результата.