Решения Сколково · Термин

RAG

RAG — подход, при котором система получает подходящие фрагменты из внешних источников и использует их как контекст для ответа языковой модели. Название происходит от retrieval-augmented generation — генерации с извлечением информации. Такой поиск не равен дообучению модели и сам по себе не гарантирует правильного ответа.

RAG: что означает генерация с поиском

Сначала система ищет сведения, относящиеся к вопросу, затем передаёт найденный контекст модели. Источником могут быть документы, база знаний или другая доступная коллекция.

На результат влияют качество поиска, состав базы, актуальность документов и то, как система использует найденные фрагменты. Хорошая модель не компенсирует автоматически отсутствие нужного источника.

Как RAG связывает источник и ответ

Ссылка позволяет проверить, на что опирается ответ, но её наличие ещё не подтверждает вывод. Важны соответствие цитируемого фрагмента вопросу и сохранение смысла документа.

Условный пример: система нашла старую редакцию внутреннего регламента. Ответ может выглядеть обоснованным и содержать реальную ссылку, но описывать порядок, который компания уже изменила.

Чем поиск отличается от дообучения

При RAG сведения обычно передаются в контексте конкретного запроса. Дообучение меняет параметры модели на обучающих данных. Эти процессы решают разные задачи и могут применяться совместно.

Обновление базы документов не означает автоматического переобучения модели. И наоборот, дообученная модель не обязательно умеет находить и показывать актуальный документ по конкретному вопросу.

Доступ, актуальность и проверка цитируемого фрагмента

Поиск должен учитывать права пользователя на документы. Наличие текста в общей базе не означает, что его можно раскрыть любому сотруднику или внешнему получателю.

Для внедрения определяют владельцев источников, порядок обновления, допустимые данные и проверку ответа. RAG полезно оценивать по реальным вопросам компании, включая случаи, когда нужного подтверждения в базе нет.