Что называют галлюцинацией языковой модели
Термин описывает свойство результата, а не человеческое намерение. Модель не следует обвинять в сознательной лжи: для проверки полезнее установить, какие утверждения не подтверждаются и откуда они появились.
Граница зависит от задачи. В художественном тексте вымысел может быть ожидаемым результатом, а в справке о существующей организации тот же вымышленный факт становится существенной ошибкой.
Вымышленные факты, ссылки и цитаты
Модель может придумать название исследования, адрес страницы или содержание цитаты. Иногда источник существует, но не содержит приписанного ему вывода, что также требует исправления ответа.
Например, реальная статья может упоминать технологию, не подтверждая заявленную эффективность. Проверки наличия ссылки недостаточно: нужно сопоставить конкретное утверждение с доступным фрагментом оригинала.
Почему уверенный тон не подтверждает ответ
Языковая гладкость и подробное объяснение не являются доказательствами. Несколько последовательно построенных предложений могут развивать одно неверное предположение и создавать видимость дополнительных оснований для него.
Повторный вопрос той же модели тоже не гарантирует независимой проверки. Она может воспроизвести ошибку или изменить формулировку, не получив новых сведений о действительности.
Проверка источника и ограничения мер защиты
Существенные факты проверяют по подходящим первичным источникам. Если оригинал недоступен или не удалось прочитать нужный фрагмент, это ограничение сохраняют, не выдавая предположение за подтверждённый результат.
Поиск по документам, дообучение и настройки генерации могут уменьшать отдельные риски, но не обеспечивают полного устранения ошибок. Порядок контроля выбирают с учётом последствий неверного ответа.