ChatGPT дал ссылку на исследование. Как проверить, что оно подтверждает ответ

Допустим, для презентации вы попросили ИИ собрать аргументы, и в черновике появился тезис: «ИИ сокращает время подготовки любого текста на 30%» со ссылкой на исследование. Цифры и отчёт в этом примере условные, чтобы наглядно разобрать механизм проверки. Переход по ссылке часто успокаивает автора презентации: страница открывается, заголовок выглядит научно, значит, тезис можно оставлять на слайде. На деле проверка в этот момент только начинается.

Работающая ссылка ещё не подтверждает вывод

Когда нейросеть сопровождает ответ ссылкой, перед читателем стоят две разные задачи. Сначала нужно убедиться, что названная публикация вообще существует. Затем — проверить, следует ли из неё тот вывод, который сформулировала модель.

Генеративные системы способны уверенно подавать неверные сведения, а правдоподобные обоснования и ссылки усиливают неоправданное доверие к ответу. Национальный институт стандартов и технологий США (NIST) описывает этот риск в профиле генеративного ИИ NIST AI 600-1 (раздел 2.2 Confabulation). Документ не задаёт универсального процента ошибок для всех моделей и сам по себе не доказывает ложность конкретного ответа. Однако из него следует практический принцип: наличие ссылки не освобождает от сверки содержательного утверждения с первоисточником.

Нейросеть может сослаться на настоящую работу, но исказить её при пересказе. Например, модель опускает ограничения выборки, превращает результат узкого теста в общее правило или подменяет показатель, который измеряли авторы.

Четыре проверки одного утверждения

Чтобы понять, опирается ли тезис из черновика на реальные данные, удобно пройти четыре шага. Вернёмся к нашему условному примеру про «сокращение времени подготовки любого текста на 30%».

1. Реквизиты и идентификация. Сначала проверяем, существует ли документ с указанным названием, авторами и годом. Если в ответе есть DOI — постоянный идентификатор цифрового объекта, — он помогает быстро найти карточку публикации. В документации Crossref указано, что сервис собирает метаданные и лишь иногда включает ссылки на полный текст.

При этом DOI регистрирует не только Crossref, а отсутствие такого идентификатора у рабочего отчёта или отраслевого обзора не делает документ поддельным. Совпадение реквизитов в независимой карточке издателя, репозитория или реестра — а не в повторном ответе ИИ — помогает идентифицировать работу. Однако правильность пересказа и самого результата оно не подтверждает.

2. Первоисточник и полный текст. Страница, куда ведёт DOI или ссылка из чата, нередко содержит лишь библиографическое описание и краткую аннотацию (abstract). Иногда для проверки утверждения хватает и этих сведений, но чтобы сверить условия расчёта, обычно нужен полный текст или таблицы с результатами. Если доступ открыт только к краткому описанию и проверить методику по нему нельзя, додумывать содержание статьи не стоит. Это ещё не значит, что тезис ложный, но проверка остаётся неполной.

3. Конкретный фрагмент. Открыв полный текст нашего условного отчёта, ищем место, где говорится именно про 30%. Здесь важна точность формулировок. Например, сокращение времени на 30% и изменение другого показателя на те же 30% математически не одно и то же. Если в таблице указана одна метрика, а в тексте для презентации другая, вывод уже искажён.

4. Условия и ограничения. Допустим, цифра 30% в условном отчёте нашлась. Теперь смотрим, как её получили: в тесте участвовали 20 человек, они выполняли одну типовую задачу, а таймер фиксировал только создание черновика без этапа редакторской вычитки и проверки фактов. Более того, если авторы просто наблюдали за группой без строгого контроля других факторов, приписывать весь эффект исключительно инструменту нельзя. В таком случае исходная фраза ИИ про «любой текст» и общую экономию времени оказывается неподтверждённым обобщением.

Что исправить перед публикацией

Когда расхождение между ответом нейросети и текстом исследования найдено, остаётся выбрать действие для самого документа или слайда. Повторный вопрос тому же чат-боту или проверка через другую языковую модель могут подсказать направление поиска или помочь выделить тезисы для сверки, но согласие двух нейросетей не заменяет первоисточник и не подтверждает факт.

Выбор правки зависит от того, что именно обнаружилось при чтении исходной работы:

Что показала проверка → Что делать с тезисом в тексте

• Вывод, цифры и масштаб полностью совпадают с данными статьи
  Оставить утверждение и ссылку без изменений
• Цифра верна, но получена на узкой задаче или малой выборке
  Сузить формулировку до реальных условий (например, указать тип текста, размер группы и учёт только черновика)
• Полный текст закрыт, а в аннотации нет нужных деталей расчёта
  Пометить тезис как непроверенный или заменить источник на доступный первоисточник
• В работе нет такого результата или ссылка вымышлена
  Удалить утверждение из материала

В нашем условном примере честное решение для слайда выглядит так: убрать слово «любой» и прямо написать, что в тесте на 20 участниках время подготовки первичного черновика для одной конкретной задачи сократилось на 30%, без учёта последующей редактуры.

Сверка отдельной ссылки решает локальную задачу, но в больших документах проверять приходится также расчёты, даты, имена и логические связки без прямых цитат. Подробная методика и сводная таблица для таких случаев разобраны в материале https://timofei-ermolaev.ru/llm/faktcheking-otvetov-neyroseti/.