Работающая ссылка ещё не подтверждает вывод

Когда нейросеть сопровождает ответ ссылкой, перед читателем стоят две разные задачи. Сначала нужно убедиться, что названная публикация вообще существует. Затем — проверить, следует ли из неё тот вывод, который сформулировала модель.

Генеративные системы способны уверенно подавать неверные сведения, а правдоподобные обоснования и ссылки усиливают неоправданное доверие к ответу. Национальный институт стандартов и технологий США (NIST) описывает этот риск в профиле генеративного ИИ NIST AI 600-1 (раздел 2.2 Confabulation). Документ не задаёт универсального процента ошибок для всех моделей и сам по себе не доказывает ложность конкретного ответа. Однако из него следует практический принцип: наличие ссылки не освобождает от сверки содержательного утверждения с первоисточником.

Нейросеть может сослаться на настоящую работу, но исказить её при пересказе. Например, модель опускает ограничения выборки, превращает результат узкого теста в общее правило или подменяет показатель, который измеряли авторы.

Четыре проверки одного утверждения

Чтобы понять, опирается ли тезис из черновика на реальные данные, удобно пройти четыре шага. Вернёмся к нашему условному примеру про «сокращение времени подготовки любого текста на 30%».

1. Реквизиты и идентификация. Сначала проверяем, существует ли документ с указанным названием, авторами и годом. Если в ответе есть DOI — постоянный идентификатор цифрового объекта, — он помогает быстро найти карточку публикации. В документации Crossref указано, что сервис собирает метаданные и лишь иногда включает ссылки на полный текст.

При этом DOI регистрирует не только Crossref, а отсутствие такого идентификатора у рабочего отчёта или отраслевого обзора не делает документ поддельным. Совпадение реквизитов в независимой карточке издателя, репозитория или реестра — а не в повторном ответе ИИ — помогает идентифицировать работу. Однако правильность пересказа и самого результата оно не подтверждает.

2. Первоисточник и полный текст. Страница, куда ведёт DOI или ссылка из чата, нередко содержит лишь библиографическое описание и краткую аннотацию (abstract). Иногда для проверки утверждения хватает и этих сведений, но чтобы сверить условия расчёта, обычно нужен полный текст или таблицы с результатами. Если доступ открыт только к краткому описанию и проверить методику по нему нельзя, додумывать содержание статьи не стоит. Это ещё не значит, что тезис ложный, но проверка остаётся неполной.

3. Конкретный фрагмент. Открыв полный текст нашего условного отчёта, ищем место, где говорится именно про 30%. Здесь важна точность формулировок. Например, сокращение времени на 30% и изменение другого показателя на те же 30% математически не одно и то же. Если в таблице указана одна метрика, а в тексте для презентации другая, вывод уже искажён.

4. Условия и ограничения. Допустим, цифра 30% в условном отчёте нашлась. Теперь смотрим, как её получили: в тесте участвовали 20 человек, они выполняли одну типовую задачу, а таймер фиксировал только создание черновика без этапа редакторской вычитки и проверки фактов. Более того, если авторы просто наблюдали за группой без строгого контроля других факторов, приписывать весь эффект исключительно инструменту нельзя. В таком случае исходная фраза ИИ про «любой текст» и общую экономию времени оказывается неподтверждённым обобщением.

Что исправить перед публикацией

Когда расхождение между ответом нейросети и текстом исследования найдено, остаётся выбрать действие для самого документа или слайда. Повторный вопрос тому же чат-боту или проверка через другую языковую модель могут подсказать направление поиска или помочь выделить тезисы для сверки, но согласие двух нейросетей не заменяет первоисточник и не подтверждает факт.

Выбор правки зависит от того, что именно обнаружилось при чтении исходной работы:

Что показала проверка → Что делать с тезисом в тексте

• Вывод, цифры и масштаб полностью совпадают с данными статьи
  Оставить утверждение и ссылку без изменений
• Цифра верна, но получена на узкой задаче или малой выборке
  Сузить формулировку до реальных условий (например, указать тип текста, размер группы и учёт только черновика)
• Полный текст закрыт, а в аннотации нет нужных деталей расчёта
  Пометить тезис как непроверенный или заменить источник на доступный первоисточник
• В работе нет такого результата или ссылка вымышлена
  Удалить утверждение из материала

В нашем условном примере честное решение для слайда выглядит так: убрать слово «любой» и прямо написать, что в тесте на 20 участниках время подготовки первичного черновика для одной конкретной задачи сократилось на 30%, без учёта последующей редактуры.

Сверка отдельной ссылки решает локальную задачу, но в больших документах проверять приходится также расчёты, даты, имена и логические связки без прямых цитат. Подробная методика и сводная таблица для таких случаев разобраны в материале https://timofei-ermolaev.ru/llm/faktcheking-otvetov-neyroseti/.

Используете искусственный интеллект для создания текста, изображений и видео? Рассказываю, как сократить затраты на генерацию, используя сервис Kie AI. Компания предлагает цену на 30-50% ниже официальной от OpenAI и Google, а при сравнении с агрегаторами в РФ (Syntx, MashaGPT) разница достигает и 500%. При этом возможно пополнение в рублях и доступ без ограничений для РФ. В треде сравниваю стоимость основных площадок

Установим бюджет в 1 000 рублей. Вне зависимости от подписки (оплата за токены или пакетный доступ) выполняем расчёт стоимости одного токена из доступного бюджета.

1. Требования к площадкам и материалам:
1. Работа без VPN и пополнение счета рублями.
2. Качество: 1080p | Соотношение: 16:9

2. Что создаём:
1. Изображения (Nano Banana 2 и ChatGPT Image 2)
2. Видео в Google Veo 3.1

Цены актуальны на момент публикации. Сравниваю стоимость без оценки скорости, стабильности, лимитов и очередей.

Первый испытуемый: Kie AI
Стоимость одного токена — 0,444 ₽ (1000 за 444 ₽)
Стоимость генерации:
Изображение в ChatGPT Image 2 — 6 токенов (2,66 ₽)
Изображение в Nano Banana 2 — 8 токенов (3,55 ₽)
Видео Google в Veo 3.1 (Quality) — 255 токенов (113,22 ₽)

Второй испытуемый: Нейростудия от Polza AI
Это API агрегатор, оплата в рублях без токенов
Стоимость генерации:
Изображение в ChatGPT Image 2 — 4 ₽
Изображение в Nano Banana 2 — 4,8 ₽
Видео Google в Veo 3.1 (Quality) — 187,5 ₽

Третий испытуемый: Syntx AI
Подписка Basic (260 токенов за 890 ₽)
Стоимость одного токена — 3,42 ₽
Стоимость генерации:
Изображение в ChatGPT Image 2 — 8 токенов (27,38 ₽)
Изображение в Nano Banana 2 — 2 токена (6,85 ₽)
Видео в Google Veo 3.1 (Quality) — 119 токенов (407,35 ₽)

Четвёртый испытуемый: Masha GPT
Подписка Base (20 000 000 токенов за 990 ₽)
Стоимость одного токена — 0,0000495 ₽
Стоимость генерации:
Изображение в ChatGPT Image 2 — 300 000 токенов (14,85 ₽)
Изображение в Nano Banana 2 — 400 000 токена (19,8 ₽)
идео в Google Veo 3.1 (Quality) — 6 250 000 токенов (309,38 ₽)

Выводы? Цифры выше говорят сами за себя. А чем пользуетесь вы? Делитесь в комментариях сервисами, соберём общий список и сравним стоимость. В своём блоге рассказываю о приземлении хайпа искусственного интеллекта на рабочие процессы — https://timofei-ermolaev.ru/

Позвольте представиться, Тимофей Ермолаев, руководитель на стыке технологий, бизнеса и искусственного интеллекта с опытом управления ИТ (CIO/CTO) в сферах B2B, строительства и производства.

Считаю важным показателем уровня экспертности — способность объяснить тему понятным языком человеку, который в принципе неё не посвящён. Как человек, связанный с направлением, я часто получаю вопросы об искусственном интеллекте и его применении в бизнесе. Поэтому постоянно приходится практиковаться в объяснении принципов работы больших языковых моделей — тех самых ChatGPT, Claude, Gemini и других ИИ инструментов, о которых сегодня говорят повсюду.

И вот подумал: почему бы не вынести этот подход в публичное пространство? Жена, уже медленно сходящая с ума от очередной тирады о космических кораблях, бороздящих галактику, идею поддержала. Так появился блог, посвящённый объяснению принципов работы больших языковых моделей понятным языком.

В блоге подробно разбираю темы:

• Что такое языковые модели и как они устроены изнутри.
• Промпт и контекст-инжиниринг: как правильно формулировать задачи для ИИ и погружать его в контекст вашего бизнеса, чтобы получать предсказуемый результат.
• ИИ-агенты: как автоматизировать рутину с помощью нейросетей.
• ИИ для бизнеса: как отсечь лишний хайп и заставить технологии работать.

Концепция блога — это большие статьи, которые подробно раскрывают каждое направление. А также кластерные материалы, дополняющие и раскрывающие тему по мере появления новых инструментов, решений и практик.

Первая статья цикла по промпт-инжинирингу уже опубликована в блоге.
Буду рад, если прочитаете и поделитесь обратной связью. Увидимся в блоге — впереди много полезного.