Как проверяют AI-исследование

Вы получили отчёт от нейросети: он связный и убедительный. Можно ли по нему принимать решение, которое стоит денег? Собственный кейс SMF на данных открытых источников, не клиентская работа.

Мы исследовали рынок для собственного продукта: рынок, покупателей и конкурентов — так же, как работаем для клиента. Нужно было выяснить, сколько цифр из AI-отчётов выдерживает проверку по первоисточникам, какие ошибки встречаются и как их ловить.

Каждое из трёх заданий (рынок, покупатели, конкуренты) мы дали нескольким AI-системам параллельно: четыре искали, пятая сводила ответы в одном блокноте. Дальше начиналась проверка.

— Скрипт находил каждую цитату в отчётах, а человек открывал страницу первоисточника: совпадение ответов нескольких AI-систем не доказательство, доказательство — страница, которую открыл человек.

— У каждой цифры есть паспорт: источник, дата, выборка, страна.

— Две метки: что это (факт, вывод, гипотеза, не подтверждено) и что показала проверка (проверено, частично, ошибка, не проверено).

Что нашли. Четыре типовые ошибки AI-отчётов: неверная цифра у верного источника (например, аудитория площадки названа 76,9 млн человек в месяц, а у измерителя — 63 млн во втором квартале и 68 млн в августе 2026); метка «проверено», которую AI ставит себе сам; пустое поле, которое AI заполняет сам и строит на этом план; самопроверка AI, которая ошибается. Две ошибки были наши: мы назвали цифру выдуманной, не просмотрев все материалы источника, а в одной сводке пересказали статью своими словами и сдвинули смысл. После этого цифру называем ошибкой только после поиска по всем материалам источника, а свои сводки сверяем с дословной цитатой.

Из 34 проверенных цифр полностью подтвердились 13, ещё 13 — с оговоркой (другая страна, период или метрика), 3 оказались ошибками, для 5 источник не найден. Цифры проверены 29.09–04.10.2026 по первоисточникам.

Итог — документ на 19 листов: четыре типовые ошибки AI-отчётов, две наши ошибки и девять правил проверки цифр. В решение берём только цифры со статусами «проверено» и «частично» с понятной оговоркой. Тот же порядок проверки применяем к отчёту для вашего вопроса. Рост продаж не обещаем: кейс показывает порядок проверки, а не результат бизнеса.