Разработка отслеживателя упоминаний (собственный инструмент замера видимости в ответах нейросети)

Задача: нужен регулярный и воспроизводимый замер собственной AI-видимости: как нейросеть отвечает на набор из 20 запросов (два прогона по 20 — сумма шотов считается из 80: 20 вопросов × шкала 0–4) о лаборатории, что цитирует, где бренд появляется, а где — зона слепоты. Ручной прогон слишком долог и нестандартизован, а без повторяемости не видно эффекта контентных правок.

1. Написан скрипт прогона: 20 запросов последовательно через API нейросети с веб-поиском, фиксированный регион (Томск); полный текст каждого ответа сохраняется автоматически.

2. Сформирован плейлист запросов: узнаваемость бренда, услуги, основатель, цены, фирменные термины, блог, сравнение с конкурентами — плюс контрольные «ловушки»: темы, в которых бренду нечего сказать (проверка честности модели).

3. Каждый ответ размечен: упоминание, качество, источники. Автоматическая сверка плюс ручная контрольная проверка спорных ответов.

4. Проведены два прогона с интервалом в три дня (№001 — baseline, №002 — повторный) в идентичных условиях; всё зафиксировано в журнале прогонов со сводками.

5. По итогам каждого прогона — отчёт с планом правок: какие источники «кормят» модель, какие зоны слепоты сохраняются.

Результат

• Видимость стабильна и измерима: сумма шотов 57 из 80 возможных в baseline и 56 из 80 через три дня (20 вопросов × шкала 0–4) — около 70% при честной методике без подстраивания промптов.

• Замерен прямой эффект контентных правок: после обновления страницы об основателе модель начала называть основателя лаборатории — с 0 упоминаний до 4 за шесть дней.

• Найдена зона слепоты с ценами: модель приписала лаборатории чужую ценовую полку, собственные цены не назвала. Вывод: ценовой слой нужно усилить на карточках-справочниках (2ГИС, Яндекс Услуги, Yell), а не только на сайте.

• Фирменные термины («цифровой призрак», «зона слепоты») модель воспроизводит нестабильно: смысл дрейфует между источниками. Сигнал: закреплять термины за брендом в независимых источниках.

• Технический файл llms.txt не процитирован ни разу за все ответы двух прогонов — ориентир: усиливать источники, которые модель читает реально.

• Ловушки сработали честно: в темах, где бренду нечего сказать, модель не выдумала упоминаний — 2 из 2 в обоих прогонах.

• Запущен цикл «замер → план правок → контрольный замер»: инструмент превращает видимость в управляемую метрику.