PromptRank: измерение рекомендаций брендов у ИИ-ассистентов

Когда человек просит ИИ подобрать товар, бренд может не попасть в рекомендации, даже если его сайт хорошо работает в обычном поиске. PromptRank помогает разобраться, какие бренды называют ассистенты и какого продавца выбирают в сценарии покупки. Мы создали собственный продукт, который превращает отдельные ответы моделей в повторяемое исследование: один набор вопросов, несколько ассистентов и сопоставимые результаты.

Сбор ответов нескольких моделей

Спроектировали конвейер запросов к ChatGPT, Claude, Perplexity, Gemini и Grok. Система собирает ответы и позволяет анализировать упоминания брендов и рекомендации продавцов по одному набору сценариев.

Повторяемые проверки

Добавили повторные запросы: ответ языковой модели может меняться, поэтому один удачный пример не показывает полную картину. Серия проверок помогает увидеть, какие рекомендации повторяются и как распределяется выбор.

Симуляция покупки

Разработали сценарий ИИ-покупателя, который фиксирует выбранного продавца. Он проходит до решения о покупке и останавливается перед оплатой. Так можно исследовать выбор, не оформляя реальные заказы.

Архитектура продукта

Клиентская часть построена на Next.js, серверная - на Node.js и TypeScript, результаты хранятся в PostgreSQL. Русскоязычная версия доступна под названием PromptRank.

Получился продукт для сравнения рекомендаций брендов и продавцов у нескольких ИИ-ассистентов. Вместо набора разрозненных диалогов исследователь получает результаты серии запросов и видит повторяющиеся решения.

Например, 20 вопросов пяти ассистентам с пятью повторениями дают 500 ответов для анализа. Симуляция покупательского сценария добавляет к упоминаниям бренда другой важный показатель: какого продавца ассистент выбрал для заказа.