Бюджетирование ИИ-расходов: учёт, лимиты и алерты по каждому пайплайну

Компонент собственной AI-платформы.

Когда в продукте работают десятки нейросетей и сотни автоматических генераций, стоимость ИИ легко выходит из-под контроля: один зациклившийся пайплайн способен быстро выйти за бюджет.

Нужен контур, который считает стоимость каждого вызова модели, ограничивает расходы на каждом уровне и предупреждает заранее, а не постфактум в месячном счёте провайдера.

Отдельный самодостаточный компонент на Go поверх PostgreSQL и Kafka.

Каждый вызов модели публикует событие со стоимостью, сервис учёта агрегирует расходы по источнику, пайплайну и провайдеру.

Лимиты генераций задаются на каждом уровне, при приближении к порогу срабатывает алерт.

Маршрутизатор учитывает цену: задача уходит на ту модель, которая даёт нужное качество за меньшие деньги.

Компонент не зависит от CUDA и зарубежных LLM-сервисов и разворачивается в контуре заказчика.

Расходы на ИИ стали предсказуемыми и управляются без ручного контроля: у каждого источника и пайплайна свой бюджет, превышение видно заранее, а не в счёте провайдера.

Компонент работает в проде на собственной платформе и отделён от неё: его можно установить как самостоятельную систему мониторинга и бюджетирования ИИ-нагрузок в контуре заказчика.

Подходит компаниям, которые внедряют LLM и хотят видеть и ограничивать стоимость каждого сценария.