Если вы ведёте нишевый Telegram-канал или просто следите за отраслью — вы знаете этот ритуал. Открываешь браузер, 15-20 вкладок, Reuters, отраслевые сайты, пара Telegram-каналов. Читаешь заголовки, переключаешься, снова переключаешься. Час уходит только на то чтобы понять — есть что-то важное или нет.
Я вёл так канал про энергетику почти год. Потом решил это автоматизировать. В этой статье — как устроен процесс, какие инструменты использовал, и что в итоге получилось.
У меня был канал про энергетику. Источники — Reuters, OilPrice, Интерфакс, казахские и армянские издания, несколько английских специализированных сайтов. Каждый день нужно было:
Обойти все источники вручную
Перевести иностранные материалы
Отфильтровать нерелевантное
Опубликовать в канал
На это уходило 1-1.5 часа каждый день. Не потому что контента мало — а потому что 90% того что попадается не подходит по теме, и нужно это просеять.
Задача: сделать так чтобы в канал приходило только релевантное, переведённое, без дублей — и без моего участия.
RSS-агрегаторы (Feedly, Inoreader) — хороши для чтения, но не для автоматической публикации. Нет фильтрации по теме, нет перевода, нет интеграции с Telegram без танцев с бубном.
n8n и Make — мощные инструменты автоматизации, но для нормальной фильтрации по смыслу (а не просто по ключевым словам) нужно много настройки. Плюс перевод — отдельный модуль, отдельная оплата API.
Готовые боты для Telegram — нашёл несколько, но все они либо просто репостят RSS без фильтрации, либо заточены под конкретные темы которые мне не подходят.
В итоге написал своё.
Наша система сама подберет вам исполнителей на услуги, связанные с разработкой сайта или приложения, поисковой оптимизацией, контекстной рекламой, маркетингом, SMM и PR.
Заполнить заявку
13590 тендеров
проведено за восемь лет работы нашего сайта.
Система работает циклами — каждые 30-60 минут проверяет источники и отправляет новое в Telegram.
Шаг 1 — Сбор. Параллельный парсинг 300+ источников: сайты, RSS-ленты, Telegram-каналы. Важный момент — разные источники обновляются с разной задержкой, некоторые RSS запаздывают на 40-50 минут. Если просто брать «всё новое с момента последней проверки» — часть статей теряется. Решение: буферное окно которое смотрит немного назад и дедуплицирует уже отправленное.
Шаг 2 — Фильтрация. Три уровня:
Быстрый пре-фильтр по ключевым словам (отсеивает 80-90% нерелевантного мгновенно)
Семантический фильтр — понимает смысл, а не только ключевые слова (статья про «нефтяную краску» не пройдёт даже если содержит слово «нефть»)
LLM-классификатор для серой зоны — языковая модель принимает финальное решение с объяснением
Шаг 3 — Перевод. Иностранные статьи переводятся автоматически. Источники на 22 языках — всё приходит на русском.
Шаг 4 — Доставка. Релевантные статьи отправляются в Telegram с заголовком, кратким пересказом и ссылкой. Плюс эмодзи тональности: 📈 позитивная, 📉 негативная, 😐 нейтральная.
За несколько месяцев работы:
100 000+ статей обработано
0 пропущенных циклов с момента переноса на сервер
~1 час в день сэкономлено на ручном мониторинге
Источники на 22 языках в одном потоке на русском
Канал продолжает работать пока я занимаюсь другими вещами.
После запуска добавил несколько команд которые оказались удобнее чем ожидал:
/search нефть ОПЕК — поиск по архиву за последние 30 дней. Нашёл что писали про конкретную тему неделю назад за секунды.
/alert Газпром — личное уведомление. Как только «Газпром» появляется в новостях — бот пишет в личку. Раньше чем в общем потоке.
/top — топ самых обсуждаемых тем за день. Если одно событие написали 10 источников — оно явно важнее чем то про что написал один.
/source Reuters — все статьи от конкретного издания за сегодня по вашей теме.
Если вы:
Ведёте нишевый Telegram-канал и мониторите новости вручную
Аналитик или трейдер которому важно первым узнавать про события в своей отрасли
Небольшая компания которой нужно следить за рынком без большого бюджета на корпоративные инструменты
— то задача у вас такая же как была у меня.
Я сейчас предлагаю это как сервис под ключ для любой ниши: ВЭД, фармацевтика, автопром, агро, логистика, финансы. Настраиваю источники и ИИ-фильтр под вашу тему, бот готов за 96 часов.
Посмотреть как работает можно через демо-бот с живым поиском по архиву энергетических новостей: t.me/ainewsdemobot
Подробнее о сервисе: lively-rabanadas-3c1f0a.netlify.app
Сейчас подключаю первых клиентов — цена на старте ниже стандартной.
Если у вас похожая задача или вопросы по автоматизации мониторинга — пишите в комментариях, отвечу.