Платформа для публикации новостей и формирования контента

Заказчик: медиахолдинг и владельцы сети Telegram-каналов, которые ежедневно работают с большим потоком новостей из десятков внешних источников.

Контекст и проблема

Редакционная команда вручную отслеживала RSS-ленты ведущих СМИ и Telegram-каналы, копировала интересные материалы, адаптировала тексты под свою аудиторию и публиковала их на корпоративных сайтах и в собственных каналах. На одного специалиста уходило 3–4 часа в день. При росте числа источников процесс становился неуправляемым: дублировались новости, терялась актуальность, не было единых правил отбора и стандарта оформления. Отсутствовала аналитика эффективности источников и каналов.

Бизнес-задача

Разработать B2B SaaS-платформу NewsPlatform для полной автоматизации новостного контент-цикла: сбор → обработка нейросетью → фильтрация → публикация → аналитика. Цель — сократить ручной труд, ускорить реакцию на инфоповоды, обеспечить масштабируемость при росте числа источников и каналов, заложить основу для коммерческой модели (подписка по тарифам).

Функциональные требования

1. Модуль сбора контента

— Парсинг RSS-лент, API-эндпоинтов и веб-страниц (Cheerio, Puppeteer)

— Подключение Telegram-каналов как источников

— Фоновый мониторинг обновлений с настраиваемой частотой

— Учёт ошибок парсинга, логирование, статистика по источникам

2. Модуль обработки контента

— Интеграция с LLM (DeepSeek) для адаптации стиля, сокращения и рерайта

— Автоопределение языка, перевод через Google Translate, DeepL, Yandex

— Семантическая дедупликация (порог сходства 0.85)

— NER: извлечение персон, организаций, локаций

— Анализ релевантности по ключевым словам и пользовательским правилам

3. Управление контентом

— Ролевая модель: администратор, редактор, маркетолог

— Теги, группы тегов, автоподбор тегов к статьям

— Справочник 250+ стран для геотаргетинга

— Статусы статей, история изменений, аудит действий

4. Автопубликация в Telegram

— Управление каналами и ботами через Bot API

— Шаблоны постов с переменными и превью

— Планирование по расписанию, лимиты постов в день, временные окна

— Фоновая очередь публикаций (cron), повтор при ошибках

5. Аналитика и отчётность

— Дашборд с KPI, графики активности по часам и дням

— Топ источников, география, категории, языки

— Статистика Telegram-каналов, экспорт в CSV/PDF

6. Интеграции и API

— REST API для внешних систем и будущих микросервисов

— Подключение AI-агентов через вебхуки

— Socket.IO для real-time обновлений в админке

7. Публичная часть

— Маркетинговый лендинг с описанием продукта, тарифами, FAQ

— Страница входа в админ-панель

Нефункциональные требования

— Backend: Node.js, TypeScript, Express

— БД: PostgreSQL, TypeORM, версионируемые миграции

— Кэш и очереди: Redis, Bull

— Docker-контейнеризация, продакшен-деплой с SSL

— JWT-аутентификация, rate limiting, защита API (Helmet, CSP)

— Логирование Winston, health-check эндпоинты

— Адаптивный веб-интерфейс

Этапы и ограничения

Проект реализовывался итеративно: проектирование архитектуры → backend и API → админ-панель → интеграции → деплой. Ограничения: сжатые сроки, работа с лимитами внешних API (Telegram, переводчики, LLM), требование развернуть на собственном домене newsplatform.ru без зависимости от сторонних PaaS.

Итог проекта

Команда разработала и вывела в продакшен B2B-платформу NewsPlatform — агрегатор новостей с AI-обработкой и автопубликацией. Платформа доступна по адресу https://newsplatform.ru и покрывает полный цикл: сбор → обработка → фильтрация → публикация → аналитика.

Архитектура и технологический стек

— Backend: Node.js 20, TypeScript, Express — REST API с 50+ эндпоинтами

— База данных: PostgreSQL 15, TypeORM, миграции, сиды (пользователи, 250+ стран)

— Инфраструктура: Redis 7, Bull (очереди), Docker Compose (app + PostgreSQL + Redis)

— Парсинг: rss-parser, Cheerio, Puppeteer

— NLP/AI: natural, compromise, franc, DeepSeek API, DeepL, Google Translate

— Telegram: node-telegram-bot-api

— Деплой: Nginx, SSL Let's Encrypt, домен newsplatform.ru

Реализованные модули

1. NewsSourceService — управление источниками

CRUD для RSS, API и web scraping; CSS-селекторы для парсинга; расписание обновлений; мониторинг ошибок; счётчики статей.

2. ArticleService + ArticleTranslationService

Сбор и хранение статей; мультиязычный перевод; AI-обработка DeepSeek; определение языка; ключевые слова.

3. DuplicateDetectionService + RelevancyService

Семантическое сравнение, кластеризация дубликатов; NER (персоны, организации, локации); правила релевантности.

4. TelegramService + PublicationService

Каналы и боты; шаблоны с переменными; планирование; cron (публикация — 1 мин, автопланирование — 5 мин); лимиты; логи.

5. AnalyticsService

Дашборд, топ источников, графики активности, география, категории, языки, Telegram-статистика, экспорт CSV/PDF.

6. AIAgentIntegrationService

Внешние LLM, промпты, вебхуки, тестирование из админки.

7. Админ-панель

Дашборд, источники, статьи, шаблоны, каналы, аналитика, AI-агенты. Роли: admin, editor, marketer.

8. Маркетинговый лендинг

Hero, возможности, процесс, тарифы (4 990 / 14 990 / 39 990 ₽), отзывы, FAQ, подписка.

Сущности БД (TypeORM)

Users, NewsSource, Article, Tag, TagGroup, TelegramChannel, TelegramTemplate, PublicationSchedule, Translation, DuplicateCluster, RelevancyRule, Country, AIAgentIntegration, AuditLog — полная реляционная модель с миграциями.

Фоновые процессы (node-cron)

— Очередь публикаций: каждую минуту

— Автопланирование статей: каждые 5 минут

— Статистика Telegram: каждый час

Безопасность

JWT, bcrypt, rate limiting, Helmet/CSP, Joi-валидация, RBAC на уровне API-роутов.

Деплой и эксплуатация

Docker-образ на выделенном сервере; Nginx reverse proxy; SSL-сертификат Let's Encrypt; health-check /health; автоперезапуск контейнеров.

Бизнес-результаты

— Время подготовки новостей: с 3–4 часов до 15–20 минут контроля

— Единый pipeline для сайтов и Telegram

— Масштабируемость по тарифам (5 / 25 / безлимит источников)

— Коммерческая модель: 3 тарифа, пробный период 7 дней

— Готовность к подключению реальных источников и каналов

Статус: проект завершён, платформа в продакшене на https://newsplatform.ru, документация по API и деплою подготовлена.

Статус: проект завершён, платформа в продакшене на https://newsplatform.ru, документация по API и деплою подготовлена.