Мультимодальный чат-бот в Telegram

Клиент просил создать уникального Telegram-бота, способного предложить инновационный опыт изучения языков. Изначально целью было интегрировать функцию madlibs на основе ChatGPT, позволяя пользователям создавать настраиваемые изображения и видео с использованием сгенерированных сценариев.

Основной задачей было улучшение изучения языков с помощью ИИ и обеспечение безупречного пользовательского опыта. Проблемы с первоначальной концепцией madlibs привели к пересмотру подхода, и были внесены коррективы, чтобы соответствовать ожиданиям пользователей.

Проект включал разработку Telegram-бота с использованием библиотек aiogram и telebot. Начиная с создания анимированного контента, бот эволюционировал, предлагая функции, такие как живые изображения, синхронизация губ с репликами SadTalker/D-ID, и эффекты масштабирования с использованием OpenCV и MoviePy. Пользовательский контент был расширен, позволяя пользователям заменять озвучку и получать обратную связь через систему оценки.

Этапы разработки проекта:

- Разработка прототипа Telegram-бота

- Рефакторинг с использованием aiogram и интеграция SQLite3

- Переход к Replicate и Google TTS для генерации контента

- Введение живых изображений и улучшение взаимодействия с пользователем

- Интеграция Assistant Pro для улучшенного взаимодействия с GPT

- Добавление функций проверки домашних заданий и консультаций

- Оптимизация производительности и интеграция с различными ИИ-сервисами

Функциональность:

- Создание анимированного контента с разнообразными опциями настройки

- Пользовательский контент с синхронизацией губ и эффектами масштабирования

- Изучение языков на основе GPT, включая madlibs и взаимодействие с пользователем

- Assistant Pro для голосовых ответов, распознавания изображений и рисования

Технологии и сервисы:

- aiogram

- OpenAI

- Replicate

- Google Cloud Platform

- DI-ID

- ElevenLabs

- fuzzy search library

- OpenCV

- MoviePy

- PostgreSQL

- Stable Diffusion

- Midjourney

- DALL·E

- Figma

- Развертывание - Ubuntu 22.04

Команда разработки:

- Team Lead

- 2 разработчика AI Python

- Дизайнер UI/UX

- QA-тестировщик

Проект предоставил функционального Telegram-бота, который безупречно интегрировал ИИ-сервисы, предлагая инновационный и персонализированный опыт изучения языков. Были реализованы оптимизации системы для улучшения производительности и совместимости.