Расширение YouTutor: квиз прямо на YouTube

В сентябре 2023 года к нам, к команде разработки it-продуктов WPP.DIGITAL, пришла небольшая edtech компания с запросом на плагин с ИИ для преобразования видео в квизы и викторины. У клиента было четкое понимание того, что он хочет видеть, и небольшие наработки по backend для расширения. Но реализацию заказчик решил отдать на аутсорс, чтобы качественно финализировать разработку за короткий срок.

Идея заказчика: педагоги тратят много времени, чтобы заинтересовать учеников. Не меньше усилий уходит на закрепление материала: нужно придумать нескучный интерактив, чтобы проверить полученные знания. Клиент видел, как можно упростить проверку знаний.

Заказчик хотел сделать простое и удобное расширение для ютуба в браузере Chrome на базе ИИ, чтобы в один клик на основе информации из видео сделать викторину. Многие компании на рынке предлагают отдельные программы для онлайн обучения с внедренным ИИ, но не каждый онлайн-педагог может их себе позволить. Заказчик хотел сделать максимально доступным этот тренд edtech сферы.

Перед нами стояли задачи сделать так, чтобы:

– ИИ подбирал вопросы к квизу и обрабатывал ответы;

– ИИ отслеживал статистику правильных и неправильных ответов, готовил отчеты по прогрессу обучения и корректировал сложность вопросов в зависимости от уровня подготовки участника квиза;

– ученики могли участвовать в викторине из любой точки мира с планшета, смартфона или компьютера;

– плагин было легко установить, а его интерфейс был интуитивно понятен.

У клиента уже были наработки по бэкенду. На нашей команде разработки лежала следующая ответственность:

1. Доработать frontend и визуально оформить плагин.

2. Внедрить нейросеть. После согласований с заказчиком решили использовать ChatGPT-3.5, потому что у ИИ был открытый исходный код, его легко подключить через API и внедрить в свои разработки. Еще один плюс ChatGPT-3.5 — это проверенная и хорошо обученная нейросеть для бизнеса, которая работает с минимальным количеством галлюцинаций. 

Проблем с получением API и подключением ChatGPT-3.5 не возникло: edtech компания заказчика была не из России, и никаких ограничений со стороны нейросети не было. А вот подбор подходящего промпта и его тестирование заняли много времени. Именно от точности запроса — промпта — зависит качество ответа ИИ. 

И тут возникла проблема №1: сперва нейросеть часто неправильно определяла язык исходных субтитров. Это приводило к тому, что, несмотря на контекст, ответы генерировались на другом языке. Например, вместо нужного русского квиза модель отвечала на английском. Мы нашли простое, но эффективное решение: указывать нужный язык в самом промпте. 

Проблема №2: подружить Ютуб со сторонним сервисом. Для обмена данными мы изначально выбрали формат JSON (JavaScript Object Notation). Это текстовый формат обмена данными на JavaScript, который при взаимодействии веб-сервера и браузера значительно ускоряет обмен данными. В промпте мы указали его и прописали четкую структуру ожидаемого ответа. Однако модель часто возвращала JSON с ошибками: вложенные данные не соответствовали ожидаемым, и ключи периодически были некорректно структурированы. 

После серии тестов мы решили попробовать YAML — это более гибкий формат, который меньше подвержен синтаксическим ошибкам. Переход с JSON на YAML оказался удачным: количество ошибок сильно сократилось, и процесс стал более предсказуемым.

Проблема №3. Преодолели ограничения по числу запросов и поработали с прокси. Сделали так, чтобы процесс автоматически переключался между прокси, API-ключами, моделями и серверами, что позволило поддерживать нужную производительность и минимизировать простои.

Финально тестировали плагин. Отдельное внимание уделили скорости работы модификации на ютуб. Нашей команде удалось добиться такого результата — плагин готовил викторину максимум за две минуты. Как раз за эти 2 минуты учитель мог объяснить, что сейчас будут вопросы по просмотренному видео, что они из себя представляют и как на них отвечать. А если по какому-то видеоролику уже был ранее сделан квиз, то вопросы плагин отдавал практически мгновенно. Такого быстродействия удалось достичь благодаря грамотным настройкам промпта и правильному выбору протоколов обмена данными.

Отдельно провели тестирование на нагрузку. Важно было проверить, чтобы модификация на Ютуб корректно работала при одновременном запуске до 100 000–200 000 пользователей.

Что в итоге умеет плагин Yoututor?

На работу над плагином ушло два месяца. У нас получился плагин, который: 

Добавляет тесты на основе видео с Ютуба, чтобы в интерактивной форме закрепить знания предмета. Квизы состоят из пяти вопросов, включая викторины с несколькими вариантами ответов и открытые вопросы, которые проверят уровень усвоения материала.

Отслеживает прогресс каждого ученика: в расширении для Ютуба есть индивидуальная кривая обучения, поскольку Yoututor адаптирует тесты в зависимости от уровня знаний и успехов по каждому предмету.

Экономит время учителей. Теперь им не нужно готовить материалы к срезу и проверять работы учеников.

Подходит для изучения предметов на иностранном языке. Благодаря ИИ плагин мультиязычный и подходит для использования в разных странах.

Работает на планшетах, компьютерах и смартфонах. Это удобно, если ученик решит позаниматься в дороге или лежа на диване.