ИИ продакшен для Биг-теха: создали рекламу для Умного дома с Алисой

Нам нужно было создать серию из четырех роликов для рекламы умных устройств: ик-пульта, терморегулятора, карниза и лампы. Все эти гаджеты создают условия для хорошего сна.

Основой проекта стали короткие комичные ролики, которые представляли собой последовательный набор действий и реакций персонажей. Нашей общей задачей было выстроить повествование вокруг этих роликов максимально естественно и органично.

Главная цель: не растерять живые эмоции героев в процессе генерации и сохранить ощущение их естественного взаимодействия друг с другом и с устройствами в кадре.

На всё производство было около пяти недель. Ресурсов ушло в два раза больше обычного, потому что планка детализации была задана высоко.

Все началось с жесткого тендера. У нас не было права на ошибку или долгих недель на раздумья. Нужно было доказать, что нейросети способны выдавать фотореалистичных антропоморфных животных, которые не будут выглядеть как персонажи из дешевого мультика.

В тендере участвовало много сильных продакшенов, поэтому борьба была плотной. В итоге совокупность факторов — от бюджета и коммуникации до тестового видео — помогла нам занять первое место. О том, как мы совместно с командой Умного дома выстраивали пайплайн и искали решения в работе с нейросетями, расскажем в этой статье

О том, как мы совместно с командой Умного дома выстраивали пайплайн и искали решения в работе с нейросетями, расскажем в этой статье

Мы начали с классической карандашной раскадровки. В эпоху ИИ это кажется лишним, но только так можно гарантировать, что в ролике будет именно та последовательность кадров, которую мы согласовали изначально. Каждую линию и каждый ракурс мы зафиксировали на бумаге до того, как взяться за нейронки.

Пример раскадровки одного из роликов

Вместо одного большого концептуального документа мы работали через мудборды и рефборды. Мы генерили, предлагали варианты, а команда из умных устройств помогала докручивать детали до идеала. Такой подход помогал быстро адаптировать работу и держать все элементы ролика под рукой.

По сути, через мудборды мы собирали «‎цифровой ДНК» будущего ролика — зафиксировали, какая мебель стоит в спальне, какой яркости лунный свет в комнате и как бликует пластик на устройствах. Эти визуальные правила стали фильтром, через который мы пропускали каждую генерацию, отсекая все, что не попало в эстетику ролика.

Один из наших мудбордов на этом проекте

Ключевым стал подход с мастер-шотами. В нейросетях есть критическая проблема — непостоянство визуала от кадра к кадру. Если генерить кадры хаотично, персонаж и окружение будут «плыть‎»: в одном кадре у шкафа квадратные ячейки, а в следующем — прямоугольные.

Чтобы победить этот хаос, мы сначала создавали один опорный мастер-кадр для каждой локации. На нем доводили все до идеала: композицию, освещение, текстуры. Только после того, как ребята из Умного дома утверждали этот кадр, мы использовали его как опорную точку для последующих планов.

Пример мастер-шота

Самым сложным оказался кастинг персонажей. Мы генерили десятки вариантов сов, жаворонков и медведей. Каждого персонажа делали минимум в двух ракурсах — крупный план и общий. Многие визуальные идеи и тонкие настройки образов рождались прямо в процессе обсуждений: коллеги из Умного дома с Алисой были настоящей частью команды и активно подключались к созданию образов главных героев.

Главная проблема заключалась в том, что нейросеть, либо делала животных слишком мультяшными, либо наоборот страшными. 

Варианты внешности медведя, которые не вошли в ролик

Лучший результат неожиданно дал GPT Image — именно там мы сделали основной кастинг персонажей, а потом уже интегрировали их в сцены через Nano Banana.

Наш финальный каст персонажей

Отдельная боль — крылья. Вместе мы решили, что у птиц должны быть именно крылья, а не руки. Но при этом эти крылья должны были держать скакалку, нажимать кнопки, открывать двери и взаимодействовать с предметами.

Нейросети такую анатомию не понимают. Поэтому мы нашли компромисс: визуально крыло остается крылом, но кончики перьев по своей сути работают как пальцы. Это решение оказалось самым удачным из возможных.

Пример того, как сова держит кружку перьями

Работая над локациями, мы уперлись в неожиданную проблему: вместо «дома» у нас стабильно получался номер в отеле. Слишком стерильно, слишком идеально. Тогда мы задали себе простой вопрос — чего точно не бывает в гостиницах, но всегда есть в реальной квартире? И начали добавлять жизнь: шкафы с книгами, открытую дверь в коридор, раскиданные игрушки, больше текстиля, лёгкий беспорядок. Именно эти мелочи в итоге и сделали интерьеры по-настоящему живыми и уютными.

Но главным техническим вызовом проекта стал свет. А точнее, ночное, лунное освещение. Нейросети, обученные на миллиардах ярких дневных фотографий, воспринимают ночь либо как очень темный день, либо как полную черноту. А нам нужно было то самое кинематографичное сияние, когда сквозь щель в шторах падает холодный лунный луч, мягко подсвечивая край кровати и лицо героя, но не превращаясь в пятно от прожектора. 

Как выглядела ночная сцена до правок

С этой задачей помогла нейросеть Reve. Сначала мы создали идеальную по композиции сцену в Nano Banana. Затем загрузили этот кадр в Reve и дали команду: «‎сделай ночное освещение, лунный свет из окна слева». И Reve перекрашивал свет, не ломая при этом текстуры и композицию. Так получилось добиться нужно атмосферы и освещения.

Как этот же кадр выглядит после переосвещения

Все устройства мы запросили в виде PNG на прозрачном фоне и вручную внедряли в каждый кадр — где-то в лапах, где-то на столе, где-то на батарее. Проблемы начались сразу: нейросеть не понимала реальные пропорции предметов, ик-пульт оказался больше стакана воды, а терморегулятор постоянно поворачивался не той стороной. 

Пример галлюцинаций ИИ

Самым сложным девайсом оказался карниз для штор. Он висит под потолком, у него куча мелких деталей — крючки, корпус, логотип компании — и нейросеть постоянно всё это искажала. Логотип переворачивался, крючки получались неправильной формы, корпус деформировался. 

По сценарию птица должна была взаимодействовать с карнизом, но он слишком большой, чтобы его держать в руках. Решение нашли простое: в статичном кадре просто перекрыли карниз крылом совы полностью, а на анимации через ключевые кадры крыло плавно складывается и уходит из кадра, показывая уже установленное устройство. Выглядит так, будто сова его активировала одним касанием.

Основную анимацию мы делали в Kling 2.6 через ключевые кадры: задаешь первый и последний кадр, а нейросеть генерирует движение между ними. Например, сцена с включением лампы выглядела сложной, но делалась очень просто — один кадр с выключенной лампой, второй с включенной, и между ними нейросеть сама дорисовала плавный переход со светом лампы.

На этом проекте мы работали с композитором. Он писал треки под каждого персонажа и под конкретный тайминг сцен. У медведя появились тяжёлые басы, у жаворонка — блокфлейта в момент появления. Это сильно усилило ощущение, что персонажи живые и энергичные.

Мы завершили производство 29 декабря, успев сдать все ролики до Нового года. А уже 26 января вся серия роликов ушла в широкую ротацию на крупных площадках: IVI Smart TV, VK Ads, Direct.Yandex, AstraTube, Video Network Flex, Everest и MTS DSP.

Этот кейс доказал: теперь нейропродакшн это рабочий инструмент для техногигантов, где требования к качеству картинки и достоверности продукта максимальная. Благодаря тому, что мы с коллегами из Умного дом с Алисой работали как одна команда, нам удалось интегрировать реальные девайсы, соблюдая их геометрию и физику, и получать на выходе продукт, который решает коммерческие задачи компаний.