Недавно вышел анимационный фильм, посвящённый памяти Алексея Навального, сделанный в стиле любимого мультсериала политика — «Рик и Морти» (режиссер Роман Либеров, соавтор и аниматор Роман Сивожелезов).

В работе над фильмом приняли участие многие известные российские деятели культуры, находящиеся в вынужденной эмиграции. В том числе — наш преподаватель, поэт и художник Евгений Никитин, который поместил участников истории Навального во вселенную «Рика и Морти». 

Персонажи, созданные с помощью нейросети Midjourney, получились очень убедительными, и мы попросили Женю рассказать, как он этого добился:

Когда началась работа, в Midjourney ещё не было функции --cref (character reference), поэтому приходилось пользоваться обычными промптами. Я создал несколько сетов персонажей (несколько вариантов Навального, Юлия Навальная, Путин, Медведев) с помощью типичного промпта character reference sheet с опором на фотографии, потом итерациями приближал их к стилю «Рика и Морти».

Дальше я комбинировал сгенерированные сцены с этими персонажами и текстовыми промптами, дорабатывал с помощью инпейтинг функции Vary Region. Задача была достаточно сложной, так как Midjourney не очень хорошо справлялась  с отделением субъекта и стиля, ведь «Рик и Морти» — это еще и персонажи сами по себе. То есть везде, где я писал «in style of Rick and Morty», Midjourney старалась нарисовать Рика.

Частично я спасался с помощью функции --sref (style reference) с опорой на кадры из «Рика и Морти», а впоследствии на ранее сгенерированные картинки, но не могу сказать, что она всегда хорошо передавала стиль, к тому же первая версия --sref всегда немного прихватывает помимо стиля и семантику, что плохо влияло на сами сцены, вторгалось в сюжет.

Иногда я ссылался на Джастина Ройланда (с переменным успехом) и похожего по стилю Мэтта Гренинга (если не вылезали Симпсоны). На последних неделях работы появился новый --sref и вышел --cref, что мне крайне помогло. Сложным оказалось также передавать узнаваемые виды городов и узнаваемые фотосюжеты, например, Алексея и Юлию в самолёте. Здесь неожиданно помогла версия --niji 6 и функция --no (--no photo). Niji более уверенно справлялась с мультяшностью, чем --v 6, и под конец я довольно быстро стал работать практически по алгоритму.

Из персонажей самым тяжелым оказался дракон — оказывается, --cref не рассчитан на негуманоидных персонажей. Поэтому дракон везде немного разный, но в итоге могу сказать, что и здесь --cref сработал более чем прилично.