Оживляем статичные изображения

Часто нам во время монтажа приходится иметь дело со статичными картинками будь то фотографии, 3D-рендеры, сгенерированные нейросетями изображения или просто всевозможные картинки. Просто ставить их на таймлайн или анимировать по позиции и размеру - это уже архаизм, так делали 15 лет назад на канале "Культура", поэтому пмы будем прибегать к современным способам "оживления" картинок. Про один из таких способов - псевдо-3D - я уже рассказывал тут. Сегодня рассмотрим два других, более интересных способа. И сразу упомяну минус обоих - делать их придется все же в After Effects - в Premiere Pro используемые для этого плагины работают максимально нестабильно (на июль 2024 года), а своих у Премьера нет. Согласитесь, будет неприятно, если посередине работы вы накинете плагин на картинку и получите вылет с невозможностью дальнейшего открытия проекта. В Ae такого не будет.

Способ первый - "оживление" изображений при помощи карт глубины.

Это один из самых простых и универсальных способов. Заключается он в создании на основе изображения карты его глубины - т.е. ч./б изображения, на котором все близкие к зрителю участки прорисованы более светлым цветом, а дальние - наоборот, более темным. Получив карту глубины, программа\плагин понимает, какие объекты на изображении находятся ближе к экрану и поэтому более подвержены оптическому искажению при анимации, чем те, которые находятся дальше.

Создаются эти карты глубины вручную (достаточно рисовать поверх оригинального изображения кистями в Фотошопе, либо создать грубые слои разной степени яркости - от светлого до темного - про это куча уроков в сети) или автоматически при помощи скриптов (они есть для Фотошопа и для Ае), либо воспользовавшись встроенной возможностью Фотошопа (Filter > Neural Filters> Depth Blur и ставим галку внизу на Output depth map only), а также с помощью нейросетей и различных сайтов, предлагающих такую возможность.

Поскольку мы не хотим тратить на это много времени, будем использовать только Premiere Pro, After Effects и любой нейронный плагин, позволяющий создавать карты глубины. На сегодня стабильных плагинов два - Quick Depth и Depth Scanner. Оба есть в "народном" варианте, оба доступны для Premiere Pro и для AE, но, как я упоминал выше, использование этих плагинов в Премьере часто приводит к нестабильной его работе и даже невозможности повторно открыть проект, а вот в After Effects они работают почти идеально. 

Оба плагина хороши, но второй имеет больше настроек и чуть меньше грузит систему (чуток). 

Итак, предположим все три элемента в системе у нас есть, поэтому приступаем к работе, и я сразу же по ходу буду говорить про нюансы, которых тут много.

1) Закидываем на таймлайн Premiere Pro одно или несколько изображений, с которыми будем работать, сразу подгоняем их по высоте-ширине, как нам надо:

2) Выделяем все изображения, щелкаем по выделенному правой кнопкой мыши и выбираем Replace with After effects composition. Так мы отправим все изображения скопом в Ае через Dynamic link и сможем в режиме реального времени работать с ними в Ае, не покидая проект в Pr (это важно).

3) В Ае проект сохраняем в любое место, чтобы иметь возможность в случае чего потом его поправить, а далее выделяем все слои в списке таймлайна Ае и жмем Ctrl+D, чтобы продублировать их. Каждый дубль расположится аккуратно поверх слоя-оригинала. 

4) На второй слой первой группы изображений накидываем эффект Depth Scanner. Этот и все прочие вторые слои всей этой композиции будут служить картами глубины для слоев, что над ними. В настройках Depth Scanner задаем настройки так, чтобы максимально четко прорисовать все объекты. Для удобства первый слой можно временно отключить - так мы будем видеть карту глубины, пока её настраиваем.  

После настройки обратно включаем первый слой, т.к. будем работать далее с ним. У самого эффекта Depth Scanner можно настройки поставить по умолчанию - это уже даст результат. Я обычно еще параметр Base Resolution ставлю на Extreme или Very High. Это сильнее кушает ресурсы системы, но дает лучшую детализацию. Также можно выставить на максимум параметры Edge Enhancement и Edge sharpness, чтобы лучше прорисовать края и границы. Еще замечу, что с разными картинками по разному работают имеющиеся в плагине алгоритмы, которые можно выбрать в строке Model. Варианты Optional скачиваются отдельно. Экспериментируйте.

5) Включив обратно верхний слой первой группы изображений, накидываем на него стандартный эффект After Effects - Displacement Map (которого, к слову, нет в Premiere Pro, но есть глючные альтернативы от сторонних разработчиков, например, Boris FX).

6) У эффекта Displacement Map ставим такие настройки:

Самое важное - первая строка, displacement map layer - именно тут мы указываем слой ниже, который благодаря Depth Scanner стал картой глубины. Все последующие слои будем настраивать (проще) по такой же схеме - обязательно указывая слой с картой глубины под настраиваемым слоем. То есть, если у вас вторая картинка на таймлайне Ае находится под порядковыми номерами 3 (Displacement Map) и 4 (Depth Scanner), то в первой строке эффекта Displacement Map указываем тот слой, на котором лежит Depth Scanner, т.е. слой №4:

Далее по настройкам Displacement Map: в первой же строке не забываем указывать Effects and Masks, иначе сочетание этих двух эффектов также работать не будет. В полях Use for Horizontal/Vertical displacement обычно указывается тип карты глубины. Поскольку мы делали черно белую карту (а есть и разные другие её разновидности), выбираем Luminance (яркость)  в обоих пунктах. Прочие пункты можно не трогать, они дают незначительные изменения, а иногда и вредят, но нужны они для настройки поведения карты глубины на границах экрана. 

7) Приступаем к анимации. Для анимации изображения у нас в эффекте Displacement Map предусмотрены два параметра: Max horizontal/Vertical Displacement - они отвечают за смещение маски изображения относительно карты глубины по горизонтали и вертикали. Достаточно покрутить обе ручки, чтобы понять, как работает. Теперь просто создаем ключ в начале слоя и в конце слоя меняем настройки обоих параметров так, пока не получим нужную нам анимацию. Обращаем внимание на то, какие искажения могут при этом возникнуть, и не перегибаем (как правило хорошо работают значения в пределах от -50 до 50). Посмотреть созданные ключи можно, если выбрать анимируемый слой в списке таймлайна и нажать клавишу U. Если где-то с краю ушли границы верхнего изображения и стало видно, что под ним, выделяем оба слоя группы изображений, жмем S и в появившихся параметре Scale увеличиваем значение, чтобы вновь заполнить слоем весь экран (поскольку выбраны оба слоя, делаться это будет одновременно на обоих, в противном случае будут искажения из-за несовпадения размеров двух изображений):

8) Проанимировав одно изображение, просто копируем эффект Displcaement map с первого изображения на каждое первое по лесенке ниже:

А эффект Depth Scanner копируем на каждый последующий второй слой:

9) Сразу же обращаем внимание, что после копирования на оставшихся изображениях получилась какая-то каша. Получилась так потому, что мы скопировали с первого слоя самой первой группы изображений эффект Displacement Map с настройками для первой карты глубины. Поэтому заходим в параметры Displacement map каждого первого слоя и указываем в верхней строке эффекта каждый слой каждой группы изображений:

Теперь просто правим ключи анимации, в каждом верхнем слое всех групп изображений, чтобы не было каких-либо артефактов, да и скопированные ключи анимации должны быть на своих местах - в начале и конце каждого слоя. Если заметили какие-то глюки, типа двоящихся башен или пиков зданий, подправляем горизонтальный и вертикальный сдвиг (параметры Max horizontal/Vertical Displacement). Для каких-то изображений будут хорошо работать оба параметра, для каких-то лишь один, какие-то можно сдвигать и на более высокие значения, какие-то почти не поддаются анимации. Тут уже все индивидуально:

Теперь особо важная часть, которая поможет вам не похерить проект и избежать различных глюков и тормозов. Дело в том, что когда вы воспользовались в Premiere Pro командой Replace with After Effects composition, отправив ваши изображения в Аfter Effects для анимации, вы создали вместо изображений на таймлайне Premiere Pro "связанную" (linked) композицию Ae:

Эта композиция и обеспечивает тот самый функционал Dynamic link, т.е. она отображает в Премьере все те изменения, корторые вы производите в Ае. Пока Ae у вас открыта, все почти ОК. Если вы используете родные возможности Ае, Dynamic link работает практически в реальном времени, не глючит, не тормозит, не вызывает тормоза в Премьере. Но лишь только дело доходит до плагинов сторонних производителей, а тем более тех, что на основе нейросетей, и которые имеют ваш мощный (мощный?) ПК и в хвост, и в гриву, с Dynamic link могут начаться как глюки и ошибки, так и нереальные тормоза, которые могут привести к невозможности работы с проектом далее. У меня были случаи, когда другой тяжелый плагин приводил к тому, что проект запускался с ошибкой и сразу же приводил к вылету Премьера. Поэтому выходов у вас два:

- экспортировать получившуюся анимацию прямо из After Effects,  затем импортировать её в Premiere Pro как любое другое видео и поставить на таймлайн поверх или вместо композиции Ae. Если поставили поверх, композицию можно отключить (щелк правой кнопкой мыши по композиции в Премьере - убрать галочку с пункта Enable) - это избавит от тормозов, при этом композиция у вас всегда под рукой на таймлайне на случай изменений. Если поставили вместо, вообще проблем никаких, а созданную композицию Ае можно даже удалить из корзины проекта - все равно вы при открытии Ае в третьем пункте сохранили файл проекта на случай, если понадобится внести в анимацию изменения. Это безопасный, но неудобный способ, ведь вам нужно производить кучу дополнительных манипуляций. Поэтому рассмотрим второй вариант, о котором ниже.

- проанимировав наши изображения в Ае, НЕ ЗАКРЫВАЯ Ае, переходим в окно Premiere Pro, щелкаем по композиции Ае на таймлайне и выбираем Render And Replace. Важно: не проигрываем анимацию в Премьере, вообще не делаем никаких других действий - только рендерим с заменой!

 Как видно из видео, при открытом Ае в фоне, Премьер спокойно рендерит с заменой нашу композицию, превращая его в обычное видео (настройки советую брать, как у меня). Фишка в том, что закрой вы After Effects, Premiere Pro зависнет на этапе рендера, возможно и повесит вам всю систему. При этом отрендеренное видео можно в любой момент "разрендерить" обратно (отменить рендер), и вновь открыть в Ае. К тому же мы с вами в 3 пункте еще и файл Ае отдельно сохранили. То есть этот способ прекрасен, правда на слабых машинах процесс рендера может очень затянуться, т.к. у вас будут одновременно открыты и работать сразу два тяжелых софта от Adobe, да еще и AI-плагин по созданию карты глубины. Но выбор есть.

Ну, и способ оживления статики №2 - в сети есть решение для анимации статичных изображений (т.н. 2D to 3D) для After Effects под названием VoluMax 7 AI (народная версия есть) - это по сути проект для After Effects, в котором уже созданы и настроены все нужные связи и эффекты, и все, что вам надо сделать - это закинуть в него изображение, карту глубины, и проанимировать. Делаем следующее:

1) Скачав пакет, разархивируем его в любое удобное место. Внутри пакета VoluMax 7 AI несколько папок для анимации различных типов объектов - от пейзажей, до людей. Нас интересует эта папка:

Проект в ней можно вынести ссылкой на рабочий стол для удобства, как сделал я. 

При первом запуске проект предложит конвертировать себя в новый формат, если версия вашего After Effects новее, чем та, в которой VoluMax 7 AI был создан, а затем вы увидим это:

2) Обращаем внимание на кнопки в левом нижем углу программного монитора Ае - при помощи них и будем работать:

3) Щелкаем по первой кнопке два раза, попадаем в пустую папку, в которую простым перетаскиванием мыши надо поместить анимируемую фотку. Затем щелкаем по второй кнопке и помещаем туда то же самое изображение, только накидываем на него наш эффект Depth Scanner, чтобы создать из него карту глубины. Важно: размеры, положение, соотношение сторон оригинального изображения и того, что станет картой глубины, должны быть идентичными, поэтому можно просто скопировать уже вставленное изображение:

4) Теперь переходим в главную композицию, ставим таймлайн на первый кадр и выставляем начальное положение анимации при помощи "цели", затем ставим бегунок таймлайна на конец слоя и перемещаем "цель" на нужное место, меняя тем самым геометрию нашей фотки. Ключи запишутся автоматически:

В коне Effect Controls вы найдете обширный список дополнительных настроек, которые управляют типом анимации, глубиной и т.п. В окне программного монитора также есть еще две иконки, верхняя из которых отвечает за добавление анимированных бликов, а нижняя - всяких частиц (начиная от грязи и искр, заканчивая долларами и листьями). Щелкаете - крутите ползунки, получаете анимированные дополнительные эффекты.

Важно: НЕ сохраняйте проект VoluMax 7 AI во время или после окончания работы с ним, иначе при следующем запуске придется чистить проект от прошлого использования и возвращать все изменённые значения на дефолтные.

Итого: это более качественная и красивая анимация, способная сделать из обычного фото целое видео, однако с Premiere Pro тут уже нет  никакой "прямой связи", да и обрабатывать за раз можно лишь одно фото, поэтому по завершении всех манипуляций отправляем проект на рендер (соответствующая композиция в корзине проекта Ае предложит вам варианты, а вы просто кликайте по нужному):

Далее импортируем полученный результат в Premiere Pro и работаем, как с обычным видео.

В приведенном ниже примере использовался первый способ анимации.