Как работает Motion Capture: эволюция и закулисье
В первой части материала мы вместе со специалистами разбираем современное состояние одной из важнейших технологий в индустрии развлечений и специфику работы с ней.
Появление Киану Ривза на презентации Cyberpunk 2077 вызвало фурор, а касту и режиссуре Death Stranding позавидует любой блокбастер. Работа с Motion Capture давно стала для популярных актёров такой же обыденностью, как грим и костюмы. В кино Энди Сёркис и его коллеги давно отстаивают своё право на конкуренцию с другими актёрами за «Оскар», а звёзды Голливуда всё чаще участвуют в создании игр.
В недавнем видео мы уже рассказывали о зарождении технологии захвата движения и о том, как она устроена. В рунете также полно материалов об истории создания мокапа и его лучших воплощениях в кино. Но что стоит за костюмами для захвата движения и как широко может применяться технология? Попробуем разобраться в тонкостях работы с мокапом вместе с экспертами из индустрии: мокап-аниматором Сергеем Лобанковым, руководителем студии Watt Сергеем Томским и специалистом компании Mocap Tech Иваном Кириенко. Первая часть двухсерийного материала посвящена эволюции технологии и специфике работы с ней.
Эволюция
Историю мокапа часто ведут с возникновения ротоскопа в начала прошлого века с его применением в диснеевских мультфильмах. А в качестве важных современных вех приводят рождение термина Performance Capture — с полноценной игрой и режиссурой виртуального пространства в реальном времени, как в «Аватаре» или трилогии «Планета обезьян».
По мере развития инструментарий технологии только расширяется. Первый раз мокап использовали в сцене «Вспомнить всё» — это была анимация скелета, которую «оживила» игра Арнольда Шварценеггера.
В «Парке Юрского периода» с помощью захвата движения актёров и специальных фигурок доводили до идеала поведение динозавров. В «Мумии» и первом эпизоде «Звёздных войн» мир увидел CGI-персонажей, которые полноценно взаимодействовали с актёрами и окружением. На новый уровень технологию вывела команда «Властелина колец» — работа над созданием Голлума сделал актёра Энди Сёркиса настоящим королём мокапа.
Помимо захвата актёрских движений и совершенствования мимики применяли, чтобы размножить массовку. Впервые с помощью мокапа скопировали персонажа Вэла Килмера в «Бэтмен навсегда», а затем трюк с Ctrl+C — Ctrl+V в большем масштабе повторили в «Титанике» и «Гладиаторе», где размножили небольшую группу людей.
Есть несколько важных вех в истории развития мокапа в кино — от первого популярного реалистичного мультфильма Final Fantasy до противоречивого омоложения культовых актёров в «Ирландце».
Егор Томский, руководитель студии Watt:
«Основное применение мокапа — это запись движения актёра для анимации персонажей. Довольно часто записывают животных, лошадей и собак. Иногда мокап данные используют как референс для дальнейшей ручной анимации персонажей, например для «Притяжения» мы снимали движения акробата, которые стали некой основой для движения пришельца. Основное преимущество мокапа заключается в том, что аниматор сразу получает правильный вес и тайминг персонажа. Реалистичные движения чаще всего не такие плавные и точные, как в мультфильме, и как раз эту погрешность, жизненность, довольно сложно бывает анимировать руками».
История эволюции технологии в играх даже богаче, чем в кино. Ещё в 1989-м году создатель «Принца Персии» Джордан Мехнер создал фундамет для будущей технологии. Молодой разработчик снял несколько часов видео, где его младший брат бегал, прыгал, подтягивался и фехтовал, а затем с помощью ротоскопирования перенёс движения на игровую анимацию.
Следующий большой шаг в сторону мокапа — оцифровка изображения. Например, в серии Mortal Kombat, для создания персонажей снимали реальных бойцов и актёров на фоне хромакея, после чего полученные кадры оцифровывали. Система и принцип работы актёров с тех времён остались примерно теми же — монотонный длительный процесс записи однообразных движений, во время которого нельзя выходить из образа. Авторы Mortal Kombat позже даже ввели шуточного секретного персонажа под названием Мокап, который выглядит как обычный актёр в костюме для захвата движений.
Впервые же именно технология захвата движения была использована тоже в файтингах и по тому же принципу — в играх Rise of Robots, Soul Edge и Virtua Fighter 2, которые использовали CGI-спрайты вместо классического пиксель-арта и отличались 3D-анимацией.
Первой, кто сделал всю игровую анимацию полностью на основе технологии Motion Capture, стала студия Quantic Dream, выпустившая в 2005-м году Fahrenheit. Вместе с этим родилось целое направление кинематографичных игр, кульминацией которых стала Death Stranding.
Прорывом как для игр, так и для мокапа в целом стало изобретение системы MotionScan во время разработки L.A. Noire. Один из важных элементов игры — это умение распознать ложь по мимике персонажей. Поэтому перед разработчиками встала непростая задача максимально точно передать движения лицевых мышц актёров. На создание прорывной технологии понадобилось семь лет — зато с тех пор актёрам не требуется носить маркеры на лице, ведь всю мимику одновременно сканируют 32 камеры.
Современные движки, вроде Unreal Engine 4 упрощают и ускоряют работу над мокапом, потому что помогают в предвизуализации и позволяют сразу увидеть всю сцену. Сегодня работать с мокапом стало значительно проще, чем десять лет назад — актёры могут видеть свои 3D-аватары и окружение прямо на площадке.
С развитием технологий и графики, как в играх, так и в кино, всё чаще вместо Motion Capture употребляют сочетание Performance Capture. Таким образом подчёркивают заслуги актёров — как тех, что отвечает за движения персонажей, так и знаменитостей, дарящих компьютерным моделям лица и голоса. Сотрудничество с десятками или даже сотнями актёров давно стало неотъемлемой частью производства, а для Киану Ривза или Мадса Миккельсена участвовать в разработке игры сегодня так же захватывающе, как и сниматься в блокбастере.
Егор Томский, руководитель студии Watt
«За последние 10 лет активное развитие получили инерционные костюмы, типа Xsens и Rokoko. В маркерном мокапе сильно улучшился софт, алгоритмы солвинга стали умнее. Solving — этап создания скелета актера (или животного), когда система распознает какой маркер должен двигать какую кость, и, в случае потери маркера из вида, автоматически достраивает движение. Мокап теперь можно писать сразу в игровых движках, активно развивается направление виртуального производства — где мокап используется для захвата движения камеры на съемочной площадке. Технологии мокапа начали появлятся в телефонах, Arkit позволяет трекать как положение смартфона в пространстве, так и лицо и тело человека. Стоит отметить, что стоимость оборудования стала существенно меньше».
Основная тенденция в развитии мокапа — упрощение технологии производства и предоставление актёрам большей свободы. Сегодня инструменты позволяют снимать в большом спектре даже естественных локаций (в том числе под водой) и почти не сковывать себя в движениях. Один из самых доступных и удобных сегодня вариантов — это инерционные системы захвата движений, как, например, Xsens MVN Animate. Благодаря датчикам, расположенным в костюмах, уже необязательно записываться в студии.
Иван Кириенко, специалист направления 3D-захвата движений
«Наша команда более 10 лет занимается поиском классного и инновационного оборудования по всему миру и помогает применить его российским клиентам в различных сферах деятельности. Несколько лет назад мы наткнулись на систему Xsens в качестве инструмента для анализа биомеханики человека (в основном в спортивной науке и реабилитации). С тех пор, мы успешно сотрудничаем с Xsens во всех направлениях использования системы — спортивная наука и медицина, эргономика на производстве и 3D-анимация персонажей»
Самой главной особенностью систем мокапа от Xsens является мобильность без потери качества. Систему можно развернуть там, где оптические системы установить просто невозможно или же крайне затратно с точки зрения финансов. Например: внутри автомобиля (технически невозможно), в аэротрубе (технически невозможно), в помещениях на несколько этажей/с высокими потолками/с разным количеством комнат или других помещений (требуется большое количество дорогостоящих камер).
Кроме мобильности, важен и ещё один аспект — качество анимации остается на достаточно высоком уровне, и не требует долгой чистки. Тем самым достигается идеальный баланс трех факторов — мобильность (удобство использования)/качество анимации/цена. На выходе получаем высокую эффективность. Использование систем Xsens экономит время и деньги наших клиентов, а, как мы знаем, для индустрии gamedev’а это особенно важные ресурсы».
Закулисье
Студии часто публикуют различные видео и репортажи со съёмок, показывая, как выглядит работа с мокапом изнутри. Но это не более чем иллюзия и грамотная маркетинговая стратегия. Реалии производственного процесса раскрываются нечасто, а подробно о процессе создания мокапа для популярных игр или фильмов почти никогда не рассказывают.
Известно, что это трудоёмкий и специфический процесс, где намного больше рутины и чисто функциональных задач, чем магии. Даже при быстром развитии технологий сегодня мокап несовершенен и создаёт множество неудобств во время работы.
Егор Томский, руководитель студии Watt
«Основная трудность — потеря данных, когда камеры не видят маркер. Поэтому приходится изобретать декорации из сетки, ставить камеры по кругу, ограничивать количество актеров и прочее. Следующая трудность заключается в корректной передаче данных на персонажа. Мы стараемся понять, как двигаются кости актёра, но маркер прилеплен к костюму, который находится поверх мышц или жира, и только где-то под ними кость. В итоге мы изначально имеем погрешность данных.
Далее нужно это передать на персонажа, который чаще всего не совпадает по пропорциям, а даже если совпадает, человеческий скелет движется сложнее, чем 3D-шный. Особо сильно это заметно в плечах и позвоночнике. Ну и пальцы. Все хотят снимать классные пальцы рук, но пока это очень сложно технологически. Инерционные перчатки не дают точности результата, а маркеры постоянно пропадают».
Это лишь часть трудностей и непростых задач, с которыми сталкиваются мокап-аниматоры сегодня. Мы видим, как правило, только перфоманс актёров и конечный результат, но не очень понимаем, что именно происходит на этапе непосредственного использования технологии Motion Capture. Чтобы закрыть этот пробел, мы попросили одного из главных специалистов по мокапу в России Сергея Лобанкова рассказать о производственном процессе и его особенностях в нашей стране.
Сергей Лобанков, мокап-аниматор, актёр:
«Площадка, камеры, маркеры, реквизит — это всё инструменты. Но с инструментом надо уметь грамотно работать. Важно так снять и получить такой материал, который потом не приходилось бы долго обрабатывать. А именно: а) записать качественные мокап-данные (без шума, без «дрыжков», без выкручивания скелета модели ); б) правильно и выразительно отыграть действия. На эти две составляющие и разделяется процесс производства мокапа.
Надо разбираться в процессе правильного размещения камер на площадке. Задача мокапа — захватить движения, то есть поймать отражённый сигнал от маркера. Поэтому камеры надо расставить так, чтобы получить хорошую зону захвата. Луч, исходящий от камеры, начинается с точки, а потом рассеивается — значит, между лучами будут зазоры. И надо расположить камеры так, чтобы этих зазоров (мёртвых зон) было как можно меньше.
В процессе производства всё важно: от расположения камер на площадке до верно выбранного положения актёров для лучшего захвата движения. И, конечно, необходим опыт и понимание, каким образом замокапить то или иное действие, которое совершает персонаж в кадре. Существует много хитростей и приёмов, которые мы используем во время съёмок. Например, мы недавно снимали сцены для заставок Первого канала — анимацию с белками. Обычно их показывают по ТВ в новогодние праздники. Была задача: сделать так, чтобы белки ползали и прыгали по стеллажам. Причём заказчикам хотелось, чтобы белки подтягивались и именно ползали по вертикали. Понятно, что сделать это непросто — мы же не можем строить огромные стеллажи и по ним ползать вертикально как белки. Мы использовали хитрость: актёр полз по полу, перебирая руками и ногами как белка лапами. А мы уже потом поставили отыгранного персонажа вертикально. В кадре убедительно смотрелось, что белка ползёт по стеллажу.
Это не то же самое, что показывают в ролике со съёмок, где Бенедикт Камбербэтч играет дракона. Он тело дракона не отыгрывал. Если смотреть не на него, а обратить внимание на экраны, которые расположены на площадке, то видно, что никакого дракона там нет, а просто трёхмерная модель человечка, который делает всё то же самое, что Камбербэтч. К движению дракона это не имеет никакого отношения — у дракона совсем другое строение скелета и другая механика передвижения. Бенедикту честь и хвала — он пробовал поймать органику и характер этого существа, чтобы определить и подобрать верное поведение, что помогло ему во время озвучки этого дракона. Ну, и, на мой взгляд, это некий маркетинговый ход, чтобы все говорили о том, что Камбербэтч сыграл дракона. На самом деле, всё анимировали руками. Но ход, по-моему, сработал, если это до сих пор упоминают.
Если говорить о том, как и сколько всё делается мокапом у нас, то индустрией это пока рано называть — слишком мал спрос и толком нет специалистов. В России с мокапом мы начали работать первыми, было это в далёком 1997-м году. Тогда ещё использовалась электромагнитная система — на ней работать сложнее, чем на оптике. Там не те возможности, но трудности закалили нас. За 15 лет на ней, я получил колоссальный опыт. Тогда мы и открыли для себя различные съёмочные приёмы и очень многому научились.
В том 1997-м году мы участвовали в создании телепередачи для ОРТ (тогда так назывался Первый канал) «Чердачок Фруттис». Это был первый опыт оживления цифровых персонажей с помощью мокапа. В кадре с живыми людьми общались виртуальные герои мультфильмов Александра Татарского Шеф и Коллега. В передаче в качестве гостей участвовали звёзды и медийные персоны. А мокап использовали, потому что делать анимацию надо было быстро. Выработка одного среднего аниматора даже сегодня, если я не ошибаюсь, три секунды в неделю. А нам нужно было в конце недели выдавать в эфир 23 минуты. Плюс не надо забывать, что в то время не только аниматоров, но и моделеров и других специалистов CG сильно не хватало. А позже, когда мы выпускали передачу «Тушите свет» с Хрюном и Степаном, нужно было выдавать 15 минут в ежедневный эфир. Руками это было сделать невозможно, поэтому и была приобретена мокап-установка. Эта технология во многом для того и существует — чтобы ускорить производство больших объёмов анимации.
Если говорить о распорядке съёмочного рабочего дня, то схема стандартная. Сначала идёт техническая подготовка: проверяется и производится калибровка площадки, маркировка переодетых актёров и реквизита, размечтается пространство площадки, готовится звук и виртуальные локации. На площадке мы, как правило, ничего не строим. Стараемся по минимуму использовать то, без чего нельзя обойтись. Потому что: а) это ограничивает пространство; б) есть понятие «перекрытие маркеров» — мебель перекрывает луч, исходящий от камеры. Иногда ставим обозначающие предметы: если нужно сесть, то тогда скамеечку ставим, если в кадре лестница, ставим ступеньки. Но обычно действуем в пространстве на основе воображения и отображаемых на мониторе трёхмерных локаций. Актёр должен перемещаться в них как рыба в воде. На западных же студиях выстраивают мизансцену локации почти полностью, но тоже условную — из сваренных решёток, сетчатых дверей , кубов, пандусов и деревянных каркасов. Их бюджеты позволяют не ограничивать фантазию.
До съёмок тоже проводится подготовительная работа. Сначала идёт разбор с режиссёром, что и как мы будем снимать. Иногда в ходе обсуждения выясняется, что какие-то задачи выполнить невозможно — увы, мы не всесильны, не всё возможно сделать в мокапе. Если таких проблем нет, то мы дальше обсуждаем, сколько человек потребуется и какими силами можно снять сцену, ищем постановочное решение, находим подходящие приёмы. Так же и актёрам всё заранее объясняется, чтобы на площадке не было неожиданностей и каждый знал, что делать.
Дальше актёры на площадке выполняют поставленные творческие и технические задачи. Есть аниматики и лэйауты, по которым отыгрываются сцены. Первая попытка — это обычно как репетиция: отыграли, посмотрели анимированную сцену, увидели какие-то недостатки, переиграли заново с их учётом. В этом как раз преимущество работы с мокапом. Можно сразу увидеть отыгранный дубль.
Если анимация для компьютерной игры, то часто снимаем пробежки, разные стили передвижения, прыжки, работу с оружием. Это делается быстро и короткими дублями. Когда идут игровые сцены, там уже разыгрываются диалоги и полноценное взаимодействие.
Иногда придумываются приёмы прямо на площадке, за счёт которых можно сыграть специфичные вещи. При создании анимационного фильма «Необыкновенное путешествие Серафимы» нужно было сделать сцену, где женщина держит пятилетнюю девочку на руках, а потом приходят чекисты и их разъединяют. Что в такой ситуации делать? Маркировать женщину и пятилетнюю девочку? Но где найти пятилетнюю девочку-актрису именно для мокапа? Но даже если мы замаркеруем девочку, то сидя на руках, будет перекрываться много маркеров и у неё, и у мамы. Значит «по правде» это сыграть нельзя.
Поэтому мы придумали один приём. Всё играли два взрослых человека. Мы стояли рядом на небольшом расстоянии друг от друга. Я играл за маму, а девушка актриса отыгрывала девочку. Я стоял в позе, держащей девочку на руках — это тоже не так просто, надо понимать всю физиологию. А девушка заняла позу как бы сидящей на руках девочки и обнимающей шею мамы. А мокап-оператор в кадре на компе это всё соединил и получилась нужная мизансцена мамы с девочкой на руках. Вот так мы вышли из положения. В сцене всё получилось убедительно.
При создании таких сцен надо понимать все тонкости форм и пластики. Плюс мы в таких сложных сценах каждый момент отслеживаем через мониторы, которые расположены по всему периметру площадки. Это очень помогает ориентироваться — подобную сцену невозможно сыграть, не видя что происходит в кадре. Есть очень много условностей, которые актёр должен учитывать, при этом не выходя из процесса игры.
Как правило, мы работаем не больше шести часов. Не из-за физической усталости, а из-за напряжения, связанного с концентрацией внимания. Ты должен всё время наблюдать в монитор, всегда держать игру, учитывать, что руками нельзя «протыкать» тело своего персонажа, ориентироваться в виртуальных локациях, реагировать на звук, под который играешь и так далее»
В продолжении материала мы подробнее расскажем об особенностях работы актёров мокапа и обсудим со специалистами будущее технологии.
Автор: Николай Кубрак
