Мотофотопринт и немного нейросетей

Artwork
3D Art
2D Art
Making Off
[ 13.11.2019 ]

Хорошие друзья обратились за помощью сделать полотно для фотопечати в детскую комнату. В ходе работы опробовал использование нейросети ESRGAN для увеличения разрешения исходного изображения и разные техники монтажа.

Исходником послужил концепт Карлоса Ортиса (Carlos Ortiz) по образу модели Harley Davidson Agera. Изображение в разрешении 1920x1080 пикселей не очень подходит для печати большого формата с хорошим качеством. Нужно было поднять детализацию исходника.

devstratum - Concept

ESRGAN

Для решения задачи помог эксперимент с нейронной сетью ESRGAN для увеличения разрешения исходника в 4 раза с сохранением деталей картинки, которые дорисует натренированная модель нейросети.

devstratum - ESRGAN
devstratum - ESRGAN

При сравнение кадров, очевидна разница работы алгоритмов обычной бикубической интерполяции и нейронной сети ESRGAN (Enhanced Super-Resolution Generative Adversarial Networks), что в вольном переводе означает: расширенные генеративные состязательные сети для сверх разрешения. Исполняемый код написан на языке программирования python. Нужно было установить среду исполнения под используемую ОС, подключить библиотеку PyTorch, запустить скрипт и ждать результата. Тема обширная, вариантов и сервисов сейчас появилось много.

Обработка главного объекта

В итоге был получен исходник с разрешением в четыре раза выше с не плохой детализацией от оригинала, с которым можно работать для последующей печати. После удаления фона, прикинул новый основной цвет байка, был выбран красный вариант.

devstratum - Colors

В исходнике не нравилась цепная передача на заднее ведущее колесо. Она выглядела слишком крупно и не внятно. Эта деталь была удалена с дорисовкой эскиза нового диска с перекраской. Коробку двигателя и радиаторы цилиндров хотелось пустить в хром. Звёзды тормозных дисков и колодку переднего колеса покрасил в основной красный тон.

devstratum - Detail - 01

Для новой цепной передачи пригодилось трёхмерное моделирование. Сделал модель звезды и цепи. Вид, примерно, подогнал под перспективу объекта. На некоторых частях байка была произведена покраска и частичное текстурирование разных деталей. На тормозных дисках нанесены радиальные борозды износа. Рулевая вилка покрашена в более тёмный шеллак цвет. Несущая рама тоже подверглась покраске.

devstratum - Bonus

Была доработана оптика, добавлен поворотник в район бензобака, а также новое кожаное седло. Корзина двигателя стала более монолитной и понятной, с защитой от набегающего мусора. Добавлены тени и блики. Местами добавлены текстуры грязи, царапин и износа, то что делает любую вещь реальной со своей историей во времени. После проведенных операций можно сравнить то что было и то что получилось в итоге. Результат, более менее, устроил всех.

devstratum - Become

Создание сцены

Для создания общей сцены сначала надо было подогнать камеру с перспективой трехмерной плоскости под объект. В последствии все объекты моделировались и размещались в рамках этого кадра.

devstratum - Scene

Общая идея развилась от участка дороги вдоль береговой линии. Чтобы окружение не казалось пустым, захотелось добавить разных деталей и объектов. После моделирования расположил их в композицию на свой вкус.

devstratum - Scene

Естественно, предварительно я искал что может послужить задним планом. В итоге выбор пал на отличную работу Егора Блинцова, атмосфера которой подошла великолепно. Материалы и текстуры слишком прорабатывать не стал, финальная доработка последовала после рендеринга. При фотомонтаже пришлось двигать задник, поэтому ранее расставленные источники света немного разошлись, но это не особо повлияло на итоговый результат.

devstratum - Scene

Финальный монтаж состоял из множества этапов. Были доработаны материалы объектов и мотоцикла.  Для большей глубины и теней был использован слой с ambient oclusion (представлен выше в серых тонах) и немного эффекта пара. Задний план тоже был обработан нейросетью для соответствия разрешения всех слоев и частично изменён.

devstratum - Scene

Фотопечать задумывалась модульная. Были нарезаны секции примерно 500 x 1100 мм, хотелось сохранить максимальное количество деталей. И в итоге, самое главное, родители и дети остались довольными!

devstratum - Final