『Long Live The Prince』キャンペーンで機械学習の技術を活用
機械学習は様々な分野や産業に波及を続け、とりわけ、VFX/アニメーション業界においては、自動化とAIによってもたらされる作業時間の削減という恩恵が享受されている。
プロジェクトが複雑化する一方で納期の短縮化が進み、制作現場には新たな課題が突きつけられている。こうした課題を解決するために、最新のテクノロジと最先端ツールに支えられた新しいワークスタイルが求められている。
Nuke 13.0で発表されたFoundryの機械学習ツールの開発は、こうした認識に基づいて行われた。新たに導入されたツールセットに含まれるCopyCatは、ニューラルネットワークをトレーニングすることで、画像ベースのタスクにカスタムエフェクトを作成できるプラグインだ。
作業時間を大幅に短縮するために設計されたCopyCatを使用することで、ガベージマットの作成など、複雑で時間のかかるタスクを自動的に実行することができる。プラグインにサンプルをいくつか入力すれば、CopyCatがニューラルネットワークをトレーニングしてエフェクトを再現し、シークエンス全体にエフェクトを適用することが可能だ。
これまでCopyCatは大小様々なスタジオで厳しいテストを受けてきたが、その一つであるFramestoreでは最近、『Long Live the Prince』という画期的な反ナイフキャンペーンでこのツールが活用された。これは、わずか15歳の若さで悲劇的な死を遂げた天才サッカー選手Kiyan Princeをデジタル技術を使って蘇らせるというものだ。
Framestore社でクリエイティブテクノロジストを務めるJohannes Saam氏とプロジェクトリーダーのKarl Wooley氏のもと、Kiyanの姿はキャンペーンのショートフィルムの一部として繊細かつ精巧に
デジタル再現された。
プロジェクトの背景にあるクリエイティブなプロセスや、Nukeの機械学習技術 CopyCatノードの活用について、Saam氏に話を聞いた。
使いやすい機械学習ツール
2021年3月にNuke 13.0の一部として商用リリースされたCopyCatは、アーティストやスタジオがその可能性と潜在能力を探究する中、数ヶ月をかけてパイプラインへの定着が進んできた。Saam氏はこれまでの使用経験から、CopyCatの試しやすさ、習得のしやすさについて次のように話す。
「CopyCatは十分実証されたノードです。とても直感的で理解し易く、実作業における活用は極めて容易に行えました。以前から機械学習のコンセプトについては社内で議論を重ね、事前の調査にかなりの時間をかけていましたし、YouTubeの動画も役立ちました」
しかし、Framestoreにとって機械学習技術の活用はCopyCatが初めてではなかったという。「私たちは機械学習における研究開発を数多く行っており、機械学習を用いたジェネレーティブアートで多くの画像を生成し、常に敵対的生成ネットワーク(GAN)を念頭に置いて、新たな画像生成を行なっています。すぐに使用できるようにラベル付けされた画像を数多く所有することで、トピック分析が非常に興味深いものになります」
こうした経験を踏まえ、Saam氏は次のように話す。「CopyCatは非常にとっつきやすいので、エンジニアではなくアーティスト主導でクリエイティブなアイディアを実現することができます。CopyCatの真の実力はこの点にあるのです。機械学習の優れた機能を解き明かすことで、アーティストはコンセプトをクリエイティブに落とし込むことができるのです」
CopyCatの活用
わずか２分足らずの動画『Long Live the Prince』は、今はなきサッカー界の天才、Kiyan Princeへのオマージュだ。生きていれば30歳になるKiyanはこの動画で、かつて所属していたクイーンズ・パーク・レンジャーズFCの選手として、背番号「３０」を身につけて登場する。
Framestoreはこのプロジェクト全体を無償で引き受けたという。CopyCatの具体的な活用について、Saam氏は次のように話す。「役者のユニフォームに付いていたスポンサーロゴを削除しなければならなかったのですが、作業を行うコンポジターがいなかったので、自分でPhotoshopで４つのフレームをペイントし、CopyCatノードに追加しました。ラップトップでたった2時間のトレーニングの後、ロゴを削除することができました。通常であれば相当な時間がかかる作業でも、CopyCatを使えば極めて簡単にできてしまうというわけです」
機械学習の活用は作業時間の削減に大きく貢献し、アーティストはよりクリエイティブな作業に時間を費やすことが可能だ。「CopyCatによって、アーティストは本来の作業に専念することができます」とSaam氏は言う。
このプロジェクトでは２つのショットでCopyCatが使用されたが、一方のショットのチェックポイントをもう一方のショットのベースとして使用するのではなく、クロップしたKiyanのシャツをトラッキングしたという。
「両方のショットからランダムなデータセットを生成し、トレーニング終了後、両方のショットに同じモデルを使用してうまくいきました」
今後のCopyCat
『Long Live The Prince』以前から、CopyCatはFramestoreのパイプラインで広範なテストを受けてきたが、最も注目すべきは、Mayaからのプレイブラスト/プレビューレンダリングと最終レンダリングのトレーニングだ。
「このトレーニングにより、プレビューレンダリングから最終レンダリングのクオリティに変換できるモデルができました」とSaam氏。「結果は完璧ではないものの、十分注目に値するワークフローです。ニューラルレンダリングは、今後数年で制作ワークフローを大きく変えることになるでしょう。これは、レンダリングパイプラインの強化を実現するニューラルレンダリングの実力を示すほんの一例に過ぎません」
CopyCat、ひいてはNukeの機械学習に今後期待することは何か。
「抽出、Inpaint、キーイングのための特定のネットワークはスタートに過ぎません。GANを使用してテクスチャ用の画像を生成できるようにする必要があるでしょう。Nukeの画像処理機能と最新の研究を融合させることで、真にプロシージャルかつスケーラブルな画像処理/生成が可能になると思います」
Saam氏は、今後、機械学習がコンテンツ制作のワークフローやスケーラビリティにプラス影響をもたらすという見通しを示す。
「機械学習は、複雑で計算量の多い処理を1つのデータセットに“ベイクする”という目的で、すでに3Dパイプラインにおいて多用されています。リギング、レンダリング、FXでは、低速な処理で生成された膨大なデータセットを取得して、特定のタスクをより高速かつスケーラブルに実行するカスタムネットを生成しています」
「制作パイプラインの中の計算負荷の高い処理を特定し、それらを人的作業ではなくデータセットに基づいて自動化するというのは、まさに、CopyCatによって実現できたことであり、これによってアーティストは本来のクリエイティブな作業に集中することができます。こうした試みはまだ始まったばかりで、テクニカルディレクターがこの新しい技術に習熟すれば、ニューラルレンダリングの背景にあるアイディアを革新的に応用し、パイプライン工程をブラックボックス化することが可能になるでしょう。
Nukeの30日間無償体験版をお試しください。
