2023年の機械学習トレンド
VFX業界において機械学習（ML）は目新しいものではないが、現在も盛んに議論されているトピックだ。懐疑と好奇心に始まり、実際に試して、最終的にワークフローに実装するという、あらゆるトレンドが辿る過程を経ながら、最初の好奇心という段階において、当時の最新技術についてはすでにお伝えした通りだ。
当時から3年が経過し、機械学習はVFXの枠にとどまらず現実世界でも活用されるようになった。機械学習は今や認知の主流となり、年齢や新技術に関する知識に関係なく、誰もがChatGPTについて興味を持っている。2023年は機械学習が世界を変える年だという見方もあれば、より具体的な予測も出ており、まさに世間の注目を浴びている。
ここ数年は、機械学習やAI、世界におけるそうした技術の位置づけが大きく変化した。ここでは、機械学習の概要とその進歩、今後の方向性について解説する。
メディア/エンターテインメント業界に影響を与える注目すべき機械学習技術は何か。詳しく見てみよう。
VFXに活用される機械学習
スキンケアの第一人者や形成外科医が嫉妬するほど、老化防止技術は大きな進歩を遂げた。『ジェミニマン』のウィル・スミスや『アイリッシュマン』のロバート・デ・ニーロなどは典型的な例だが、今や誰もがデジタル整形を経験しているかのようだ。今や技術は完成し、AIのフェイススワップツールは大いに活用されている。ドラマ『ボバ・フェット』で、ILMは自社のデジタルフェイシャルアニメーション技術と機械学習を駆使して、若きスカイウォーカーをきわめて詳細に再現した。AIと機械学習技術が標準化に向けた大きな一歩を踏み出した今、制作現場ではディエイジング技術が浸透しつつある。まだギミックに見えてしまうこともなくはないが、ディエイジングはうまく活用すれば、制作者側にとってクリエイティビティを正確に視覚化するための強力な手段となる。もちろん、髪型や服装を変えたキャラクターをフラッシュバックさせるといった従来通りの手法もあるが、服装やスタイル、メイクといったものは、見る側に説得力をもって語りかけるものであるかと言えば、おそらく違うだろう。機械学習は、より安価に、より容易に、作品のレベルを引き上げることができるだけでなく、見る側の信頼に足る映像表現を可能にする技術だ。
『ストレンジャー・シングス 未知の世界』シリーズ4では、テクノロジーとベテランの技術の融合により、ミリー・ボビー・ブラウン演じる主人公のイレブンを見事に若返らせた。『ストレンジャー・シングス未知の世界』のVFXチームは、幼い頃のミリー・ボビー・ブラウンと似た容姿を持つ子役マーティ・ブレアを起用して、マーティの顔の上にディエイジングしたミリーの顔を合成し、実写を織りまぜて演出を行なった。プロジェクション、3Dモデリング、撮影したプレートを子役と組みわせ、8歳のイレブンをリアルに表現した。イレブンのディエイジングを担当したLola VFXのVFXスーパーバイザー Michael Maher Jr氏は、「単なるディープフェイクで実現できるような簡単な作業ではありませんでした。表情をできるだけ正確に映像化するために、スタジオが開発した特殊な技術です」と振り返る。これは、機械学習は単体では不十分で、VFXアーティストの経験や技術力と融合されることで、はじめて課題解決に活かせる技術であることを改めて示している。
サードパーティ製モデルの活用
機械学習にはさまざまな活用法や可能性がある。PyTorchのようなオープンソースのフレームワークも増えてきており、無限の可能性への探究心は尽きない。2018年3月以降、新しい機械学習リポジトリは指数関数的に増加しており、38,000以上の新しいPyTorchモデルが登場している。しかし、こうしたモデルの使用は、すでに高いポテンシャルを示す実例が数多くあるものの、VFXやアニメーションの制作現場にいくつかの課題をもたらす。その一つが、モデルを稼働させるために必要となる研究者やエンジニア、TDの技術的専門知識だ。また、機械学習モデルをアーティストのパイプラインに組み込むという、技術を要するプロセスをうまく乗り切ったうえで、クリエイティブなプロセスを効率的に開始するために十分な柔軟性が得られるように、アーティストに優しいインターフェースも必要だ。
こうした課題を解決するためにFoundryの研究開発チームが導入したのが、Nukeでネイティブに動作するサードパーティ製モデルの無料ライブラリ、Catteryだ。研究とポストプロダクションのギャップを埋めるように設計されたCatteryは、アーティストがこうしたオープンソースの機械学習モデルを活用し、自身のパイプラインで使用できるようにするものだ。Nuke 13シリーズでは、アーティストがニューラルネットワークをトレーニングして画像ベースのタスクにカスタムエフェクトを作成できるプラグイン、CopyCatが導入された。作業時間を大幅に短縮するために設計されたCopyCatを使用することで、ガベージマットの作成など、複雑で時間のかかるタスクを自動的に実行することができる。Nuke 14.0でリリースされたCatteryはその延長線上にあるもので、人気のMLモデルの共有が可能だ。
アーティストの手間を省き、クリエイティブに集中できるようにするための機械学習ツールの開発は、Foundryにとって常に優先事項となっている。研究開発チームはSmartROTOというプロジェクトを通じて、機械学習が既存のワークフローを中断することなく、ロトアーティストをインタラクティブに支援し、基本的な作業を加速させてより多くの時間をクリエイティブに割くことが可能かどうかを探究している。
生成型AIの現状
最後に、この1年でもっとも大きなトレンドとなった話題について触れておこう。ChatGPT、Midjourney、Stable Diffusion、GitHub Copilotなどの生成型AIツールが注目を集めているのは確かだが、驚くべきことではない。その機能性が好奇心を刺激するだけでなく、現在、Stable Diffusionの親会社であるStability AIが著作権侵害に関する2つの訴訟に直面するなど、法的観点からの関心度も高い。ウェブからかき集めた画像やアート作品でシステムを訓練することで、アーティストたちは「われわれのアートをこのように使用する権利を求められたり、補償されたりすることはなかった。」(Business Insider, 2023)と主張している。この判決は、生成型AI全般の判例となるだろう。Stability AIの敗訴は、トレーニングデータの収集に制限を加える結果をもたらす。もし彼らが勝訴すれば、AI時代における著作権の新しい世界を明確に示すことになる。
裁判の結果がどうであれ、この話題は倫理的、哲学的な両観点から議論する価値がある。こうしたツールがあれば、誰もが作家やビジュアルアーティストになれるのだろうか？熟練した才能のあるアーティストと機械学習を賢く使うことを学んだだけの偽物との間には、まだ境界線が存在するのか？VFX業界にかぎって言えば、極端な答えを出す必要はない。FoundryのリサーチエンジニアマネージャーであるBen Kentは、次のようにコメントする。「われわれの業界でこうしたツールを使用している人たちは、必ずしも制作のためではなく、コンセプトやアイディアを短時間で確認するために、ストーリーボードやコンセプトアートのような感覚で使用していると思います。アーティストはこうしたツールを使用することで、コンセプトアートの検討を迅速に行い、短時間で最終アイデアに到達することができます」。
機械学習の今後
今後VFX業界において、機械学習は、アーティストに取って代わるものではなく、むしろアーティストに力を与え、ワークフローを加速させ、クリエイティブにあてる時間を増やすものとして、必然的な役割を担うことが明らかだ。CopyCat、Cattery、継続中のSmartROTOプロジェクトは、それを示すものだ。Image Engineで長編映画やエピソード番組のリードコンポジターを担当するAli Ehtemami氏は次のようにコメントする。
「AIベースのソフトウェアや機械学習技術の進歩によって、変更になるVFXルールもあるでしょう。AIが人間の仕事を代替するとは言いたくありませんが、変えていくことは間違いないでしょう」。
アーティストたちはすでにこのトレンドに目を向け、関心を示している。業界標準に沿ったもっとも革新的なツールを提供するために研究開発に全力を注ぐべく、今後のトレンドや先進技術に引き続き注目していくことが我々のミッションだ。機械学習やアセット中心のワークフローからバーチャルプロダクションまで、Foundryはテスト、開発、新たな課題の解決を繰り返すことで、未来のワークフローを開拓していく。
