アドビは、クリエイターの祭典であるAdobe MAX 2023の「Sneaks」セッションにおいて、生成AIを使用して画像編集に革命をもたらす強力な新しいオブジェクト認識編集エンジンである「Project Stardust」と、写真やビデオ、オーディオ、3D、デザイン、ファッションなど複数のクリエイティブ領域をまたぎ、生成AIと3Dテクノロジーを駆使して開発中の新技術の数々を発表する。
「Sneaks」は、世界中の数百万ものユーザーが信頼を寄せるアドビ製品にとって重要なポテンシャルを持つプロトタイプやテクノロジーなど未来のイノベーションをエンジニアや研究者が直接デモンストレーションするセッションで、今年は11のプロジェクトが集結する。
「Project Stardust」は、複雑な形状の対象物の選択、編集、削除を簡素化し、あらゆるユーザーが直感的かつ手軽そしてスピーディーに画像編集を行えるようにする。たとえば、写真の中の人物を選択し、構図内の別の場所に移動させ、その人物がいた位置の背景を塗りつぶすといったことが可能。また、人物の服の色や立っている位置などの要素を変更することもでき、レイヤーを持つファイルのように、あらゆる画像編集が可能。
アドビの研究開発部門Adobe Research バイスプレジデント兼フェロー ギャビン ミラー（Gavin Miller）氏は、次のように述べている。
「Adobe Sneaksは、毎年MAXで見逃すことのできない人気セッションですが、これには理由があります。将来のアドビ製品を支えるかもしれない最先端技術を、優秀な従業員が実演してくれることほど刺激的なことはないからです。一つひとつのプレゼンテーションに私たちのクリエイターへの情熱が込められ、今年のショーケース全体としては、生成AIと3Dテクノロジーを駆使してクリエイティブな表現をさらに加速させ、アドビのツールの可能性を再解釈するエキサイティングな新しいアプローチが示されるでしょう」
アドビのクリエイティブな生成AIモデル群であるAdobe Fireflyが9月に一般提供され、この新しいアプリケーションがカバーする領域は画像生成のその先へと今後さらに拡大するとしている。
今年のSneaksで紹介されるイノベーションには、ビデオ＆オーディオ、アニメーション、モーショングラフィックスのワークフローを再構築してくれる生成AIや、インスピレーションの探索やアイデア出しのプロセスを加速したり、映像制作などのポストプロダクションにかかる時間を数日から数分に短縮したりできるような、強力なプロジェクトが含まれている。
写真
Project Stardust
画像編集に革命をもたらす強力なオブジェクト認識型画像編集エンジンで、オブジェクトのクリックだけで移動、削除を実現する。ユーザーは、任意の画像内の複雑な要素を簡単に選択、編集、削除できる。これにより、写真の中の人物を選択し、構図内の別の場所に移動させ、その人物が居た位置の背景を塗りつぶすといったことが可能。また、人物の服の色や立っている位置などの要素を変更することもでき、レイヤーを持つファイルのように、あらゆる画像編集ができる。
Project See Through
写真から反射の映り込みを簡単に除去するAI搭載ツール。ガラスの映り込みは、それがかぶると被写体が見えづらくなり、写真を台無しにしてしまうという問題がある。既存のソフトウェアでこれを除去するのは不可能に近い難しさですが、このツールはそのプロセスを劇的にシンプルなものにする。
ビデオ＆オーディオ
Project Fast Fill
Adobe Fireflyの生成AIのパワーが初めてビデオにもたらされる。シンプルなテキストプロンプト入力だけで画像コンテンツの追加、削除、拡張を行う生成AI機能「生成塗りつぶし」はAdobe Photoshopにすでに搭載済みだが、このプロジェクトはAdobe Premiere ProやAdobe After Effectsなどのビデオ編集ツールにプロンプト入力に対応した生成AIが搭載されたらどうなるかを示すプロトタイプ。
Project Dub Dub Dub
動画の多言語吹き替えプロセスを自動化するプロジェクトで、これまで労力とコストがかかっていたプロセスをワンクリックで終わらせることができる。AIを活用して、動画のオーディオトラックを自動的にすべての対応言語に翻訳し、セリフのタイミングもオリジナルトラックと同期するように調整するため、追加の編集を加えずにそのまま配信することを可能にする。
Project Scene Change
動画エディターのためのプロジェクトで、異なるカメラ軌道で別々に撮影された被写体と背景シーンのふたつの動画素材からオブジェクトとシーンを抽出し、カメラモーションが同期したひとつのシーンとして合成する。
Project Res Up
革新的な拡散ベースのアップサンプリング技術を使って、ビデオを低解像度から高解像度に簡単に変換する。
3D＆デザイン
Project Poseable
AIベースの画像生成モデルにおけるブレークスルーで、人物写真から抽出したポーズなどの大きな3Dオブジェクトをシームレスかつ容易に編集できるようにする。今回のプロトタイプは、テキスト入力から3Dレンダリングを作成し、奥行きと遠近法の整合性がとれた状態でオブジェクトをシーンに配置できるPoseableテクノロジーと統合されている。従来のポーズ制御システムによる3Dシーンの作成は技術的に複雑で時間がかかるものであったが、このプロジェクトは、創造的なビジョンを広げてくれる使いやすい代替手段を提供する。
Project Neo
3D作成ツールの知識がなくても2Dデザインに3Dシェイプを組み込めるようにする。インフォグラフィックスやポスター、ロゴなどの2Dデザインを手がけるクリエイターにとって、3D要素を取り入れるには複雑なワークフローと長年の経験が必要とされるが、このプロジェクトは使い慣れた2Dツールと手法を用いて簡素化された3Dをデザインに取り入れることを可能にする。
Project Primrose
衣服をクリエイティブなキャンバスに変身させ、技術とファッションの境界を融合する可能性を秘めた柔軟なテキスタイルディスプレイ。このインタラクティブなドレスは、Adobe Firefly、After Effects、Adobe Stock、Adobe Illustratorで作成されたコンテンツを表示することで、無限のスタイルの可能性を提供できる。
Project Glyph Ease
グリフ（各文字の具体的なデザインや形状）のデザインにともなう面倒なプロセスを合理化し、カスタマイズされたレタリングをより手軽に作成できるようにする。紙面上のタイポグラフィの文字のサンプルや手描きイメージのスキャンを出発点に、AIを使って入力されたレタリングスタイルに一致するグリフ一式を自動的に生成。生成されたグリフは、Adobe Illustratorで簡単に編集することができる。
Project Draw & Delight
生成AIツール一式を提供し、最初のアイデア（多くの場合、ラフな落書きや走り書きとして表現される）を洗練されたスケッチに変換し、カラーパレット、スタイルバリエーション、さまざまな背景を試すことから、誰もが創作を進められるよう支援する。
