AIの活用による創造性の発展に取り組むQosmo（以下、コズモ）は、深層学習を使ったリアルタイムDSP（デジタル音処理）モデルをDAW（デジタル・オーディオ・ワークステーション）上で利用可能にするプラグイン「Neutone」のβ版をリリースした。これにより、音楽制作においてこれまでアーティストやクリエーターにとっては敷居の高かったAIの利用を、汎用的なプラグインを通じて、容易に創作プロセスに導入することができる。また、AIの研究者やエンジニアは、同プラットフォームを通じて、新規に開発されたモデルを、容易に音楽制作者と共有することができるようになる。
Neutoneプラグインの主な機能
これまでAIモデルを利用する上ではPythonプログラミングの習得やGPUマシンなどの環境構築が不可欠だった。NeutoneはVSTおよびAudio Unit形式のプラグインとして開発され、汎用的なマシン上で動作するAbleton LiveやLogicなどのDAW上でリアルタイムに動作させることができる。
すでに多数のAI音声変換モデルが同プラグイン向けに発表されており、プラグイン内のレポジトリーよりダウンロード可能となっている。
現在利用可能なモデルは次のとおり。
- RAVE.amen…入力音をAmen Breakに変換
- RAVE.drumkit…入力音をドラムキットに変換
- RAVE.evoiceおよびRAVE.jvoice…入力音を声に変換
- RAVE.NASA…入力音を月面宇宙飛行士との交信風に変換
- RAVE.kora…入力音をkora (アフリカのハープ）に変換
- RAVE.violin…入力音をバイオリンに変換
- convld-overdrive.random…深層学習を使ったオーバードライブ
- temporalconv.reverb…深層学習を使ったリバーブ
これらのモデルはまだ実験的な段階のものもあるが、今後の開発によってさらに量・質ともにアップデートされていく予定。各モデルの詳細はNeutone公式ウェブサイトより確認することができる。
また、AI研究者・開発者は、自身の開発したモデルをNeutoneプラットフォーム上で公開することが可能。同社の提供するNeutoneSDKでモデルをラップすることにより、容易にNeutoneプラグインに対応させることができる。
