みなさんこんにちは、キリカです。
こちらの記事でも紹介したように、僕は最近趣味としてドラム演奏を嗜んでいます。
ドラムの練習にあたり、いつも悩んでしまうポイントがドラム抜き音源の用意です。
例えばカラオケでは、楽曲のうちボーカルのみが削除されたいわゆるオフボーカル、カラオケ音源を用いて歌います。
ドラムも同様にドラム抜き音源が欲しいのですが、カラオケ音源と違って配布されていない場合も多く、なかなか調達が難しい。
楽曲から簡単にドラム音源だけを選択して取り除くことができたら、こんな問題は解消されますね。
また、逆にドラム音源だけを抜き出すことができれば耳コピ、譜面起こしも楽になるため魅力的です。
今回ご紹介するのは、そんな夢をAIで叶える「Demucs」という音声分離ソフトウェアです。
今回の記事はこんなご希望をお持ちの方におすすめです！
- ドラムを始めとした特定の楽器の音だけを消したい
- 逆に特定の楽器の音だけ欲しい
Demucsとは
今回はDemucsと呼ばれるツールを用いて音声分離する方法をご紹介します。
DemucsはFacebookやVR技術でよく知られるMeta社の研究チームが作成したオープンソースのプロジェクトで、誰でも無料で利用することが可能です。
実行する方法はいくつかあり、日本語の記事ではGoogleChrome上で実行したり、Pythonを利用して動かすものの説明が多いです。
今回は、Windows上にダウンロードし、GUIで操作できるDemucs GUIに絞って導入手順を解説していきます。
Demucs GUI の使い方
それでは、早速Demucs GUIを導入していきましょう。
以下が公式ページです。以下のリンクや検索から公式ページにアクセスしてください。
「Downloads」までスクロールしてください。以下のようなリンクがあります。
ここでは「FossHub」をクリックしてください。
以下のような画面に進むので、お使いの環境に合わせたインストーラーを取得します。
Macユーザーは「xxx-macOS」を選択。
Windowsユーザのうち、お使いのPCがグラフィックボードを積んでいる場合は「xxx-CUDA-xxx」を、積んでいない場合は「xxx-CPU-xxx」を選んでください。
CUDA版の本体は特にサイズが大きいので気長にダウンロードしてください。
なお、「Downloads」画面で「Github released」を選択すると、Githubのページに飛びます。
ここからFossHubに飛ぶこともできる他、OneDriveからの保存もできます。
前述のダウンロードで失敗する際はこちらの手順も試してみてください。
ダウンロードに成功したら、保存した圧縮ファイルを解凍します。
フォルダ内に「Demucs-GUI.exe」がありますので、これを実行します。
今回の解説で取り扱うのはWindowsのCUDA版です
起動すると、以下のような画面が出ます。
グラフィックボードの確認を行うため、「LoadModel」をクリックして少し待ちます。
GPUが読み込まれました。今回はGeforce RTX 3060Tiのデスクトップ版を利用します。
ちなみに、3060Tiならざっくり1分くらいで分離できます
音声を分離したいファイルを適当なフォルダに置いてください。ファイル名は隠していますが、今回はmp3ファイルを利用しています。
DemucsGUI右下の「Browse File to Separate」を押します。
先ほど保存した楽曲ファイルを選択します。
実行ボタン等は無いため、即座に分離作業が始まります。作業中ですが、特にそのようなメッセージだったり進行具合を示すプログレスバーなども表示されません。右下の数値が目まぐるしく変わっている間は作業中です。
完了すると、右下の数値変化が止まるとともに、「Failed to Write with soundfile,using wave instead」と表示されます。Failed(失敗)と表示されていますが、きちんと出力されているので大丈夫です。
先ほどの保存先を開いてみると、「xxxx_separeted」というフォルダが生成されているので開きます。
該当フォルダ内に、「other.wav」、「vocals.wav」、「bass.wav」、「drums.wav」の4ファイルが作成されています。これで音声分離は完了です。
「other.wav」内には、ボーカル、ベース、ドラム以外の例えばキーボードや電子音などが入っています。
それぞれ再生し、適切に分離されていることを確認してみてください。精度が高く、他の音がほぼ混ざりこんでいないため驚きました。
Audacityで分離した音声をミックスする
ここからはDemucsGUIの紹介から外れますが、当初の目的であった「ドラム抜き音源の作成」を行います。先程、「other.wav」、「vocals.wav」、「bass.wav」、「drums.wav」の4つを作りましたので、「drums.wav」を除く3ファイルを合成すれば、ドラム抜き音源が完成します。
今回はメジャーな音声編集フリーソフトである「Audacity」を利用してミックスします。
公式サイトはこちら。
Current Version から「Audacity x.x.x 64bit instraller」を保存します。32bitPCをお使いの方、インストーラーではなくポータブル版が良い方はお好みで選択してください。
インストーラーを保存しました。実行し、インストールします。
Audacityを起動しました。先程作成した4つの音声をすべて選択し、Audacity上にドラッグアンドドロップします。
4つの音源ファイルがそれぞれ波形として表示されています。これを見ると、Demucsでの分離が本当に綺麗にできるものだと驚かされます。
ドラム抜き音源の作成には、「drums.wav」のトラックを選択し、ミュートを押します。ドラム音源だけが灰色となり、再生されなくなりました。同様に、「vocal.wav」をミュートにすればカラオケ音源にできるなど、応用が効きます。
また、この際に音量バランスを調整することで、ドラム音のみ強調した練習素材等の作成も可能です。
「ファイル」→「書き出し」→「MP3として書き出し」を選択。
適当な場所に保存すれば音源作成の完了です。お疲れ様でした。
AIソフトを利用する際は規約を確認すること
例えば、無料で自由に利用できる音楽を提供してくださっている大手サイト、「魔王魂」様では楽曲とAIについて以下のような禁止事項を出されています。
AIによる自動作曲システムなどに組み込んでフレーズや音色を再利用すること。あくまで作曲システムへの組み込みを禁止するだけであり、映像や画像生成システムのBGMとして利用するのはOKです。ただし著作表記が必要です。
https://maou.audio/rule/
例えばDemucsにて音声を分離し、その音源の一部を自動作曲AIツール等に入れるのはNGと思われます。
今回の目的である「ドラム音源抜きの素材を作り、それに自身のドラム演奏を重ねる」はカバー演奏の形としてOKではないかと思われますが、確信は持てません。
魔王魂さまは「困ったらお問合せしてね」というスタンスを提示してくれているので、実際にやってみる際は一言相談するのが良いと思われます。
サービスによっては、「AIツールの利用はすべてお断り」と言ったものもあります。
AI技術の進化はめざましく、どこのサービスでも急速にルールの制定中です。サービスの提供者様に迷惑をかけないよう、適切な手段で利用してください。
AIは本当に便利な技術！
少しずつルールが制定され、規約の中では自由に使えるようになると便利ですね。
まとめ
簡単な操作で音声を分離し、各パートごとの音源を作成できるDemucsGUIをご紹介しました。
同様のツールは何年も前からありましたが、AIを利用した当ソフトウェアの精度は群を抜いていると言えます。
各パートごとの音作りを学んだり、(ルールの中で)ミックス素材にしたり、はたまた単純に特定のパートだけを聴いて楽しんだりと、音楽を楽しむ人にとって非常に有用なソフトウェアと言えるでしょう。
ぜひ有効活用し、音楽のある楽しい生活をお過ごしください。
近年、AIを利用するソフトウェアが多く公開されてきました。AI系のソフトウェア動作は大きなGPUパワーが求められます。以前より値段も落ち着いてきたため、ワンランクグレードアップしてみてはいかがでしょうか。
ポチップ
「AIを楽しむために小型のゲーミングパソコンを自作しよう！」という記事を作成しました。よかったら併せてお楽しみください。
