みなさんこんにちは、キリカです。
VTuberや動画投稿者さんが、自身のモデルを使ってまるで実際にその場にいるかのようにBeatSaberをプレイしている様子を見たことはありませんか。
あれ、パソコンさえあれば簡単に作れちゃえますよ！！
今回は、BeatSaberの動画合成方法紹介を行いたいと思います。
コンセプトの解説と管理人の環境
自作VRMファイルをそのまま使いたい
BeatSaberでアバター利用といえば、カスタムアバターを使うという方法があります。
カスタムアバター(.avatar)をMOD経由で導入するという方法ですが、今回はこちらは使いません。
今回は以下の記事で作成した自作アバターを利用します。
したがって、アバターモデルはVRMファイルとなっています。
VRMファイルを用いてアバターモデル合成動画を作成する方法としては
- VRMデータを.avatarに変換し、カスタムアバターとして読み込ませる
- バーチャルモーションキャプチャを利用してアバターモデルを合成
という方法があります。
今回はバーチャルモーションキャプチャを利用して合成する方法をご紹介。
.avatarファイルを作成する場合、VRMに修正があったら再度作り直す必要が生じます。
こちらの方法の場合、VRMファイルを編集した場合もそのVRMに置き換えるだけでOKというメンテナンスのお手軽さがメリットです。
管理人の環境
まずはじめに、管理人が利用している機材をご紹介。説明の前提条件になるため、予めご確認ください。
MetasQuest2(OculusQuest2)
ポチップ
これがないと始まらないVR機器。OculusQuest2はスタンドアロン(PC無しの単体だけでも動く)であるのが魅力的です。
スタンドアロンでも動きますが、今回はキャプチャのためにPCに接続しPCVRとして利用します。
OculusQuest2はこちらの記事でべた褒めしてます
ASUS TUF DASH F15
ポチップ
まあまあなパワーを持つゲーミングノートパソコンです。
ノートパソコンなので性能は抑えめですが、RTX3060を搭載しているためコンパクトさと描画性能をバランス良く備えた優秀な一台。
なお、PCを使うため、BeatSaberはSteam版を使います。
Steam版もQuest版も買ってます
普段はQuest版。PCでMODバリバリ使うときはSteam版、と使い分け
Anker USBケーブル3m
ポチップ
OcukusQuest2とPCは無線でも画面の共有などが可能です。
ですが、充電しながらの長時間プレイ、低遅延での大容量データ送信が用途に噛み合っているため有線で利用します。
Oculus純正のケーブルはお値段5桁とお高め。
Anker社のケーブルは十分な通信速度を持ちつつお値段1300円前後(執筆時)と買いやすいです。
手順の紹介
今回はおおまかに
- BeatSaberにMODを導入準備
- CameraPlusを導入
- バーチャルモーションキャプチャを導入
- OBSで合成し撮影
という流れで進めていきます。
言うまでもないですが、くれぐれも自己責任で作業してください。
バックアップやこまめな動作確認が大事です。
BeatSaber自体のアップデート、Mod関連ソフトのアップデートでうまくいかなくなる場合が多々あります。
当ブログの情報は記事公開当日に動作確認しています。
細かいミスで失敗して悩みやすいので時間に余裕がある際にやってね
BeatSaberにMOD導入の準備をする
PC版BeatSaberにMOD導入の準備をします。
MOD導入にはModAssistantを利用します。
以下のリンクからModAssistantをダウンロードしてください。
スクショはv1.1.26の段階のものです。
環境に合わせ最新のバージョンを選択してダウンロードしてください。
起動したらまずバージョンを確認しましょう。
画面左下に「GameVersion」とあります。ご自身のBeatSaberに合わせたバージョンを選択してください。
BeatSaberのバージョン確認はBeatSaber内で足元を見ると書いています
次に注意事項を確認したら「IAgree」をクリック。
作業時は1.19.0でした。
「Option」タブにて「InstallFolder」を選択します。
BeatSaber本体がインストールされているフォルダを指定してください。
インストールされているフォルダが分からない場合はSteamのBeatSaberを開く→「設定」→「管理」→「ローカルファイルを閲覧」にて該当フォルダにアクセス可能です。
「Mods」タブに移動してください。この画面上から好きなModを導入できます。
かなり多くの種類がありますが、今回必要なのは初期指定のMODのみです。選択肢は初期のまま変えず最低限だけインストールして動作確認しましょう。
「Install or Update」をクリック。
画面下部に「Finished installing mods」が表示されれば完了です。
起動し、MODが適切に入ってることを確認します。
CameraPlusを導入しカメラ操作を可能に
MOD導入が確認できたら実際に必要なMODを導入します。
今回利用するのはCameraPlusです。
このプラグインはModAssistantからは入手できないため自力で導入します。
作者さんのページから最新のものを取得。
BeatSaberのPluginsフォルダ(大抵の人はここ→C:\Program Files (x86)\Steam\steamapps\common\Beat Saber)に、ダウンロードしてきたCameraPlus.dllを移動。
BeatSaberを起動して反映確認します。
もしBeatSaberが起動中の方はいったん終了し、再起動してください。
PC画面から確認した際、三人称視点になっていればOKです。
完了したら、準備として「非VR解像度」という項目の解像度を設定、確認しておきましょう。
バーチャルモーションキャプチャをインストール
続いて、バーチャルモーションキャプチャをインストールします。
作者さんのBoothより取得しましょう。
起動します。
「VRM読込」より、利用するVRMデータを読み込ませてください。
利用規約等を確認し進めていくと、VRMデータが読み込まれます。
コントロールパネルから「キャリブレーション」をクリック。
「MR合成モード」を押し、画面上のモデルと同じポーズをとってください。
この操作でキャラとユーザーの体パーツの位置合わせを行います。
アバターの動きが自身とリンクしたら成功です。
下のスクショでは(コントローラーを持ったまま)マウスでスクショを行っています。右手が実際の動きと同じになっています。
補足ですが、キャリブレーション中に何度か失敗しました。原因としてはコントローラーが認識されていなかったためみたいです。
画面上にコントローラーとHMDが認識されている(下のスクショのように白い丸で表現)状態であることを確認してみてください。
キャリブレーションが終わったら、続けてバーチャルモーションキャプチャの設定を行います。
Cameraplus.cfgを連携し、BeatSaberのカメラ位置とバーチャルモーションキャプチャのカメラ位置を一致させます。
バーチャルモーションキャプチャの「設定」画面から「CameraPlus(BeatSaber MOD)」の「Import」を選択し、先程導入したCameraPlusの場所を指定してあげます。
バーチャルモーションキャプチャの「背景色」タブから背景色を選択します。
「透過」を選択してください。
OBSを使って合成する
合成はOBSで行います。
OBSは導入されているものとし、手順はざっくり省略します。
バーチャルモーションキャプチャ、BeatSaberの画面をそれぞれ「ソース」の「ゲームキャプチャ」に追加してください。
バーチャルモーションキャプチャに関しては、ソース追加時に「透過を許可」を設定しておいてください。
うまくいくと以下のようになりまｓ・・・。
あれ、アバターの位置がおかしいな・・・？
確認したところ、CameraPlusのインポート手順を実施し忘れていました(記事のとおりにやっていれば大丈夫です)。
「手順をブログに書きつつ同時に作業する」とやると忘れる部分がでます
上記の設定をちゃんと済ませ、OBSにて録画したもの(のキャプチャ)が以下の画像です。
カメラ位置が初期設定なので見づらいですが、アバターが適切な位置に合成されています！！！
カメラの位置を微調整しようと思います。
CameraPlusは非常に使い勝手が良く、PCからでなくVR内部から直接カメラ位置を変更できます。
CameraPlusが導入されていれば、BeatSaberを起動した状態で真後ろを見上げるとまるで防犯カメラのようにカメラが配置されています。
掴んで好きな場所に移動すればそこから撮影ができます。
カメラ移動中の様子もカメラに収められていたので貼ってみました↓
カメラを少し斜めに整えました。
静止画だと分かりづらいですが躍動感がすごい！！！！
左手が剣を手放しちゃってない？
アバターの腕の長さがアレかな？若干調整が必要そうです。
より再現度を高めるためには剣の位置、各モデルのサイズ感の調整などが細かく必要そうです。
また、撮影中はかなりPCの負担が大きく、BeatSaberのフレームレートが少し落ちる場面も見られました。ノートパソコンのGPUだとちょっと低負担寄せにしてあげないと厳しいかもしれません。
まとめ
駆け足でしたが、バーチャルモーションキャプチャを中心としたBeatSaberの映像合成方法でした。
もっといいGPUを使えばエフェクトを増やしても重たくならないなあ、とか、足や腰用のトラックセンサーを揃えてフルトラック環境で撮影したいなぁ、とか夢が広がります！
MOD導入さえできてしまえば比較的簡単な手順であることもありがたいです。
自分の作ったキャラがゲーム内で生き生きとしている！！！！サイコーに楽しい！！！！
ポチップ
ポチップ
ポチップ