みなさんこんにちは、青山キリカです。
突然ですが、おめがシスターズというVTuberをご存じですか？
高い企画力と技術力を持つVTuberとして有名な彼女らですが、近年の動画では「部位チューバー」と呼ばれる、「バーチャルの顔+実写の肉体」というスタイルの配信も行うようになりました。
この形になることで
- 手元などで実写部分を多く使えるため、より細かい表現ができる
- 顔バレ防止になる
- 手元を見せた配信やドライブと言った、VTuberでは作りづらい実写動画を撮れる
- 実写の人、VTuberのどちらと同じ画面上にいても不自然でないので、コラボ相手に制限がなくなる
と言った魅力的なメリットが考えられます。
実際、この形になってからカードゲームのパック開封やボードゲームの紹介動画と言った、手元の映像を活用するタイプの、バーチャルと合成するには少し面倒な動画も違和感なく動画にすることができているようです。
さて突然ですが、僕は最近楽器の演奏にハマっています。
顔バレせずに叩いてみた動画を作成したいなぁと思ったとき、おめシスの部位チューバー方式を取ればできるのではないか？というアイデアが脳裏をよぎりました。
ということで、検証してみます。やってみよう、顔だけアバター化！
動画版もYouTubeにアップしています。よかったら遊びに来てね↓
【部位Tuber】顔だけVTuberになる方法！配信時の顔バレ防止にもオススメ
動画配信をするために顔を隠す方法
今回は顔をアバター化するという手段を持って顔バレ防止を試みますが、顔を隠す手段自体は多様にわたります。複数のものを組み合わせるとより顔バレ防止に役立つため、要チェックです。
モザイク処理をかける
動画編集ソフトを使って、自分の顔の部分にモザイク処理をかける方法があります。顔の部分を隠せるため、比較的簡単に顔を隠すことができます。ただし、モザイク処理をかけた映像の見た目が違和感を与える場合があるため、慣れていない人にとっては難しい場合があります。
マスクやサングラスを着用する
マスクやサングラスを着用することで、顔を隠すことができます。ただし、これらのアイテムを着用することで、顔の特徴が変化するため、一部の人からは不自然に見える場合があります。
仮面を着用する
仮面を着用することで、完全に顔を隠すことができます。仮面を着用することで、自分の顔を完全に隠すことができますが、仮面を着用することで声質が変化する場合があります。その点は注意が必要ですね。
背景を使う
カメラの背景に風景やアニメーションなどを使うことで、自分の顔を隠すことができます。この方法は、あまりにも動きが激しい場合には有効ではありませんが、比較的簡単に顔を隠すことができます。
顔だけアバター化は複数のメリットを兼ね備える
と、このように顔を隠すためにアプローチは複数存在します。
今回の顔だけVTuber化の仕組みはひとつめの「モザイク処理をかける」に近いですね。マスクやサングラス、仮面を使うものと違って物理的に隠すわけではないため、とてもお手軽です。加えて、モザイク処理と異なって表情による表現が可能であるといった点が強みです。
また、多くのユーザーは上記のような手段で顔を隠しているため、「顔だけアバター化した実写動画のチャンネル」というキャラクター性は視聴者の心に残ります。
Virtual Faceがあればスマホひとつで部位チューバーになれる
Virtual Faceというスマートフォンアプリがあれば、スマホ一台で顔にバーチャルな表情を合成することが可能です。八ツ橋まろんさん開発のアプリで、無料で利用することができます。お手軽で、便利。
『Virtual Face』がApp Storeにリリースされました💡
— 八ツ橋まろん🌰Unityが上手なVtuber (@Maron_Vtuber) August 30, 2022
パーフェクトシンク対応のVRMで遊べるよ！
Unityに表情を送信できるよ！
(対応アバター持ってなくてもデフォルトアバターでとりあえず遊べるよ)
アプリのリンクはリプ欄に！#madewithunity pic.twitter.com/XkOiQ8Bllz
Virtual Faceはアプリとしてどこでも手軽に使える利便性がある反面、単機能で物足りない面もあります。そのため、今回は他のアプローチも探ってみます。
もちろん、Virtual Faceには独自の使いやすさや特徴があるため、必要に応じて併用することもできます。他システムと併用することでそれぞれのメリットを享受し、より効率的に作業を進めることができます。
顔だけアバター化する手順をご紹介
今回使うものは、VRoidStudio、Animaze、OBS Studioです。
モーションキャプチャはAnimazeで。使うアバターはVRoidStudioで手直しします。
VRoidStudioで顔だけのVRMファイルを作成しよう
はじめに、VRoidStudioを起動。VRoidStudioはSteamから無料で入手することが可能です。
アバターは自作済みのものを使用します。
VRoidStudioにはサンプルアバターがあるから、とりあえずこれでお試ししてみるのもGOOD！
過去のこちらの記事にてVRoidStuidoを使ったアバターの作成についてふれています。イチから作ってみたいなという方はこちらの記事も参考にしてください。
「テクスチャの編集」から、目のボタンをクリックして非表示にします。
本来消せないパーツでも、このように透明なテクスチャを作ることで消し去ることができます。
靴などの小物は、テクスチャで消すのではなくプリセットの「何も使わない」から未選択にしてもOK。
健全なソフトなので下着の非表示機能などありませんが、テクスチャさえ消せば消えます。
目のアイコンで非表示にするほか、シンプルに消しゴムで消してもOK。
全てのパーツをひたすら消します。
ちなみに、VRoidStudioでは部分的に非表示にした衣装を複数重ねてデザインを作ったりします。
しばらくコネコネした結果、首だけのアバターが完成。
画面右上の「VRMエクスポート」を選択。
先ほど見えなくしたテクスチャが悪さしないように、「透明メッシュを削除」がチェックされていることを確認します。
設定項目は人に配布する用途で作っていない限り、適当に決めて大丈夫です。設定し終わったらVRMファイルを出力してください。
デスクトップを出力先にしました。これで首だけアバターの作成作業は完了です。
Animazeは無料版でもOK
続いて、Animazeを起動します。
AnimazeはFaceRigというソフトの後継機です。こちらの名前なら知ってるという方もいるのでは？
Animazeは基本無料で使用できます。とりあえずお試しという方でも安心。
前述の通りAnimazeは基本無料で使えますが、一部機能は有料です。
写真のように、MP4出力やウォーターマーク非表示がロックされています。
長期的に使いたい方は、有償版を買っちゃいましょう。
Animazeの課金には、月額版(サブスク)と、買い切りタイプ(Lifetime License)があります。以下のような違いがあるので、好みの方でご利用ください。
| 月額版(サブスク) | 買い切り版(Lifetime License) | |
| 料金体系 | 毎月定額を支払う | 1回支払って終わり |
| 更新 | 常に最新版が使える | 2022年開発段階までしか使えない |
| おすすめ | ・短期間で飽きるかも、という人 ・最新版が欲しい人 | ・継続的に支払いたくない人 ・新機能が増えても使いこなせないかなぁ、という人 |
また、買い切りタイプ(Lifetime License)にもProとPlusという2種類のバージョンがありますが、Animazeを使って商業をしていて、ガッツリ稼いでる人は業務用(Pro)ライセンスを買ってね、というイメージのようです。
僕は買い切り版のAnimazePlus22 Lifetime Licenseを利用。
新機能こそ追加されないものの、ある時点でのバージョンを一生永久に使うことができます。
有償プランユーザーになると、起動時に「通常モードでの起動」と「有償モードでの起動」が選択できます。
無料版でも今回やりたいことはほぼできるので、あまり気にせずに。
Animazeを設定しよう
では、AnimazePlus22を起動します。無料版で試す方は普通にAnimazeを起動してください。
Animazeを起動。既にアライグマ？に画面が制圧されています。
Animaze22Plusなので、先程は利用できなかった「Animazeのウォーターマークを非表示にする」、「HQ(.mp4)画質で録画」機能が開放されています。
左部の「アバター」から、「自分のアバター」を選択します。
さっき作った首だけアバターをチョイス。
画面に首が浮かびました。
Animazeに映像を入力したい
続いて、Animaze本来の使い方ならここでWebカメラをつなぎます。ですが、今回は「全身の動画」に対して「Animazeでフェイストラッキングした動画」をミックスします。
カメラからのリアルタイム映像は僕の技術ではできませんでした。
ということで、入力には動画ファイルを使います。
逆に言うと、動画ファイルさえ用意しておけば後から顔のミックスが出来るため、
- 屋外での撮影
- 時間がなくてもとりあえず映像だけ録画しておく
と、応用の幅があります。
さて、適当に自分の映像を録画してきました。
位置合わせのため、開始一秒くらいは画面ど真ん中で固まってください。この位置を基準として顔の標準位置が定められます。
OBSの仮想カメラを設定しよう
Animazeは基本的に動画を読み込めず、Webカメラからの映像しか読みません。
なので、OBS Studioの仮想カメラ機能を使います。
OBSでは動画の配信、録画でお馴染みですが、同じ要領でWebカメラのような振る舞いをする機能が備わっています。OBSを経由することで動画をWebカメラの映像であると認識させることで、Animazeに取り込んでいきます。
OBS Studioは以下から無料でダウンロードできます。
「ソース」に「メディアソース」を追加し、ダブルクリックします。
ローカルファイルから自撮り動画ファイルを選択。そのままOKを押します。
OBS上で動画が再生されます。一時停止、シークバーでの操作も可能です。
「コントロール」タブより、「仮想カメラ開始」をクリック。
Animazeの入力選択画面を開きます。OBSVirtualCameraを選択。
Webカメラとして動画が認識されました。OBS上で操作するとプレビューにも反映されます。
映像は左右反転で認識されますので、ミックス時に反転させます。
Animazeでキャリブレーションしよう
次はキャリブレーション(位置合わせ)の作業を行います。
本来、Webカメラを通している場合は自身がニュートラルな位置で立ち止まり、位置を補正します。
えっ、それって仮想カメラだとできなくない？
動画を適切な位置で一時停止しちゃえば大丈夫です。当たり前ですが、一時停止なら微動だにしないのでキャリブレーションできます。
正しくキャリブレーションが行えると、動画の再生に合わせて画面上の顔も動きます。
首の細かい動きまで拾っていて驚き。
合成のため、グリーンバックにします。背景から、グリーンバックを選択。
緑になりました。
ここから先の機能はAnimaze有料版の機能です。Animaze無料版で実施する際は後述の手順に差し替えてください。
「バーチャルカメラを有効にする」の右にある設定ボタンをクリック。
「スクリーンキャプチャ」→「録画動画のプレビュー」これで録画が始まります。
仮想カメラ用OBSで動画を再生すると、顔が動画に合わせて動きます。動画を流しならがひたすら録画するので、1時間の動画は1時間録画が必要です。
終わったら「停止」。適当な場所に保存します。OBSカメラも停止しましょう。
あとはこの動画をミックスするだけです。
動画を重ね合わせ、クロマキーでGBを透過。動画を左右反転してサイズを調整。
完成したものがこちら。
強めに首を振ってもしっかり追従します。
少し処理が弱かったため、このように静止画としてキャプチャするとグリーンバックが残っているのが見えてしまいます。
手のひらを顔の前にかざすと、首より後ろに描画されてしまいます。このへんは「こういうキャラクターです」として割り切るか、手の動かす範囲に気を配る必要がありますね。
Animazeの無料版で同手順を実施する
Animazeの無料版で同手順を実施する際は、MP4出力の機能が使えません。なので、メディアソースとして出力されているAnimazeをOBSでキャプチャしてあげる必要があります。
しかし、仮想カメラ機能をオンにしているOBS Studioでは動画キャプチャが行えません。
乱暴な解決方法ですが、OBS Studioの２つ目を起動します。
- 仮想カメラ用OBS
- Animazeの録画用OBS
AnimazeのMP4出力の代わりに、「バーチャルカメラを有効にする」を押し、OBS Studioの「メディアソース」からAnimazeを指定することでグリーンバックのアバター動画を録画することが可能です。
まとめ
以上、今回の成果でした。
現状、欠点として
・首の後ろの髪が首より手前に来る
・作成に時間がかかる
といったポイントがあります。
この辺は要改善ですが、比較的簡単な手順で自分の顔だけをVTuberっぽくすることに成功しました。
ご自身のアレンジを加えつつ、楽しく活用してみてください。