バーチャルヒューマンのリップシンク・フェイストラッキング
バーチャルヒューマンの顔の表情や口の動き・頭の動きとリアルな自分のそれぞれの動きをリンクさせるのにリップシンクという技術を使用します。
オンラインのサービスやアプリ・ソフトがリップシンクやフェイス表情トラッキンなど各社特色のある形で公開していますので、Vtuberを始める人や企業Vtuber、もしくはオンライン接客などで上手に利用してバーチャルヒューマンやアバター を作っていく手法を紹介します。
リップシンクとは
バーチャルヒューマンやアバターの口の動きを音声とリンク（同期）させる方法をリップシンク(lipsync）といいます。 音声を音素に解析して解析データーから出力していきます。
フェイストラッキングとは
バーチャルヒューマンやアバターの顔の動きや表情を映像とリンク（同期）させる方法をフェイストラッキングといいます。 正確にはカメラ映像の顔の動き・表情を各ポイント（位置）・各フレーム（時間）で3Dデータ取得することをフェイストラッキングというのでしょう。 そこからバーチャルヒューマンやアバターの同じポイント（位置）とリンク（同期）させあたかも自ら動いているようにアニメーションを生成していきます。
おすすめサービス・アプリ
REALITY
REALITYは、スマホ向けVTuber配信アプリでiOS/Android対応です。 アプリをインストールしてカメラで顔の表情をスキャンしてアバター の表情や頭の動きとリンクします。
アバター は豊富に揃っていて、自分の好みにカスタマイズできます。 Youtubeリンクやゲーム実況だけにとどまらずメタバース へも拡大展開しています。
カスタムキャスト
カスタムキャストはニコニコ生放送向けのアプリで、会員サービスは550円/月で限定機能・アイテム、アバターの出力など最大限に利用できるサービスもあります。
3Dアバター制作は、男女それぞれ顔・ボディ・衣装・アクセサリーと豊富に揃ってます。
SHOWROOM V
顔だけでなく、手の動きや距離までスキャンしてリンクするのが特徴です。
Vroid hubにも対応しています。
https://hub.vroid.com/apps/904d41a0f598fd48b74124820ec8e93e86dc86062f9b3f2141d3578374ce3308
ミチコンPlus
ミチコンPlusはiOSのスマートフォンで全身モーションキャプチャーができるアプリです。
背面の映像をAR合成できるや、任意のアバターを使用できるなどサービスも進化しています。
https://www.next-system.com/michicon
nizima LIVE
nizima LIVEはLive2Dから出ているPC向けフェイストラッキングです。 顔の表情をwebカメラで読み取りモデルの用意された表情とリンクさせます。
パラメーターや物理演算など細かい設定が可能で、難しい表情も手軽にできるのが特徴です。
VTuberを始めるのに便利な機能がいろいろ揃ってます。
https://docs.nizima.com/promotion/nl92316/
Animaze
Animazeは基本無料で使える配信用リップシンクソフトです。 配信時間は90分までが無料となっていて、無制限で使いたい方やウォーターマークを消したい、高度な設定をしたい方は有料のサブスクバージョンがあります。
https://store.steampowered.com/app/1364390/Animaze_by_FaceRig/?l=japanese
フェイストラッキングのおすすめソフト
フェイストラッキングで有名なのは3tene, Luppetですが、気になりだして読み取りと反応が良いのがVSeeFaceです。 フェイストラキイングで表情や頭の動き、目の動き（愛トラッキング）をしてVTuberの活動に役立てましょう。
3tene (win,mac)
シンプルで簡単にフェイストラッキングとハンドトラッキングができるソフトです。
操作・設定がシンプルなので誰でも簡単に始められます。
読み取りが環境光やカメラによって差が出ます。
LeapMotionにも対応していてハンドトラッキングもできます。
既存のモデルの仕様とVRM形式のモデルを読み込むことができます。
Luppet
バストショット中心でフェイストラッキングとハンドトラッキングができます。 上記よりもLeapMotionが自然な表現ですが、全体的に動きは普通の速度で早くはありません。
こちらのソフトは有料です。
iFacialMocap連携ができパーフェクトシンクができるのが特徴です。
VSeeFace (win)
VSeeFaceは基本的な機能とプラス細かい設定までできる使い勝手のよいトラッキングソフトです。 動きや表情に対する読み込みと反応も早いのが特徴です。 なので顔の表情のフェイストラッキングは自然な表現に見えます。
また、LeapMotionで手のハンドトラッキングができます。
また、近日マイクロソフトからフェイストラッキングのサービスが出ていて精度も良いようですが、まだ試していません。
・TOP
・人物写真
・【注目】バーチャルヒューマン
・静物写真
・建築写真
