はじめに
バーチャルヒューマンやAIアバターなど、しゃべるバーチャルヒューマンはChatGPTと連携して新しいコミュニケーションを作れるとして注目されています。
今回は、3DCGで作成したバーチャルヒューマンをUnityにFBX形式でシェイプキーを含みインポートし、音声ファイルを使ってリップシンクを実装する過程を記します。
書いているのはこんな人
必要なもの
手順
1. シェイプキーの作成
3DCGソフトウェアで、バーチャルヒューマンの口パク用シェイプキーを作成します。一般的には、以下の15個のシェイプキーが必要です。
- a
- ah
- eh
- ee
- ih
- oh
- oo
- uh
- ae
- oi
- ou
- ch
- j
- ng
- th
各シェイプキーは、口の形を表現します。例えば、「a」は口を開いた形、「ee」は口をすぼめた形を表します。
2. FBX形式でエクスポート
シェイプキーを作成したら、モデルをFBX形式でエクスポートします。エクスポート時に、以下の点に注意してください。
- メッシュとシェイプキーが一緒にエクスポートされていることを確認してください。
- FBXファイルのバージョンはUnityのバージョンと互換性があることを確認してください。
3. Unityへのインポート
UnityでFBXファイルをインポートします。インポート時に、以下の点に注意してください。
- マテリアルとテクスチャも一緒にインポートされていることを確認してください。
- モデルのスケールが適切であることを確認してください。
- Unityのシェーダーはマテリアル の表現にとても大切なものです。ベーシックなものからトゥーンシェーダーの様なアニメ調のもの、フォトリアル なHDPRなどありますのでそれぞれの特徴を考えて設定してください。
4. リップシンクの設定
以下の手順で、リップシンクを設定します。
- VRChat向けアバターの場合
- アバターのルートオブジェクトに VRC Avatar Descriptor コンポーネントを追加します。
- VRC Avatar Descriptor コンポーネントの LipSync > Mode を Viseme Blend Shape に設定します。
- その他のリップシンクシステムの場合
- 使用しているリップシンクシステムのドキュメントを参照して、シェイプキーと音声ファイルの紐付け設定を行います。
5. テストと調整
音声ファイルを再生して、リップシンクが正しく動作することを確認します。必要に応じて、シェイプキーのウェイトを調整して、口の形をより自然にします。
その他
- より自然なリップシンクを実現したい場合は、リップシンク専用ツールを使うこともできます。
- 口の形だけでなく、舌や頬の動きも表現することで、よりリアルなリップシンクを実現できます。
- モデル・リップシンク・背景をUnityで立ち上げ、リアルタイムで会話をするとPCのマシンスペックがかなり必要になります。 目的と利用環境に合わせて軽量化が今後の課題です。
まとめ
Unityでリップシンク を実装することで、簡単にしゃべるバーチャルヒューマン・AIアバターを作成できます。 さらにChatGPTなどLLMのチャットボットと連携させることでAI受付、AI案内所、AIコンサルタント、AI相談室、AI面接を実現できるでしょう。
ご相談や制作依頼などお気軽にお問合せください！
| TOP | ABOUT | 人物写真 | 静物写真 |
| バーチャルヒューマン | 3DCG/VFX映像制作 | 建築写真 | コンサルティング |
