Pythonプログラミングで姿勢推定を実装する
AI技術とディープラーニングの発展により、様々な分野で革新的な取り組みが進んでいます。そんな中、3DCGモデルをAIで動かすという計画に取り組んでいます。
人物の姿勢推定を実現するために、PythonのTensorflowライブラリを用いて実装を行いました。当初はPytorch yolov7ライブラリで試しましたが、うまく認識できず断念。しかし、Tensorflowに切り替えたところ、見事にキーポイントを認識し、ビジュアルとして出力することに成功しました。
VFXで使用されるフェイストラッキングよりも精度が高く、非常に満足のいく結果です。この成功体験を活かし、次は顔の動きを姿勢推定で表現できるようチャレンジしていきたいと思っています。
書いているのはこんな人
3DCGモデルをAIで動かす意義
3DCGモデルをAIで動かすことは、単なる技術的な挑戦以上の意義があります。それは、エンターテイメントやアニメーション業界における表現の幅を大きく広げ、よりリアルで臨場感あふれる作品作りを可能にするからです。
例えば、AIで動いた3DCGモデルを用いて、以下のようなことが可能になります。
- 自然な動きで感情を表現: 表情や動作に微妙なニュアンスを加えることで、より人間らしい感情を表現することができます。
- 複雑なアクションシーンを表現: アクションシーンにおいて、従来のアニメーションでは困難だった動きを表現することができます。
- AI生成プログラムにより人件費削減: リアルタイムにキャラクターアクションをAI生成し、コントロールする人手を減らすことができます。
このように、3DCGモデルをAIで動かすことは、表現の可能性を無限に広げ、新たなエンターテイメント体験を生み出す可能性を秘めているのです。
Tensorflowで実現した姿勢推定
今回の姿勢推定では、Tensorflowの姿勢推定を利用してプログラムを作りました。
実装方法は以下の通りです。
- Tensorflowと必要モジュールをインストール
- 姿勢推定モデルを構築
- 映像から取得した画像をモデルに入力
- モデルが出力したテンソルキーポイントをビジュアル化
実装モデルの精度を向上させるために、様々なパラメータを調整する必要がありました。
まとめ
3DCGモデルをAIで動かすことは、エンターテイメントやアニメーション業界における表現の幅を大きく広げ、新たな可能性を生み出すものです。今回、Tensorflowを用いて姿勢推定を実現し、その可能性を垣間見ることができました。
今後も、顔の動き表現など様々な課題に取り組みながら、3DCGモデルをAI生成で動かすという夢を実現していきたいと思っています。
ご相談や制作依頼などお気軽にお問合せください！
| TOP | ABOUT | 人物写真 | 静物写真 |
| バーチャルヒューマン | 3DCG/VFX映像制作 | 建築写真 | コンサルティング |
