Unity ThreeDPoseUnityBarracuda を試す

ThreeDPoseUnityBarracuda という動画からMotionCaptureできるUnity用のアセットです。

https://github.com/digital-standard/ThreeDPoseUnityBarracuda

BarracudaというのはDeepLearningの学習データを読み込んでシェーダでGPU処理できるようにするアセットのようで、それを使って動画からスケルトンのポーズを生成してるようです。OpenPoseのようなPoseEstimationのDeepLearningデータを使用しているのだと思います。

デフォルトでUnityちゃんが入ってますが、マキタくんでも動きます。(顔が裏返ってますが)

ベースになる動画はVideoPlayerが表示しているRawImageから取得してるっぽいので、VideoPlayerで読める動画ならなんでもいいみたいなので、適当にYouTubeからダンス動画引っ張ってきて躍らせてみました。

極端にアップになったりするとぐちゃぐちゃになりますが、普通の動画からモーションキャプチャできるって便利ですね。

RADiCALってのを試したいと思っていたが、これと変わらないのかなあ?

https://getrad.co/

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です