VRにおけるディープラーニング利用： 手の位置のみの簡易なモーションキャプチャのリアリティを向上する研究
講演形式
ショートセッション
講演時間
08月23日(木) 14:00 〜 14:25
資料公開
予定あり
受講スキル
VR装置に関する基礎的な知識。
得られる知見
VR仮想空間にアバターのモデルを表示する際の問題認識と、それを解決するためのディープラーニングの応用。
セッションの内容
近年、ディープラーニング技術は基礎研究から応用段階に入ってきました。同時に、VRデバイスもまた毎年めざましい発展を遂げています。
各社からはVRヘッドセットとハンドコントローラーが発売され、Oculus RiftやViveでは頭部や手先の動きがVR装置から把握可能になっています。
しかし、腕や肩あるいは胴体といった位置へはセンサーがありません。そのため、現実の動きと同期しきれない仮想空間上の自身のアバターのモーションを、ディープラーニング技術によってよりリアリティを持ったものへ向上させるのが我々の挑んでいる課題です。
今回のテーマ、PEPE「Project Elbow Position Estimation」という技術は、体の局所的な部位の移動情報から、なめらかな全体の動きを予測して生成します。
ディープラーニング技術で、装置のつけられてない関節位置を予測し、より自然な3Dモデルのポーズを算出します。