続！ニューラルネットワークを用いた音声信号によるリップシンク（口パク生成）技術
我妻 大樹
赤松 佑一朗
- セッション分野
-
SND(サウンド)
- セッション関連分野
-
ENGVA
- キーワード
-
モデル学習TAアニメーション（3D）
- 対象プラットフォーム
-
なし
- セッション難易度
- 求められるスキル
- ・AI技術を用いたデジタル信号処理に興味のあるサウンドプログラマー
・より自然なキーフレームアニメーションデータを作成したいテクニカルアーティスト、アニメーター - 得られる知見
- ・時系列的な音響イベントの効果的な検出方法
・解析的なアプローチによる自然なアニメーションデータの生成方法 - 写真撮影 / SNS投稿
セッション内容
CEDEC2019ではニューラルネットワークを用いた口の動きを推定する手法をご紹介しました。
本セッションではその後の研究において得られた2つの成果について紹介します。
・子音など短いフレームで発生する音響イベントの検出
・音韻情報をリップシンクアニメーションへ変換するための解析的なアプローチ
これらのリップシンクのための手法について、デモンストレーションを交えながら解説します。
講演者
-
我妻 大樹
株式会社CRI・ミドルウェア
ゲーム事業本部 開発部 エンジニア
講演者プロフィール
2018年 株式会社CRI･ミドルウェアへ入社。
入社後は汎用ゲームエンジン向けのプラグイン開発に携わる。近年は、音響モデルの研究や有機的なアニメーションのモデル化等の業務に従事。
CEDECの登壇は3回目。趣味はギターと推し活(担当が卒業)。受講者へのメッセージ
LLMを代表としたAI技術が時代の流れを作っている一方で、ヴァーチャルキャラクターを可愛く、美しく見せるためのリップシンク技術はまだまだ前例が少ないです。
本セッションで得られる知見が、信号処理とニューラルネットワークと可愛さの橋渡しとなれればさいわいです。 -
赤松 佑一朗
株式会社CRI・ミドルウェア
エンタープライズ事業本部 マルチモーダルソリューション開発部 エンジニア
講演者プロフィール
2021年 株式会社CRI･ミドルウェアへ入社。
汎用ゲームエンジン向けのプラグイン開発や音声信号処理関連の業務に従事。
並行して音響モデル出力を利用したアニメーション生成手法の研究に携わる。
趣味は作曲と沼津旅行。受講者へのメッセージ
キーフレームアニメーションの編集では、補間カーブを細かく調整して動きを作る方法が一般的ですが、意図した動きを直感的に与えることは必ずしも容易ではありません。
そこで本講演では、音声信号処理の考え方をアニメーション補間に応用し、動きの速さや細かさをより直感的に表現する手法を紹介します。
本セッションの内容が、ゲーム、映像作品、生配信などでキャラクターをより生き生きと動かすためのヒントになれば幸いです。