音程だよ、音声じゃないんだよ。 -応答性の高い音程認識技術とゲームへの活用法-
講演形式
レギュラーセッション
講演時間
08月22日(水) 11:20 〜 12:20
資料公開
予定あり
受講スキル

・DSPやオーディオパイプラインの設計、さらに音楽解析に興味のあるサウンドプログラマー。

・ゲームに何か「新しい要素」を盛り込もうと考えているプランナー。

・音声入力やハンズフリー入力に興味のあるプログラマー。

得られる知見

・応答性の高い、音程認識技術の具体的な実装方法。

・音声入力を採用しながらも、反応速度の早いゲームの実現方法。

・「声の高さ」および「声の張り」の定量化の方法。

セッションの内容

・近年のスマホやVRなどの普及により、手元の視界がさえぎられたり・コントローラー操作が困難なプレイ環境が増え、ハンズフリー入力に対する要求が高まってきている。

・ハンズフリー入力の代表格は、「音声認識」であるが、誤認識と入力遅延の問題が付きまとい、応答性の高い入力方法とは言い難い。

・そこで音声を入力としながらも、応答性の高い効果的な入力方法として、音程を認識させる技術を開発した。

・音程認識技術には、ゲーム用途ならではの工夫を加えたAMDF法を採用した。この方法を使うと、マイクから入力された声の音程をほぼ5~40ミリ秒程度のレイテンシーで取得できる。

・さらに音程認識技術に加え、「声の張り上げ度」を測定する簡便な方法も考案し、2軸でのキャラクターの動作も可能となった。

・講演向けの単純な例だが、「音程操作ブロック崩し」などのゲームを例に、ゲームへの応用方法と実装方法を具体的に説明する。

講演者プロフィール

増野 宏之

株式会社CRI・ミドルウェア

エンターテインメント事業開発室

室長

<講演者プロフィール>

経歴:
・広島大学理学研究科化学専攻修了
・大学在学中の1986年から複数のゲーム会社を経て、2013年4月よりCRI・ミドルウェアに勤務。
・CEDEC AWARDS 2012にて自身のリアルタイムBPM解析手法が優秀賞を受賞。
・11年分のBPM解析研究の集大成である超高速・高精度・楽曲解析ミドルウェア「BEATWIZ」を2015年9月に発表、現在も毎月新しい機能を実装し更新中。

FORTRAN77とグローバル変数と、なにより楽曲解析をこよなく愛する、53歳のオヤジ開発者。

<受講者へのメッセージ>

今年は、音声ではなく「音程」認識技術に焦点をあてて、音声入力ベースで5~40ms程度の高速な応答性を実現する入力方法を解説します。
音声入力でありながら、ブロック崩しのパドルをリアルタイムに操作する例など、多彩なデモとソースコードも交えて面白く解説します。
今回紹介する入力方法を是非お持ち帰りいただき、実際のゲーム開発にお役立ていただければ幸いです。