無限のプレイ体験!『ハローキティ マーチマッチ』における深層強化学習を用いたオンデバイスレベル生成
伊原 滉也
黒田 和矢
- セッション分野
-
ENG(エンジニアリング)
- セッション関連分野
-
GD
- キーワード
-
QAUXレベルデザイン
- 対象プラットフォーム
-
モバイル
- セッション難易度
- 求められるスキル
- ・機械学習を活用したゲーム制作に興味のある方
・機械学習を活用したレベル生成・レベルデザインに興味のある方
・強化学習・教師あり学習に関する知識がある、または興味のある方 - 得られる知見
- ・機械学習を活用してユーザに無限のプレイ体験を届けるレベルデザインシステムとワークフロー
・パズルゲームにおける深層強化学習を用いたレベル生成モデルの開発手法
・ユーザのプレイデータを用いた難易度推定モデルの開発手法 - 写真撮影 / SNS投稿
セッション内容
本取り組みでは,Match 3Dパズルにおいて無限に遊べるプレイ体験を提供するため、深層強化学習によるオンデバイスレベル生成システムを開発し実プロダクトに導入しています。運用中にアセットの追加・削除・更新があっても人手によるレベル設計不要で、どのような進捗状態のユーザに対しても適切な難易度かつ多様なレベルを提供することを可能としています。
本システムでは、レベル生成モデルは指定された難易度に対して適切なレベルを生成するように学習されています。学習されたモデルはクロスプラットフォームなONNX形式でアセットとして組み込まれ、ユーザ端末上でリアルタイムに動作します。レベル生成モデルの学習では、生成されたレベルの難易度を正しく評価するためにユーザのプレイデータから学習した難易度予測モデルを用いています。難易度予測モデルはレベルの中身から人間の視認性や操作性に関わる特徴量に基づいてユーザがクリアにかかる時間を難易度指標として予測します。この予測結果をもとにレベル生成モデルは1億回もの試行錯誤を繰り返し、適切な難易度のレベル生成が可能となります。
本セッションでは、開発したレベル生成システムと、レベル生成モデルの学習・配信システム、そしてこれらを用いたレベルデザインワークフローについてご紹介します。また、本システムを実現する上で重要なレベル生成モデルや難易度予測モデルについて技術的な詳細を中心に解説します。
講演者
-
伊原 滉也
株式会社サイバーエージェント
-
黒田 和矢
株式会社サイバーエージェント