Arena Breakout: Training Interactive Agent in First-person-shooter with Rule-enhanced Reinforcement Learning／Arena Breakout：ルール強化型強化学習によるファーストパーソンシューティングゲームのインタラクティブエージェントのトレーニング

セッション分野

ENG (エンジニアリング)

セッション関連分野

キーワード

AI/ML

セッション難易度

受講スキル

Programming, Artificial Intelligence, Machine Learning／プログラミング、人工知能、機械学習

得られる知見

Attendees will learn about the challenges of implementing deep reinforcement learning for 3D FPS games, and a novel approach to address navigation problems.

受講者は、3D FPSゲームに深層強化学習を実装する際の課題と、ナビゲーションの問題に対処するための新しいアプローチについて学びます。

写真撮影 / SNS投稿

通訳の種類

お気に入り登録 アイコンについて

セッション内容

In the competitive gaming landscape, 3D first-person shooter (FPS) games have surged in popularity, driving the development of advanced game AI systems to elevate gameplay. However, deploying effective game AI in practical scenarios remains a challenge, especially within large-scale and intricate FPS games.

This lecture delves into the practical implementation of game AI within the online multiplayer 3D FPS game “Arena Breakout”, developed by Tencent Games. Our novel gaming AI system, Private Military Company Agent (PMCA), actively interacts with the entire game map, engaging players in combat while strategically leveraging the terrain’s tactical advantages.

To tackle the navigation and combat complexities inherent in modern 3D FPS games, we propose a hybrid approach called Navmesh-Shooting reinforcement Learning (NSRL), which employs a DRL model to predict when to enable the navigation mesh, resulting in a diverse range of behaviors for the game AI. Customized rewards for human-like behaviors are also employed to align PMCA’s behavior with that of human players.

競争の激しいゲーム業界では、3Dファーストパーソンシューティング（FPS）ゲームの人気が急上昇しており、ゲームプレイを向上させる先進的なゲームAIシステムの開発が進められています。しかし、効果的なゲームAIを実用的な仕方で導入することは依然として容易ではありません。大規模で複雑なFPSゲームの場合は特にそう言えます。

この講演では、Tencent Gamesが開発したオンラインマルチプレイヤー3D FPSゲーム『Arena Breakout』におけるゲームAIの実用的な実装方法について詳しく説明します。私たちの斬新なゲームAIシステムであるPrivate Military Company Agent（PMCA）は、ゲームマップ全体とアクティブに連動し、地形の戦術的優位性を戦略的に活用しながら、プレイヤーと戦闘を繰り広げます。

最新の3D FPSゲームにおけるナビゲーションと戦闘の複雑性という課題に取り組むため、私たちはNavmesh-Shooting Reinforcement Learning（NSRL：ナビメッシュシューティング強化学習）と呼ばれるハイブリッドなアプローチを提案します。NSRLでは、ナビゲーションメッシュを有効にするタイミングを予測するDRLモデルを使用することで、ゲームAIの多種多様な行動を実現します。また、PMCAの行動を人間のプレイヤーの行動に合わせるために、人間のような行動に対するカスタマイズされた報酬も採用しています。

講演者

Elvis S. Liu

Tencent Games