現代の複雑なゲームにおいて対人戦で勝利できる AI は開発に携わって来た人間の夢でした。それを DeNA のモバイルゲーム『逆転オセロニア』で実現しました！

　かつて対人戦が可能なゲームにおける対戦 AI は限られた組織でのみ研究される題材でした。需要はあっても、技術難易度や開発・学習・利用（推論）コストが莫大であるためです。そして研究である以上、古典的な囲碁や将棋の他、ベンチマーク的なゲームを対象に行われることが多く、近年の複雑な要素を持つゲームでの実用はうまく進んでいません。

　現代のゲームは戦術が多様で難易度が非常に高いです。また、実用化後の運用を見越すのであれば取り得るアプローチが限られてきます。弊社 DeNA が提供する『逆転オセロニア』は、このような現代的なゲームの要素を多分に含んでおり、また運営期間も長期にわたるため戦術の複雑性も非常に高くなっています。私たちは『逆転オセロニア』を題材に強い対戦 AI 開発を続けてきました。そして本年、プレイヤーのトップ層と遜色のないレベルの強さに到達しました。ゲーム的性質の制約を考慮した上で、強化学習を極めていくアプローチを取りました。これは前述した運用面などでもメリットのある選択でありました。そのアプローチを切り離し、他ゲームに転用可能に開発したのが 強化学習ライブラリ『HandyRL』です（昨年の CEDEC2021 でも発表）。

　本セッションではなぜ『逆転オセロニア』のようなゲームで強化学習アプローチが有効であったかの理由や、多様な戦術を扱うためのノウハウを解説し、また実際にどのような戦い方・強さを持つのかを紹介いたします。