SIMA: Developing General AI Agents with Video Games／SIMA：ビデオゲームを用いた汎用型AIエージェントの開発

セッション分野

AC (アカデミック・基盤技術)

セッション関連分野

キーワード

AI/ML

セッション難易度

受講スキル

A basic understanding of Machine Learning and AI models training is a plus but not required／機械学習とAIモデルのトレーニングに関する基本的な理解があると役立ちますが、必須ではありません。

得られる知見

● Video games are a safe and scalable test-bed powering AI research and development
● Human gameplay data and behavioral cloning is enabling general AI agents
● Data quality is paramount to creating robust AI model training pipelines
● Language capabilities in AI models, enabling players to give instructions to agents in real-time, are unlocking a realm of new interactive experience possibilities with AI agents as companion in gameplay and game development



● ビデオゲームはAIの研究と開発を後押しする安全かつスケーラブルなテストベッドであること
● 人間のゲームプレイデータと行動クローニングにより、汎用型AIエージェントが実現すること
● 堅牢なAIモデルのトレーニングパイプラインの構築にはデータの品質が最重要であること
● AIモデルの言語機能は、プレイヤーがリアルタイムでエージェントに指示を与えることができ、ゲームプレイやゲーム開発のパートナーとしてAIエージェントを活用することで新しいインタラクティブな体験の可能性が広がること

写真撮影 / SNS投稿

通訳の種類

お気に入り登録 アイコンについて

セッション内容

We present new research on a Scalable Instructable Multiworld Agent (SIMA) that can follow natural-language instructions to carry out tasks in a variety of video game settings.

Video games are a key proving ground for artificial intelligence (AI) systems. Like the real world, games are rich learning environments with responsive, real-time settings and ever-changing goals. From our early work with Atari games, through to our AlphaStar system that plays StarCraft II at human-grandmaster level, Google DeepMind has a long history in AI and games. SIMA is a new milestone: shifting our focus from individual games towards a general, instructable game-playing AI agent.

SIMA, short for Scalable Instructable Multiworld Agent, a generalist AI agent for 3D virtual settings. We partnered with game developers to train SIMA on a variety of video games. This research marks the first time an agent has demonstrated it can understand a broad range of gaming worlds, and follow
natural-language instructions to carry out tasks within them, as a human might.

In this talk, Google DeepMind AI R&D Data Strategy Lead, SIMA Product Lead and former Games Producer Alexandre Moufarek will present Google’s DeepMind gaming history and the journey of the SIMA research project, including challenges, learnings and future research directions.

SIMA Technical Report: https://arxiv.org/abs/2404.10179

私たちは、さまざまなビデオゲームの環境で自然言語による指示に従ってタスクを実行できる、Scalable Instructable Multiworld Agent（SIMA：スケーラブルで指示可能なマルチワールドエージェント）に関する新しい研究を発表します。

ビデオゲームは、人工知能（AI）システムの重要な実証実験用環境です。現実世界と同様に、ゲームも、リアルタイムの応答や常に変化する目標といった要素を備えた豊かな学習環境だからです。ATARI製ゲームを使った初期の取り組みから、『StarCraft II』を人間のグランドマスターレベルでプレイできるAlphaStarシステムに至るまで、Google DeepMindにはAIとゲームの研究における長い歴史があります。SIMAは、焦点が個々のゲームから汎用的で指示可能なゲームプレイAIエージェントに移行する、新たなマイルストーンとなります。

SIMAとはScalable Instructable Multiworld Agentの略で、3D仮想環境向けの汎用型AIエージェントです。私たちはゲーム開発者と提携し、さまざまなビデオゲームでSIMAをトレーニングしました。これは、エージェントが幅広いゲームの世界を理解し、自然言語による指示に従って、
人間と同じように自分でタスクを実行できることを実証した初めての研究です。

この講演では、Google DeepMindのAI研究開発データ戦略部門のリーダー兼SIMAプロダクトリーダー、そして以前はゲームプロデューサーでもあったアレクサンドル・ムファレク氏が、Google DeepMindのゲームに関する歴史と、課題、学び、今後の研究の方向性を含むSIMA研究プロジェクトの内容を紹介します。

SIMAの技術レポート：https://arxiv.org/abs/2404.10179

講演者

アレクサンドル・ムファレク

Google DeepMind
Technology Strategy
AI R&D Data Strategy