捨てない分析──1TBをブラウザで扱う“超高解像度”アクセスログ可視化
井上 虎太郎
清水 佑吾
- セッション分野
-
ENG(エンジニアリング)
- キーワード
-
QAサーバーレンダリング
- 対象プラットフォーム
-
モバイル
- セッション難易度
- 求められるスキル
- ブラウザで大規模データやログの可視化を行いたい方、興味がある方
WebGPU、Duck DB wasm、OPFSなどが使用された事例に興味がある方
- 得られる知見
- 生ログを保持する重要性
先端技術の組み合わせで大規模データを扱う実現性
- 写真撮影 / SNS投稿
セッション内容
ゲーム事業成功にはユーザー行動の正確な把握が不可欠です。しかし、大規模ゲームの膨大なアクセスログ(1TB超も)は通常、事前集計され、その過程でBotやマクロといった不正アクセスや微細な行動トレンドなど、重要な情報が失われる課題がありました。
本セッションでは、この課題に対し、1アクセス単位の解像度を保ち、ログ情報を"捨てずに"ブラウザ上で直接可視化・分析するアプローチを紹介します。一度データをブラウザに取り込めば、生ログに近い粒度で、自由な絞り込み、並べ替え、複数日比較、ユーザー単位の行動追跡をネットワーク負荷ほぼゼロで即時に実行可能です。これにより、不正アクセスや微細なユーザー行動の変化を捉えることができます。
この"超高解像度"可視化基盤は、① Parquet+zstd+OPFSによる高圧縮データの効率的な永続化・利用、② DuckDB Wasm+Parquetによるブラウザ内での柔軟なSQL分析、③ Rust wasm+WebGPUによる大量データの高速処理・リアルタイム描画、といった技術を組み合わせて実現しました。
事前集計による情報損失を最小限に抑え、大規模データのリアルタイムな詳細分析を実現したい方にとって、この「捨てない分析」は有益なヒントとなるでしょう。本システムは実際に運用中タイトルでBot検知、不正ユーザー検出、正確なDAU算出に活用され、成果を上げています。
講演者
-
井上 虎太郎
株式会社gumi
-
清水 佑吾
株式会社gumi