コードレビュー支援ツール開発から学ぶ：LLMを用いた業務システムの実践的な運用設計と誤出力対策
恩田 大輝
佐藤 太志
山崎 公之
- セッション分野
-
ENG(エンジニアリング)
- セッション関連分野
-
PRD
- キーワード
-
LLM/VLMQA
- 対象プラットフォーム
-
なし
- セッション難易度
- 求められるスキル
- ・Git/GitHub等を用いたコードレビューに関する基礎知識
・LLMをAPI経由で呼び出して利用する基本的な理解 - 得られる知見
- ・LLM出力の品質を安定化させる設計・運用の知識
・内製ツールの定着と継続的改善の知識 - 写真撮影 / SNS投稿
セッション内容
業務システムにLLMを組み込む際、実務導入の段階で「誤った指摘・根拠のない断定」などの誤出力リスクが必ず課題となります。特にコードレビューのような正確性が求められる領域では、一度でも嘘が混ざればツールの信頼は失われます。
そこで私たちは、出力された内容をそのまま提示するのではなく、システム側で評価・選別することで、信頼できる情報だけをユーザーに届ける仕組みを実現するため、コードレビュー支援ツール「Lyra」を内製しました。
本セッションでは、この内製事例を通じて、LLM特有の「誤った情報の混入」を前提に出力結果を評価・フィルタリングするガードレール設計を共有します。根拠を段階的に固めるフェーズ分割型と複数ペルソナの議論で指摘を絞り込むディベート型の2つのガードレールを取り上げ、さらに出力の揺れを構造化と機械検証で抑える設計のポイントを具体例とともに示します。
講演者
-
恩田 大輝
株式会社Cygames
インフラ
講演者プロフィール
SIer、ゲーム開発会社にてバックエンドエンジニアとしての経験を積み、2021年に株式会社Cygamesへインフラエンジニアとして合流。
現在は、ゲームタイトルのインフラ、オンラインサービス基盤の設計・構築・運用などを担当しつつ、インフラ作業の自動化や効率化をソフトウェア開発で支援するチームに所属。受講者へのメッセージ
LLMを実務に組み込もうとしたとき、「とりあえず動く」から「現場で使い続けられる」にするまでの壁は意外と高いものです。本セッションでは、コードレビュー支援ツール「Lyra」の内製を通じて、誤出力への向き合い方・ガードレール設計・継続改善の仕組みを具体的にお伝えします。LLMアプリの品質や安定運用に悩んでいる方に、明日から使えるヒントをお届けできれば幸いです。
-
佐藤 太志
株式会社Cygames
インフラ マネージャー
講演者プロフィール
システムインテグレーターにてデータセンターエンジニアとしての経験を積み、2011年に株式会社Cygamesへ合流。
合流後、複数タイトルのインフラに携わり、大規模ゲームシステムの構築・運用に従事。
2016年よりインフラセクションマネージャーに就任し、2024年からはエンジニア2部の副部長を兼任。
現在はチームマネジメントに加え、クラウドの統制管理などの推進を担っている。受講者へのメッセージ
本セッションでは、開発者支援を目的としてインフラエンジニアが取り組んだ、自社製AIコードレビューツールの事例をご紹介します。
開発者でもAIの専門家でもない我々が、どのように本取り組みを社内サービスへと昇華していったのかをお伝えします。
AI活用や開発支援の取り組みに関心をお持ちの方にとって参考となる内容ですので、ぜひご聴講ください。 -
山崎 公之
株式会社Cygames
インフラ サブマネージャー
講演者プロフィール
複数のゲーム会社でゲーム開発およびサーバー／ネットワークインフラ業務に従事。
データセンター運用やオンラインサービス基盤の設計・構築・運用などを担当。
株式会社Cygamesへ合流後は、インフラセクションでゲームシステムのインフラ業務を担当し、主にインフラ作業の自動化や効率化をソフトウェア開発で支援するチームを主導している。受講者へのメッセージ
AIの進歩は非常に速く、「今作っているものが明日には無駄になるのでは」と不安になることもあるかと思います。私たちもその不安を感じながら、それでも""今の現場""で使えるものを作り、改善し続ける道を選びました。本セッションでは、コードレビュー支援ツール「Lyra」を内製し、誤出力と向き合いながら実用化に至るまでの過程をお伝えします。