指摘数より、正しさと見逃しを測る
AIレビュアーによって、見つける不具合の数や深刻度、誤検知の量は違ってきます。ReviewBenchは、共通のpull requestと採点基準を使って、precisionとrecallを比べる仕組みです。precisionは出した指摘のうち妥当な割合、recallは既知の問題のうち見つけた割合を指します。結果は重大度や問題の種類ごとに分けて見られます。「指摘が多いモデル」だけでなく、重大な欠陥を拾えるモデルやノイズを抑えられるモデルも見分けようという狙いがあります。
219件を19言語、187リポジトリから構成
GitHubによると、開発者向けの評価セットは、187の公開ライセンス付きリポジトリから選んだ、19言語・219件の公開pull requestで構成されています。選ぶときには103.9 million件のGitHub pull requestを分析して、言語やリポジトリ規模の分布を近づけました。一方で、小さすぎる変更ばかりにならないよう、レビューしがいのある中規模から大規模の変更を多めにしているそうです。
正解ラベルの作成では、人間のレビュー、修正後の変更、静的解析、複数の大規模言語モデルなどから候補を集めます。そのうえで、重複を整理し、共通の基準で検証すると説明されています。
既知の指摘に加え、新しい発見も評価
ReviewBenchには、「既知の問題をどれだけ見つけたか」を測るgrounded precision/recallがあります。これに加えて、正解セットに載っていない指摘も審査するaugmented precision/recallもあります。新しい問題を見つけたエージェントが、「最初の正解セットにその問題がなかったから」という理由だけで不利にならないようにするための設計です。
それぞれに、precisionとrecallをまとめた指標であるF1もあります。GitHubは、異なるエージェントを横断して比べる軸にはgrounded recallを使うとしています。augmented側は、各システムの診断に向いているとしています。
25件で試し、全219件で最終評価
研究プレビューでは、自分のエージェントを登録して25件のテストセットを実行し、設定を調整できます。最終評価では、219件を3ラウンド実行して、同じ採点器で出した結果を共通リーダーボードへ提出する流れです。
ブログによると、結果は運営者の確認が済むまで非公開です。リーダーボードに載るのは、現在の登録スコアを上回った場合か、初回の登録時だけです。データセット、評価方法、採点用プロンプト、モデル設定、実行ツールも公開対象として案内されています。
GitHub自身のA/Bテストは参考値として読む
GitHubは、ReviewBenchをCopilot code reviewの開発にも使っています。ブログでは、複数モデルの結果をまとめる実験を、本番の対照群と比べた結果が報告されています。addressed rateは8.0%、recallは13.6%上がり、コメント数は61%増え、レビュー当たりのコストは8.0%下がったとのことです。また、公開前に人間の上級エンジニアが正解ラベルを付け直したところ、ReviewBenchとの真陽性/偽陽性判定の一致率は96.6%だったそうです。
数字だけ見ると良い結果が並んでいますが、どれもGitHub自身の実験・監査の数値です。他社製品にそのまま当てはまる独立評価ではない点には注意したいところです。
自分のコードベースでは追加検証が必要
公開ベンチマークは、複数のエージェントを同じ土俵に乗せるための出発点になります。ただ、社内リポジトリの規約や独自フレームワーク、セキュリティ要件、レビュー担当者が許容できるノイズの量までは、公開pull requestだけでは代表しきれません。
たとえば、既知の不具合が40件ある評価用の変更に対して50件を指摘し、そのうち20件が正しかったと仮定します。この例のprecisionは20÷50=40%、recallは20÷40=50%です。人が確認する誤指摘は30件、見逃した不具合は20件になります。これは指標を読むための例で、ReviewBenchの実測値ではありません。
採用を判断するときは、指摘総数だけでなく、重大な見逃しと誤指摘を確認する負担を分けて比べます。社内のPRで同じ正解基準を使い、実行時間・費用も記録すると、公開ランキングだけでは分からない運用上の差を確認できます。
まとめ
ReviewBenchのいいところは、AIコードレビューを「便利そう」で終わらせず、公開データと共通指標で比べられる点です。ランキングだけで採用を決めるのではなく、重大な不具合の見逃しと誤検知を自分たちのPRでもチェックしておくと、チームに合うレビューエージェントを選びやすくなります。
情報源
https://github.blog/ai-and-ml/github-copilot/reviewbench-an-open-benchmark-for-ai-code-review/
原文公開日:2026-10-05
出典は上記のリンクから確認できます。発表元の説明と、編集部による分析・試算は本文中で区別しています。