本文へ移動

タグ: ベンチマーク

COBOLなど20言語で評価、OpenAIが試験セット公開。AI発見ラボの記事カード
AI社会ニュース

OpenAIが20言語のコード生成を評価

OpenAIは、COBOLやFortranなどでのコード生成とCOBOL移行を評価する結果を公開しました。20言語を扱うMultiLangBenchの試験セットも公開。高い数値が出た条件と、本番システムの移行で残る確認事項を整理します。

運営・編集:AI発見ラボ
AIコードレビューを共通条件で評価するReviewBenchの公開ベンチマークを紹介する記事カード
AIリリース

AIレビューを同じ条件で測るベンチマーク公開

AIコードレビューは、指摘が多ければいいというものではありません。重要な不具合をきちんと見つけつつ、誤検知で開発の手を止めないか。その両方を同じ物差しで測れるかが、導入を考えるときのポイントです。GitHubは10月5日のブログで、レビューエージェントを評価する公開ベンチマーク「ReviewBench」を紹介しました。

運営・編集:AI発見ラボ