10月22日の改訂で評価値が変わった

冒頭は10月15日に公開された論文v1の紹介です。2026年10月24日にarXivを再確認すると、10月22日付のv2へ改訂されていました。冒頭の「約20倍」と、従来この記事で紹介していた評価値はv1の記録です。以下では版を分けて説明します。

音声から判断結果を直接返す研究

Qwen-Audio-Jevは、Qwen-Audio-3.1-ASR-Flash-Nextに判定専用の出力層を加えた研究です。音声と質問、答えの形式を与えると、候補ごとの確率、二値判定、数値スコアを返します。自由な文章を一語ずつ生成する代わりに、あらかじめ指定した形式の判断を取り出します。

用途の例は、音声の選別、同じ話者かどうかの照合、音質の評価です。長い説明文が必要な対話より、結果を次の処理へ渡す音声分析に向く設計と読めます。これは設計からの見立てで、当サイトによる実行結果ではありません。

v1とv2で、同じ指標とは限らない

評価対象 v1(10月15日) v2要旨(10月22日)
多肢選択 MMAU-mini 78.70%、MMSU 84.06% MMAU 78.40%、MMSU 83.14%
VoxCeleb1-Oの話者照合 等価エラー率6.50% 正答率93.76%
NISQAの音質評価 正規化MAE 0.1062 正規化MAE 0.1235

v1の等価エラー率とv2の正答率は異なる指標です。100%から引いて同じ尺度に直したり、差分だけで改善・悪化を判定したりできません。多肢選択もデータセットの表記がMMAU-miniからMMAUに変わっています。

さらにv2は、VoxCeleb1-Oの正答率が要旨で93.76%、結論で93.54%と一致していません。上表は要旨の値を転記していますが、どちらが正しいかはこの版だけでは確定できません。

「約20倍」は初版の報告

v1の要旨は、元のモデルに対する約20倍の推論高速化を報告していました。v2の要旨にはこの倍率がなく、今回確認したv2本文にも同じ速度倍率の記載は見つかりませんでした。したがって、最新の評価として「20倍速い」とは扱いません。

文章の逐次生成を省く設計は維持されています。ただし導入を判断するには、対象の音声長、処理件数、計算機の条件をそろえた速度と判定精度が必要です。速度倍率だけを費用削減率や実サービスの待ち時間に置き換えることはできません。

利用を検討するときの確認点

研究を追う場合は、使用する論文の版、評価対象、指標の定義を一組で確認してください。改訂によって数字が変わるため、初版の速度と新版の精度を組み合わせて一つの性能表にしないことが、この論文を読む際の注意点です。一般向け製品の提供開始や、手元での再現性はこの記事では確認していません。

情報源

2026年10月24日追記:論文の改訂と評価値の違いを確認し、初版の数値と区別しました。第三者による再現実験は行っていません。