文字を読むだけでなく、内容への質問にも対応
Xiaomi Techの公式Xは、日本時間10月30日の夜に、Xiaomi-OCR-0を「文字の認識から文書の理解へ」と紹介しました。パラメータ数0.8B(8億)の公開モデルで、文書の解析、必要な項目の抽出、文字に関する質問への回答を一つのモデルで扱うと説明しています。投稿は次のとおりです。
From recognizing text to understanding documents. 📄
Meet Xiaomi-OCR-0, an open-source document understanding model with just 0.8B parameters.
It brings document parsing, key information extraction, and OCR-oriented visual question answering into one lightweight model.
It… pic.twitter.com/Pa8UrbUuKu
— Xiaomi Tech (@XiaomiTech_) 2026年10月30日
モデルカードによると、Qwen3.5-0.8B-Baseを土台に、約1.7億サンプルのOCR中心のデータで学習しています。学習は、文字の位置を手がかりにする段階、OCR中心の追加事前学習、複数の課題をまとめた強化学習の順に進めたと説明されています。出力は、文書解析ではMarkdown、数式はLaTeX、項目の抽出では指定したスキーマに沿ったJSONです。
10月30日の紹介が初公開ではありません。重みと技術報告の公開日は、モデルカードのNews欄で9月30日とされています。
比較表の数字は、処理全体の条件を見る
モデルカードの数字は発表元の評価です。文書解析のOmniDocBench v1.6は96.83、数式認識のUniMER-Testは97.84、表認識のPubTabNetは92.27です。文書に関する質問応答は、5つのベンチマークで平均すると83.2で、比較として挙がったQwen3.5-2Bは80.9でした。
Real5-OmniDocBenchは、本文に95.24とある一方、同じページの評価結果の欄は92.73です。数字が一致していないため、どちらを基準にするかは元の評価条件で確かめる必要があります。
文書解析の主要な比較は二段階の手法です。まず版面(レイアウト)を検出して領域を切り出し、領域ごとに認識して、ページに組み立てます。モデル単体の結果ではありません。技術報告の要点では、4Bの教師モデルがOmniDocBench v1.6で96.9745、0.8Bの学生モデルが96.8277でした。質問応答の平均は88.1と83.2です。小型化で差が小さい課題と、差が残る課題があると読めます。
動かし方と、MCP・Agent Skillの注意
推論は、Transformers、vLLM、SGLang、Docker Model Runnerで使えます。Pythonは3.10以上が必要です。vLLMとSGLangには機器ごとの要件があり、macOSやNVIDIA以外の環境では、先に対応状況を確認するよう案内されています。Ollamaでの利用は実験的で、コミュニティが作った約1.8GBのBF16 GGUFがあります。コミュニティ版の量子化モデルは、モデルカードによれば独立した評価をしていません。
領域ごとの処理は、PP-DocLayoutV3で版面を検出します。リポジトリは、印刷された通常の文書なら領域を並行して処理できるとしています。風景の中の文字や手書き、書道のほか、古い書籍や変則的な版面では、領域の切り出しを誤ると文脈が失われるため、ページ全体の解析を勧めています。
MCPサービスとAgent Skillは、OCRやPDFの解析、項目の抽出、質問応答を扱う構成でリポジトリにあります。エージェントに環境構築を任せる一行の指示は、次の作業を行う場合があると警告されています。
- Pythonの環境を作る
- 大きな重みをダウンロードする
- 推論環境を入れる
- MCPサーバーを登録する
この設定を受け入れられないときは、実行しないよう書かれています。
自分の文書で、文字と表の構造を別に評価する
編集部としては、日本語の帳票、手書き、表の結合セルなど、実際に扱う文書を少数用意して確認するのがよいと考えます。文字が合っていても列の対応がずれる場合があるため、文字の正確さと構造の復元を分けて評価する必要があります。
まとめ
導入前にはライセンスと実行環境を確認し、用途に近い文書で誤りの傾向を調べることが、公開スコアだけでは分からない判断材料になります。
情報源
https://huggingface.co/xiaomi-research/Xiaomi-OCR-0
原文公開日:2026-09-30
https://x.com/XiaomiTech_/status/2116154468358316380
原文公開日:2026-10-30
出典は上記のリンクから確認できます。発表元の説明と、編集部による分析・試算は本文中で区別しています。