結論から
- 文字を取り出す力では、pdftomd と PyMuPDF4LLM は互角です。 採点した 15 本の平均で、どちらも本文の 99% を残しました。論文と密な表では、PyMuPDF4LLM のほうが読み順をわずかによく保ちました。
- 後片付けがいちばん少ないのは pdftomd です。 柱（ページ上部の見出し）、フッター、ページ番号をはるかに安定して取り除き、行末のハイフンで分断されたままの語はひとつも残しませんでした。3 つのうち何もインストールせずに使えるのは pdftomd だけで、ファイルも端末から出ません。
- MarkItDown は多くの形式向けのツールで、PDF は得意ではありません。 PDF からは見出しのないプレーンテキストを返し、PDF の改行とハイフンをそのまま残します。今回のセットでは論文の本文の多くが失われました。今回の実行では PDF 用の OCR がなかったため、スキャンは空で出力されました。
- スキャンについては、pdftomd も PyMuPDF4LLM も、スキャンした決算書を表も含めてほぼ完璧に読み取りました（PyMuPDF には OCR エンジンを入れた場合）。
Python を書いていて、AGPL ライセンスがプロジェクトに合うなら、PyMuPDF4LLM は優れたライブラリです。いますぐブラウザで、ファイルをアップロードせずに結果が欲しいなら、トップページの変換ツールを使ってください。
結果
| 文書 | pdftomd | PyMuPDF4LLMPyMuPDF 2.1 + RapidOCR 3.10 | MarkItDown0.1.9 |
|---|---|---|---|
| 米国最高裁判所の判決12 ページ | 9,940% | 10,000% | 10,000% |
| NIST の AI フレームワーク14 ページ | 9,980% | 9,970% | 6,240% |
| 研究論文（1 段組み）15 ページ | 9,790% | 9,810% | 2,290% |
| 研究論文（2 段組み）12 ページ | 9,930% | 9,920% | 5,060% |
| 数式の多い論文15 ページ | 9,160% | 9,330% | 4,550% |
| 財務諸表4 ページ | 10,000% | 9,820% | 10,000% |
| IRS の税額表8 ページ | 9,980% | 9,810% | 9,840% |
| IRS の W-9 フォーム6 ページ | 9,980% | 9,940% | 9,990% |
| FRB の経済見通しの表5 ページ | 9,970% | 9,950% | 9,050% |
| スキャンした財務表2 ページ | 9,930% | 9,960% | 0% |
| 中国語の文書7 ページ | 10,000% | 10,000% | 10,000% |
| 日本語の報告書10 ページ | 10,000% | 10,000% | 10,000% |
| 韓国語の文書7 ページ | 10,000% | 10,000% | 10,000% |
| 画像入りの製品資料7 ページ | 9,990% | 10,000% | 10,000% |
| 講義スライド12 ページ | 9,850% | 9,950% | 10,000% |
| 平均 | 9,900% | 9,897% | 7,801% |
1969 年のタイプライター原稿のスキャンは表に入れていません。参照テキストがスキャナー自身の OCR しかなく、採点の基準にするには質が低すぎるためです。pdftomd と PyMuPDF4LLM はどちらも読めるテキストを出力し、PyMuPDF4LLM のほうが余計な記号は少なめでした。MarkItDown は何も出力しませんでした。
テストの条件
| 変換ツール | バージョン | 実行方法 |
|---|---|---|
| pdftomd | このサイト、2026-11-13 | Chromium で既定の設定のまま、16 本をまとめてドロップし、すべてダウンロード |
| PyMuPDF4LLM | PyMuPDF 2.1 と RapidOCR 3.10 | pymupdf4llm.to_markdown(path) |
| MarkItDown | 0.1.9 | MarkItDown().convert(path).markdown |
文書はすべて公開されているもので、実際によく変換される種類を網羅するように選びました。
| 文書 | ページ数 | 難しい点 |
|---|---|---|
| 米国連邦最高裁判所の判決文 | 12 | 脚注、柱 |
| NIST AI リスク管理フレームワーク | 14 | 表紙、見出し、リンク |
| 論文（1 段組み） | 15 | 見出し、参考文献、少しの数式 |
| 論文（2 段組み） | 12 | 段をまたぐ読み順 |
| 数式の多い論文 | 15 | 密な数式 |
| Apple の四半期決算書 | 4 | 罫線のある財務表 |
| IRS Publication 15-T の抜粋 | 8 | 長い税額表、目次 |
| IRS フォーム W-9 | 6 | フォームのレイアウト、小さな文字 |
| 連邦準備制度の経済見通し表 | 5 | 見出しが多段の幅広い表 |
| アポロ 11 号ミッション報告書（タイプライター原稿のスキャン） | 4 | 1969 年のスキャン、テキスト層なし |
| Apple の決算書（スキャン） | 2 | テキスト層のない表 |
| 世界人権宣言（中国語） | 7 | CJK のテキスト |
| 日本銀行「展望レポート」の抜粋 | 10 | 日本語、グラフ |
| 世界人権宣言（韓国語） | 7 | ハングルのテキスト |
| Raspberry Pi 5 製品概要 | 7 | 画像、写真の上の文字 |
| Stanford CS231n の講義スライド | 12 | スライド、小さな画像が多数 |
採点の方法
各出力は、同じ PDF から poppler の pdftotext が取り出したテキストと比べています。
- 見つかった語は、参照テキストの語のうち Markdown に現れたものの割合です。柱、フッター、ページ番号は先に参照から除いてあるので、pdftomd が既定で行うようにそれらを取り除いても減点されません。中国語、日本語、韓国語は文字単位で数えます。
- 読み順は、参照と出力の間の語の最長共通部分列を、参照に対する割合で表したものです。段が入り混じったり、表のセルが違う順で読まれたりすると下がります。1〜2 ポイントの差は誤差と考えてください。
- 分断された語は、行末のハイフンがつながれずに残った数です（
pur- suantなど）。 - 消し残しのヘッダーは、出力の中で 4 回以上繰り返される行の数です。ほとんどの場合、取り除かれなかった柱やフッターです。画像の置き換え行は数えません。
表については、Apple の決算書の 35 行を PDF と照らし合わせました。ラベルとすべての値がそれぞれ自分のセルに正しい順で入った行を正解とします。完全に正しかったのは pdftomd が 30 行、PyMuPDF4LLM が 28 行、MarkItDown が 5 行でした。同じ決算書のスキャン版では、pdftomd が 30 行中 29 行、PyMuPDF4LLM が 30 行すべてを正しく読みました。
速さ
同じ 4 コアのマシンで、pdftomd はブラウザ内で 16 本すべてを 21 秒で変換しました。スキャンされた 9 ページの OCR を含みます。PyMuPDF4LLM は同じく OCR ありで 64 秒、MarkItDown は OCR なしで 11 秒でした。実際の時間はお使いの機器によって変わります。スマートフォンはノートパソコンより遅くなります。
このテストでわからないこと
- 変換ツールのひとつは私たちが作っています。 私たちの後処理はこうした文書を念頭に開発しているので、私たちに有利です。スクリプトを公開し、負けている行もそのまま示していますが、決める前にご自分の PDF で試してください。
- 自動の採点では見落とすものがあります。 列がずれた表でも語はすべて残ることがあり、見出しのレベルが違っていてもここでは減点されません。そのため pdftomd は、表のあるページを確認用に知らせます。
- Docling と Marker は今回は入っていません。 どちらも PyTorch とモデルのダウンロードが必要で、Marker はさらに別の推論サーバーを起動します。どちらもレイアウトモデルを使い、複雑なレイアウトや数式によく勧められます。動かし方は Python で PDF を Markdown にをご覧ください。
- オンライン変換ツールは表に入れていません。 エンジンが予告なく変わり、バージョンを固定できないため、測った翌日には点数が古くなってしまいます。
どの変換ツールを使うべきか
| こうしたいなら | 使うもの |
|---|---|
| いますぐブラウザで、何もアップロードせずに結果が欲しい | pdftomd |
| パイプラインで使う Python ライブラリが欲しく、AGPL がプロジェクトに合う | PyMuPDF4LLM |
| PDF に加えて Word、PowerPoint、Excel、HTML もひとつのライブラリで扱いたい | MarkItDown（PDF はプレーンテキストになる点に注意） |
| 数式の多い論文で最高の結果を出したい、GPU がある | Marker または Docling |
再現する
ベンチマークキットをダウンロードできます。ブラウザ用の実行スクリプト、ライブラリ用の Python 実行スクリプト、採点スクリプト、上の表を作ったスクリプト、採点の生データが入っています。PDF は表に挙げた公開元から入手したもので、正確なアドレスとページ範囲はキットの README（英語）に書いてあります。
PyMuPDF4LLM は Artifex が、MarkItDown は Microsoft が開発しています。pdftomd はどちらとも関係がありません。