짧은 답
- 단어를 뽑아내는 능력은 pdftomd와 PyMuPDF4LLM이 비슷합니다. 채점한 문서 15개 평균으로 둘 다 본문의 99%를 남겼습니다. 논문과 빽빽한 표에서는 PyMuPDF4LLM이 읽기 순서를 조금 더 잘 지켰습니다.
- 뒷정리가 가장 적은 것은 pdftomd입니다. 페이지마다 반복되는 머리글, 바닥글, 페이지 번호를 훨씬 꾸준히 지웠고, 줄 끝 하이픈으로 끊긴 단어를 하나도 남기지 않았습니다. 셋 중 아무것도 설치하지 않고 쓸 수 있는 것도 pdftomd뿐이며, 파일은 기기 밖으로 나가지 않습니다.
- MarkItDown은 여러 형식을 다루는 도구이고, PDF는 강점이 아닙니다. PDF에서는 제목 없는 일반 텍스트를 돌려주고, PDF의 줄바꿈과 하이픈을 그대로 남기며, 이번 세트에서는 논문 본문의 상당 부분을 잃었습니다. 이번 실행에는 PDF용 OCR이 없어서 스캔본은 빈 결과로 나왔습니다.
- 스캔본은 pdftomd와 PyMuPDF4LLM 모두 스캔한 재무제표를 표까지 거의 완벽하게 읽었습니다(PyMuPDF는 OCR 엔진을 설치한 경우).
Python을 쓰고 AGPL 라이선스가 프로젝트에 맞는다면 PyMuPDF4LLM은 훌륭한 라이브러리입니다. 지금 바로 브라우저에서, 파일을 올리지 않고 결과를 얻고 싶다면 홈페이지의 변환기를 쓰세요.
결과
| 문서 | pdftomd | PyMuPDF4LLMPyMuPDF 2.1 + RapidOCR 3.10 | MarkItDown0.1.9 |
|---|---|---|---|
| 미국 연방대법원 판결문12페이지 | 9,940% | 10,000% | 10,000% |
| NIST AI 프레임워크14페이지 | 9,980% | 9,970% | 6,240% |
| 연구 논문, 1단15페이지 | 9,790% | 9,810% | 2,290% |
| 연구 논문, 2단12페이지 | 9,930% | 9,920% | 5,060% |
| 수식이 많은 논문15페이지 | 9,160% | 9,330% | 4,550% |
| 재무제표4페이지 | 10,000% | 9,820% | 10,000% |
| IRS 세금표8페이지 | 9,980% | 9,810% | 9,840% |
| IRS W-9 양식6페이지 | 9,980% | 9,940% | 9,990% |
| 연준 경제 전망표5페이지 | 9,970% | 9,950% | 9,050% |
| 스캔한 재무표2페이지 | 9,930% | 9,960% | 0% |
| 중국어 문서7페이지 | 10,000% | 10,000% | 10,000% |
| 일본어 보고서10페이지 | 10,000% | 10,000% | 10,000% |
| 한국어 문서7페이지 | 10,000% | 10,000% | 10,000% |
| 이미지가 있는 제품 소개서7페이지 | 9,990% | 10,000% | 10,000% |
| 강의 슬라이드12페이지 | 9,850% | 9,950% | 10,000% |
| 평균 | 9,900% | 9,897% | 7,801% |
1969년 타자기 원고 스캔본은 표에 넣지 않았습니다. 참조 텍스트가 스캐너 자체의 OCR뿐인데, 채점 기준으로 삼기에는 품질이 너무 낮기 때문입니다. pdftomd와 PyMuPDF4LLM은 둘 다 읽을 수 있는 텍스트를 만들었고, PyMuPDF4LLM 쪽이 엉뚱한 문장 부호가 더 적었습니다. MarkItDown은 아무것도 내놓지 않았습니다.
테스트 조건
| 변환기 | 버전 | 실행 방법 |
|---|---|---|
| pdftomd | 이 사이트, 2026-11-13 | Chromium에서 기본 설정, 16개 파일을 한꺼번에 놓고 모두 다운로드 |
| PyMuPDF4LLM | PyMuPDF 2.1과 RapidOCR 3.10 | pymupdf4llm.to_markdown(path) |
| MarkItDown | 0.1.9 | MarkItDown().convert(path).markdown |
문서는 모두 공개된 것이며, 사람들이 실제로 변환하는 종류를 두루 담도록 골랐습니다.
| 문서 | 페이지 | 어려운 점 |
|---|---|---|
| 미국 연방대법원 판결문 | 12 | 각주, 반복되는 머리글 |
| NIST AI 위험 관리 프레임워크 | 14 | 표지, 제목, 링크 |
| 논문(1단) | 15 | 제목, 참고문헌, 약간의 수식 |
| 논문(2단) | 12 | 단을 넘나드는 읽기 순서 |
| 수식이 많은 논문 | 15 | 빽빽한 수식 |
| Apple 분기 재무제표 | 4 | 괘선이 있는 재무표 |
| IRS Publication 15-T 발췌 | 8 | 긴 세액표, 목차 |
| IRS 양식 W-9 | 6 | 양식 레이아웃, 작은 글씨 |
| 연방준비제도 경제 전망표 | 5 | 머리글이 여러 단인 넓은 표 |
| 아폴로 11호 임무 보고서(타자기 원고 스캔) | 4 | 1969년 스캔본, 텍스트 층 없음 |
| Apple 재무제표(스캔) | 2 | 텍스트 층이 없는 표 |
| 세계인권선언(중국어) | 7 | CJK 텍스트 |
| 일본은행 전망 보고서 발췌 | 10 | 일본어, 차트 |
| 세계인권선언(한국어) | 7 | 한글 텍스트 |
| Raspberry Pi 5 제품 소개서 | 7 | 이미지, 사진 위의 글자 |
| Stanford CS231n 강의 슬라이드 | 12 | 슬라이드, 작은 이미지 다수 |
채점 방법
각 결과는 poppler의 pdftotext가 같은 PDF에서 뽑은 텍스트와 비교합니다.
- 찾은 단어는 참조 텍스트의 단어 중 Markdown에 나타난 비율입니다. 반복되는 머리글, 바닥글, 페이지 번호는 먼저 참조에서 빼 두므로, pdftomd가 기본으로 하듯 이를 지우는 변환기가 감점되지 않습니다. 중국어, 일본어, 한국어는 글자 단위로 셉니다.
- 읽기 순서는 참조와 결과 사이의 단어 최장 공통 부분열을 참조에 대한 비율로 나타낸 것입니다. 단이 뒤섞이거나 표의 칸이 엉뚱한 순서로 읽히면 떨어집니다. 1~2포인트 차이는 오차로 보세요.
- 끊긴 단어는 이어 붙지 않고 남은 줄 끝 하이픈의 수입니다(예:
pur- suant). - 남은 머리글은 결과에서 네 번 이상 반복되는 줄의 수입니다. 거의 언제나 지워지지 않은 머리글이나 바닥글입니다. 이미지 자리 표시 줄은 세지 않습니다.
표는 Apple 재무제표의 35행을 PDF와 하나하나 대조했습니다. 항목명과 모든 값이 각자의 칸에 순서대로 들어간 행만 정답으로 칩니다. 완전히 맞은 행은 pdftomd 30개, PyMuPDF4LLM 28개, MarkItDown 5개였습니다. 같은 재무제표의 스캔본에서는 pdftomd가 30행 중 29행, PyMuPDF4LLM이 30행 모두를 맞혔습니다.
속도
같은 4코어 컴퓨터에서 pdftomd는 브라우저 안에서 PDF 16개를 21초에 변환했습니다. 스캔된 9페이지의 OCR을 포함한 시간입니다. PyMuPDF4LLM은 마찬가지로 OCR을 켜고 64초, MarkItDown은 OCR 없이 11초였습니다. 실제 시간은 기기에 따라 다르며, 휴대폰은 노트북보다 느립니다.
이 테스트로 알 수 없는 것
- 변환기 중 하나는 저희가 만듭니다. 저희 후처리는 이런 문서를 염두에 두고 개발했으므로 저희에게 유리합니다. 스크립트를 공개하고 지는 항목도 그대로 보여 드리지만, 결정하기 전에 직접 가진 PDF로 시험해 보세요.
- 자동 채점은 놓치는 것이 있습니다. 열이 밀린 표도 단어는 모두 남을 수 있고, 제목 수준이 틀려도 여기서는 감점이 없습니다. 그래서 pdftomd는 표가 있는 페이지를 확인하라고 표시합니다.
- Docling과 Marker는 이번에 빠졌습니다. 둘 다 PyTorch와 모델 다운로드가 필요하고, Marker는 별도의 추론 서버도 띄웁니다. 둘 다 레이아웃 모델을 쓰며 복잡한 레이아웃과 수식에 자주 추천됩니다. 실행 방법은 Python으로 PDF를 Markdown으로를 보세요.
- 온라인 변환기는 표에 넣지 않았습니다. 엔진이 예고 없이 바뀌고 버전을 고정할 수 없어서, 측정한 다음 날이면 점수가 낡아 버립니다.
어떤 변환기를 써야 할까요?
| 이런 게 필요하다면 | 쓸 것 |
|---|---|
| 지금 바로 브라우저에서, 아무것도 올리지 않고 결과 얻기 | pdftomd |
| 파이프라인에 넣을 Python 라이브러리, 그리고 AGPL이 프로젝트에 맞음 | PyMuPDF4LLM |
| PDF와 함께 Word, PowerPoint, Excel, HTML까지 한 라이브러리로 | MarkItDown(PDF는 일반 텍스트로 나온다는 점에 유의) |
| 수식이 많은 논문에서 최고의 결과, GPU가 있음 | Marker 또는 Docling |
직접 재현하기
벤치마크 키트를 내려받으세요. 브라우저용 실행 스크립트, 라이브러리용 Python 실행 스크립트, 채점 스크립트, 위 표를 만든 스크립트, 채점 원자료가 들어 있습니다. PDF는 표에 적은 공개 출처에서 받았으며, 정확한 주소와 페이지 범위는 키트의 README(영어)에 있습니다.
PyMuPDF4LLM은 Artifex가, MarkItDown은 Microsoft가 개발합니다. pdftomd는 어느 쪽과도 관계가 없습니다.