https://github.com/opendatalab/MinerU.git

赵小蒙 38c7dc100a 0.1.1 版本released		пре 1 година
.github	be265ff7fa 更新工作流配置，只对released结尾的tag进行处理	пре 1 година
app	789918dffb 重构目录结构	пре 1 година
demo	d5dbed7325 目录重构	пре 1 година
magic_pdf	f7a7206e08 目录重构	пре 1 година
others	f7a7206e08 目录重构	пре 1 година
tests	d5dbed7325 目录重构	пре 1 година
.gitignore	9446ae90b8 更新gitignore	пре 1 година
README.md	c2e5c36f79 Initial commit	пре 1 година
requirements.txt	33e2922ae6 更新依赖包配置和打包配置	пре 1 година
setup.py	38c7dc100a 0.1.1 版本released	пре 1 година

pdf_toolbox

pdf 解析基础函数

pdf是否是文字类型/扫描类型的区分

cat s3_pdf_path.example.pdf | parallel --colsep ' ' -j 10 "python pdf_meta_scan.py --s3-pdf-path {2} --s3-profile {1} >> {/}.jsonl"

find dir/to/jsonl/ -type f -name "*.jsonl" | parallel -j 10 "python pdf_classfy_by_type.py --json_file {} >> {/}.jsonl"

# 如果单独运行脚本，合并到code-clean之后需要运行，参考如下：
python -m pdf_meta_scan --s3-pdf-path "D:\pdf_files\内容排序测试_pdf\p3_图文混排 5.pdf" --s3-profile s2

README.md

pdf_toolbox

pdf是否是文字类型/扫描类型的区分

pdf