Начало Каталог Помощ
Регистрация Вход
zhengchun
/
MinerU
1
0
Разклонения 0
Файлове Задачи 0 Заявки за сливане 0 Уики

https://github.com/opendatalab/MinerU.git

ИН на ревизия: a74ea08ca1
Клонове Маркери
MinerU
ZIP TAR.GZ
xuchao a74ea08ca1 add .gitignore преди 1 година
.github 6f5111cced Update python-package.yml преди 1 година
app 789918dffb 重构目录结构 преди 1 година
demo 11e4e8cc59 重构目录结构 преди 1 година
dict2md 11e4e8cc59 重构目录结构 преди 1 година
filter c2e5c36f79 Initial commit преди 1 година
layout 3ed288b60c 更新依赖 преди 1 година
libs 3ed288b60c 更新依赖 преди 1 година
para c2e5c36f79 Initial commit преди 1 година
pipeline 11e4e8cc59 重构目录结构 преди 1 година
post_proc 11e4e8cc59 重构目录结构 преди 1 година
pre_proc 11e4e8cc59 重构目录结构 преди 1 година
test 789918dffb 重构目录结构 преди 1 година
.gitignore a74ea08ca1 add .gitignore преди 1 година
README.md c2e5c36f79 Initial commit преди 1 година
check_inline_formula.py c2e5c36f79 Initial commit преди 1 година
pdf2json_infer.py 11e4e8cc59 重构目录结构 преди 1 година
pdf2text_evaluatePdfLayout.py c2e5c36f79 Initial commit преди 1 година
pdf2text_getNumberOfColumn.py c2e5c36f79 Initial commit преди 1 година
pdf2text_recogFootnoteLine.py c2e5c36f79 Initial commit преди 1 година
pdf2text_recogHeader.py c2e5c36f79 Initial commit преди 1 година
pdf2text_recogPageNo.py c2e5c36f79 Initial commit преди 1 година
pdf2text_recogPara.py c2e5c36f79 Initial commit преди 1 година
pdf2text_recogPara_v2.py c2e5c36f79 Initial commit преди 1 година
pdf2text_recogTable.py c2e5c36f79 Initial commit преди 1 година
pdf2text_recogTitle.py c2e5c36f79 Initial commit преди 1 година
requirements.txt 3ed288b60c 更新依赖 преди 1 година
setup.py 9e7f7550de 配置打包参数 преди 1 година
vali_bbox_sort.py c2e5c36f79 Initial commit преди 1 година
validation.py c2e5c36f79 Initial commit преди 1 година

README.md

pdf_toolbox

pdf 解析基础函数

pdf是否是文字类型/扫描类型的区分

cat s3_pdf_path.example.pdf | parallel --colsep ' ' -j 10 "python pdf_meta_scan.py --s3-pdf-path {2} --s3-profile {1} >> {/}.jsonl"

find dir/to/jsonl/ -type f -name "*.jsonl" | parallel -j 10 "python pdf_classfy_by_type.py --json_file {} >> {/}.jsonl"


# 如果单独运行脚本，合并到code-clean之后需要运行，参考如下：
python -m pdf_meta_scan --s3-pdf-path "D:\pdf_files\内容排序测试_pdf\p3_图文混排 5.pdf" --s3-profile s2

pdf