Home Explore Help
Sign In
zhengchun
Repositories Public Activity

zhengchun pushed to main at zhengchun/ocr_platform

  • 1f9582f487 feat(新增OvisOCR2接入分析文档): 添加OvisOCR2接入分析文档，详细介绍模型概况、接入方案及注意事项，提升文档的完整性与可用性。
  • 2730a464ad feat(更新MinerU模型版本): 将模型版本从MinerU2.5-Pro-2604-1.2B更新为MinerU2.5-Pro-2605-1.2B，确保与相关配置文件一致，提升模型性能与兼容性。
  • View comparison for these 2 commits »

2 weeks ago

zhengchun pushed to main at zhengchun/ocr_platform

  • 7950de50cd feat(新增MinerU OCR运行时补丁): 新增对MinerU OCR的运行时补丁，解决Apple MPS环境下印章检测概率图输出NaN的问题，确保在不修改MinerU源码的情况下，mps设备默认使用fp32，提升OCR识别的稳定性与准确性。

1 month ago

zhengchun pushed to main at zhengchun/ocr_platform

  • ef1ddfdabf feat(新增姜_苏州银行图文档配置): 在pdf_list_local.txt中添加姜_苏州银行图.pdf，并在ocr_validator/config中新增对应的文档配置文件，定义OCR工具及结果目录，提升OCR处理的灵活性与可用性。
  • 2c9eb98492 feat(更新MinerU模型版本): 修改curl_local_mineru.sh和mineru_local_daemon.sh中的模型版本，将其更新为MinerU2.5-Pro-2605-1.2B，以提升模型性能与兼容性。
  • eab1585af0 feat(更新HF_safetensors到GGUF转换文档): 修改HF_safetensors->GGUF.md文档中的模型路径和输出类型，将MinerU2.5-Pro模型更新为2605版本，并将输出类型调整为q8_0，以提升模型转换的效率与兼容性。
  • 263be3bb13 Stop tracking VS Code workspace file
  • View comparison for these 4 commits »

1 month ago

zhengchun pushed to main at zhengchun/ocr_platform

  • fde9074e16 feat(新增Conda与uv包管理指南): 新增文档《Conda与uv包管理指南.md》，详细说明OCR Platform及MinerU项目的Python环境管理策略，推荐使用conda进行环境隔离，uv进行依赖安装，提升用户对环境配置的理解与使用指导。
  • 6034a94072 feat(更新本地OCR模型配置): 修改mineru_local_daemon.sh和paddle_local_daemon_1.6.sh中的模型路径，将模型更改为Q8_0版本，提升模型加载的效率与兼容性。
  • 29af42c4eb feat(更新本地OCR脚本): 修改curl_local_ocr.sh中的模型和端口配置，将模型更改为glm-ocr，并更新服务端口为8101，提升OCR服务的兼容性与稳定性。
  • 58a7281a79 feat(更新HF_safetensors到GGUF转换文档): 扩展HF_safetensors->GGUF.md文档，新增对ViT切割机制及投影器映射过程的详细解析，澄清量化对OCR精度的影响，提升用户对模型转换及使用的理解与指导。
  • View comparison for these 4 commits »

2 months ago

zhengchun pushed to main at zhengchun/ocr_platform

  • ddcf1e6a31 feat(更新HF_safetensors到GGUF转换文档): 扩展HF_safetensors->GGUF.md文档，详细阐述MinerU2.5-Pro的工作原理、各部件职责及数据流顺序，澄清核心误区，提升用户对文档解析流程的理解与应用指导。

2 months ago

zhengchun pushed to main at zhengchun/ocr_platform

  • 9413ec2600 feat(更新MinerU本地OCR配置): 修改main_v2.py中的输出目录、配置文件和日志文件路径，以支持新的MinerU处理方式，提升文档解析的灵活性与准确性。
  • da4189fde7 feat(新增MinerU本地OCR配置): 在多个配置文件中新增对MinerU的支持，添加相应的工具、结果目录和描述信息，提升OCR框架的灵活性与可用性。
  • e4978b5cce feat(新增JSON序列化支持): 在module_debug_viz.py中新增_json_default函数，增强json.dumps的序列化能力，支持numpy标量/数组、集合和元组的序列化，提升调试信息的可读性与兼容性。
  • 0cb48eed12 feat(新增银行交易流水场景配置): 新增bank_statement_mineru_vl_local.yaml配置文件，支持银行交易流水和对账单的文档解析，包含输入输出参数、预处理、布局检测、OCR识别及表格分类等功能，提升文档解析的灵活性与准确性。
  • b599507513 feat(新增YUSYS本地OCR配置): 在processor_configs.yaml中新增yusys_mineruocr_local配置，支持本地文档解析，包含输入输出参数、额外参数及日志目录设置，提升OCR处理的灵活性与可用性。
  • View comparison for these 16 commits »

2 months ago

zhengchun pushed to main at zhengchun/ocr_platform

  • 396ee1e6ec feat(优化OCR框颜色管理): 更新ocr_validator_layout.py，调整OCR框颜色获取方式，改为使用VisualizationUtils中的颜色映射，新增印章类别支持，提升布局结构框的可视化效果与一致性。
  • 0d0e8d028a feat(优化OCR框颜色管理): 在module_debug_viz.py中新增OCR框和印章框颜色获取函数，更新draw_ocr_spans_cv2函数以支持按类别动态着色，提升可视化效果；在output_formatter_v2.py中调整OCR框和单元格框颜色引用，确保一致性；在visualization_utils.py中完善颜色定义，增强模块间的可维护性。
  • 611a94104f feat(新增可视化颜色系统文档): 在README_COLOR_SYSTEM.md中新增可视化颜色系统设计文档，详细说明颜色定义、转换工具及模块间引用关系，提升项目可维护性与开发者理解。
  • View comparison for these 3 commits »

2 months ago

zhengchun pushed to main at zhengchun/ocr_platform

  • 8bf66bc119 feat(增强印章OCR处理): 在ocr_validator_utils.py中新增对印章类别的支持，优化文本解析逻辑，添加印章相关信息的提取与处理，提升印章识别能力与数据解析的准确性。
  • 87b0f0a6e8 feat(增强OCR布局管理): 在ocr_validator_layout.py中新增类别颜色转换函数，优化边界框收集逻辑，支持按类别着色，提升可视化效果与用户体验。
  • 80d0437081 feat(更新可视化工具): 在visualization_utils.py中新增图表和印章的颜色定义，调整OCR框和单元格框的颜色为亮蓝，以提升可视化效果的一致性。
  • bcea502090 feat(增强布局绘制功能): 在module_debug_viz.py中新增印章和图表的颜色定义，优化绘制逻辑，添加OCR框收集功能，提升文档元素的可视化效果与识别能力。
  • cb83d24f8c feat(更新布局检测器与新增印章OCR适配器): 修改PaddleLayoutDetector和PPDocLayoutV3Detector类的类别映射，优化印章和图表的处理逻辑，同时新增SealOCRRecognizer适配器以支持印章OCR识别，提升文档解析与印章识别能力。
  • View comparison for these 13 commits »

2 months ago

zhengchun pushed to main at zhengchun/ocr_platform

  • 4cd6801a2f fix(优化单元格OCR处理逻辑): 更新有线表格识别文档，详细说明二次OCR的核心设计与实现，增加对水印过滤、纵向完整性检测及列空判断的描述，提升OCR处理的准确性与灵活性。
  • e7d756752c fix(更新OCR示例路径): 修改main_v2.py中的OCR示例输入输出路径，更新为新的文件名和目录，以便于后续测试和使用。
  • ac90e7c976 fix(优化文本填充逻辑): 更新TextFiller类中的文本填充逻辑，增加对OCR结果不完整的判断，优化返回的原因列表，提升OCR处理的准确性与灵活性。
  • View comparison for these 3 commits »

2 months ago

zhengchun pushed to main at zhengchun/ocr_platform

  • d817ad414b fix(优化二次OCR参数配置): 更新多个YAML配置文件中的二次OCR参数，调整水印去除、对比度增强及放大处理设置，以提升银行流水场景下的OCR处理准确性与灵活性。

2 months ago

zhengchun pushed to main at zhengchun/ocr_platform

  • fd4a208147 fix(更新OCR参数示例): 修改main_v2.py中的OCR参数示例，调整页面处理范围为1页，并注释掉特定输入输出路径配置，以便于后续使用和测试。
  • a8ca9d4dc3 fix(优化二次OCR逻辑与参数): 更新二次OCR处理逻辑，增加对空单元格的判断，优化匹配框的使用，提升银行流水模式下的OCR准确性。同时调整相关测试用例以验证新逻辑的有效性。
  • db56c3775a fix(优化二次OCR参数配置): 更新bank_statement_yusys_local.yaml中的二次OCR参数，调整upscale_min_side的值以优化常规与低分场景下的OCR处理，提升整体识别准确性与灵活性。
  • 62bfdb256f feat(新增汇总推荐配置与批量扫描功能): 新增aggregate_recommendation.json文件以支持多案例的汇总推荐，更新cell_sweep.py以实现批量扫描和命中率统计功能，提升OCR处理的灵活性与准确性。同时新增sweep_cases.json文件以定义多个测试案例。
  • ba79f0c7d9 feat(新增多个单元格原始图像文件): 新增多个空白和带线条的单元格原始图像文件，以支持后续的OCR处理和实验。
  • View comparison for these 8 commits »

2 months ago

zhengchun pushed to main at zhengchun/ocr_platform

  • 092154445c fix(优化水印去除配置): 更新bank_statement_glm_vl_local.yaml中的水印去除设置，启用检测前处理，调整对比度增强选项，提升OCR处理的准确性与灵活性。

2 months ago

zhengchun pushed to main at zhengchun/ocr_platform

  • 01c5c02e94 feat(新增项目规则文件): 创建项目规则文件，明确所有回答需使用中文及开发运行时需激活`mineru`环境的要求，提升项目规范性与可维护性。
  • 937aab7790 fix(更新OCR结果对比路径与内容提取逻辑): 修改compare_ocr_results.py中的文件路径以适应新的数据源，同时在content_extractor.py中新增HTML注释移除功能，优化段落提取逻辑，提升OCR处理的准确性与灵活性。
  • 55ca99c249 feat(新增项目通用约定文档): 创建项目通用约定文档，明确使用简体中文进行交流及命令执行时需激活`mineru`环境的要求，提升项目规范性与可维护性。
  • View comparison for these 3 commits »

2 months ago

zhengchun pushed to main at zhengchun/ocr_platform

  • b210ab056b fix(优化水印处理与布局检测配置): 更新多个bank_statement配置文件，调整水印去除设置，启用检测前处理，优化布局检测模块，新增OCR识别和表格分类功能，提升整体OCR处理的准确性与灵活性。
  • 70f36c0904 fix(调整水印处理与单元格预处理配置): 更新bank_statement_yusys_local.yaml中的水印处理方法和对比度增强设置，调整阈值和启用状态，以优化OCR处理效果和灵活性。
  • b11fe5592e fix(调整阈值以优化水印处理): 修改水印处理模块中的阈值设置，将单元格处理的阈值从170调整至155，以提升OCR处理的准确性和灵活性。
  • a2311846f1 feat(增强二次OCR处理与单元格预处理功能): 在test_second_pass_ocr_aggregate.py中新增测试类和用例，验证短文本最小字符配置、单元格预处理的对比度调整及水印处理逻辑，提升OCR处理的准确性与灵活性。
  • df98998bd5 feat(优化文本填充与OCR识别逻辑): 更新TextFiller类，新增短文本最小字符配置，重构识别逻辑以支持更灵活的文本解析和分数归一化，优化单元格对比度调整与增强功能，提升OCR处理的准确性与灵活性。
  • View comparison for these 8 commits »

2 months ago

zhengchun pushed to main at zhengchun/ocr_platform

  • 75d01a1ed5 feat(重构水印处理模块): 将水印处理功能从ocr_utils.watermark_utils迁移至ocr_utils.watermark子模块，新增水印检测、去除、对比度增强等功能，优化模块结构以提升可维护性和扩展性，同时保留与历史导入路径的兼容性。
  • 40b88e07b3 feat(新增水印处理单元测试): 在test_watermark_processor.py中新增多个测试用例，验证WatermarkProcessor和merge_watermark_config的功能，确保水印处理逻辑的准确性和可靠性。
  • b68a0e5003 feat(新增二次OCR处理与测试用例): 在test_second_pass_ocr_aggregate.py中新增多个测试类和用例，验证整体OCR处理逻辑，包括短文本高分触发整体OCR和空行触发逻辑，增强对银行对账单的二次OCR触发条件的测试，提升OCR处理的准确性和可靠性。
  • 9dd99bce76 feat(优化水印处理与OCR逻辑): 重构MinerUPreprocessor类以整合WatermarkProcessor，简化水印去除流程并增强对比度调整功能，同时更新MinerUWiredTableRecognizer类以支持更灵活的单元格OCR处理，提升整体OCR准确性与灵活性。
  • 73e783c91b feat(增强文本填充与OCR识别逻辑): 更新TextFiller类，新增多项配置选项以优化单元格OCR处理，重构识别逻辑以支持详细的行识别和边界框返回，提升OCR的准确性和灵活性。
  • View comparison for these 15 commits »

2 months ago

zhengchun pushed to main at zhengchun/ocr_platform

  • cde2fb8faa fix(更新水印去除调试函数): 修改save_watermark_removal_debug函数以统一调试输出目录结构，更新文档描述和参数，确保与module debug一致，提升调试过程的清晰性和一致性。
  • 8427034b4c feat(优化调试输出目录): 添加resolve_module_debug_dir函数以统一调试输出目录结构，更新相关函数以支持新的目录路径，提升调试过程的灵活性和可维护性。
  • d7e042807c feat(优化调试选项合并): 在PaddleTableClassifier类中更新debug_options合并逻辑，添加default_subdir参数以支持默认子目录配置，提升调试输出路径的灵活性和可维护性。
  • 5a5b23b3a0 feat(优化调试选项合并): 在MinerUWiredTableRecognizer类中更新debug_options合并逻辑，添加default_subdir参数以支持默认子目录配置，提升调试输出路径的灵活性和可维护性。
  • 07852d2774 fix(调整水印去除阈值): 更新水印去除功能中的阈值设置，从160调整为175，并添加注释说明对比度增强的依赖关系，以提升图像处理的准确性和可维护性。
  • View comparison for these 22 commits »

3 months ago

zhengchun pushed to main at zhengchun/ocr_platform

  • 35ee4abec4 feat(更新OCR文档配置): 修改OCR文档配置，更新输入文件、输出目录和配置文件路径，调整处理页面数量以支持新的文档格式。
  • 5f33763ee3 feat(增强OCR框架): 在TextFiller类中添加新的配置参数以处理OCR框的宽度溢出和邻格重叠，优化跨单元格检测逻辑，提升文本填充的准确性。
  • f32733271c feat(优化水印处理): 在图像预处理流程中添加页级水印去除功能，更新相关处理器以支持跳过水印选项，提升表格方向校正的准确性。
  • 3e4d9ab6f0 feat(新增文档配置): 添加三个新的OCR文档配置文件，分别为陈3_微信图、彭_广东兴宁农村商业银行和钟_广东陆丰农村商业银行，定义了使用的OCR工具及其结果目录。
  • 5263c0e66c fix(更新Python环境名称): 将测试文件中的Python环境名称从`mineru2`更新为`mineru`，确保一致性。
  • View comparison for these 8 commits »

3 months ago

zhengchun pushed to main at zhengchun/ocr_platform

3 months ago

zhengchun pushed to main at zhengchun/ocr_platform

  • eee7efd233 fix(更新示例配置): 修改示例配置文件，更新输入文件、输出目录和日志文件路径
  • ad99559dd2 fix(删除银行交易流水配置): 移除冗余的银行交易流水场景配置文件
  • 00fc409bd4 fix(移除冗余处理器配置): 删除yusys_mineru_local处理器配置，简化配置文件
  • 0456f4d088 fix(更新模型路径): 修改本地GGUF模型路径配置，确保模型正确加载
  • 1cd860a3a0 mineru gguf 无法解析表格
  • View comparison for these 10 commits »

3 months ago

zhengchun pushed to main at zhengchun/ocr_platform

  • 3bb58ac275 feat(添加严农业银行文档配置): 新增严农业银行的OCR文档配置及相关工具设置
  • 87d30e6dc5 feat(移除VL识别模型参数): 删除不再需要的模型参数配置以简化设置
  • 0d52ee2e18 feat(更新处理器配置): 添加PaddleOCR处理器配置，更新日志目录，新增YUSYS本地处理器支持
  • View comparison for these 3 commits »

3 months ago