PaddleX/paddlex/configs/pipelines/PP-ChatOCRv4-doc.yaml

pipeline_name: PP-ChatOCRv4-doc

use_layout_parser: True

use_mllm_predict: True

SubModules:
  LLM_Chat:
    module_name: chat_bot
    model_name: ernie-3.5-8k
    base_url: "https://qianfan.baidubce.com/v2"
    api_type: openai
    api_key: "api_key" # Set this to a real API key

  LLM_Retriever:
    module_name: retriever
    model_name: embedding-v1
    base_url: "https://qianfan.baidubce.com/v2"
    api_type: qianfan
    api_key: "api_key" # Set this to a real API key

  MLLM_Chat:
    module_name: chat_bot
    model_name: PP-DocBee
    base_url: "http://127.0.0.1:8080/v1/chat/completions"
    api_type: openai
    api_key: "api_key"

  PromptEngneering:
    KIE_CommonText:
      module_name: prompt_engneering

      task_type: text_kie_prompt_v2

      task_description: '你现在的任务是从OCR结果中提取问题列表中每一个问题的答案。
          OCR的文字识别结果使用```符号包围，包含所识别出来的文字，顺序在原始图片中从左至右、从上至下。
          我指定的问题列表使用[]符号包围。请注意OCR的文字识别结果可能存在长句子换行被切断、不合理的分词、
          文字被错误合并等问题，你需要结合上下文语义进行综合判断，以获取准确的答案。'

      output_format: '在返回结果时使用JSON格式，包含多个key-value对，key值为我指定的问题，value值为该问题对应的答案。
          如果认为OCR识别结果中，对于问题key，没有答案，则将value赋值为"未知"。请只输出json格式的结果，
          并做json格式校验后返回，不要包含其它多余文字！'

      rules_str: '请依次确认满足下面要求。（1）每个问题的答案用OCR结果的内容回答，针对问题回答尽可能详细和完整，
          并保持格式、数字、正负号、单位、符号和标点都与OCR结果中的内容完全一致。
          （2）如果答案的句末有标点符号，请添加标点符号。
          （3）对于答案中的数字，如果可以推断出单位，请补充相应的单位。'

      few_shot_demo_text_content:

      few_shot_demo_key_value_list:
          
    KIE_Table:
      module_name: prompt_engneering

      task_type: table_kie_prompt_v2

      task_description: '你现在的任务是从输入的html格式的表格内容中提取问题列表中每一个问题的答案。
          表格内容使用```符号包围，我指定的问题列表使用[]符号包围。'

      output_format: '在返回结果时使用JSON格式，包含多个key-value对，key值为我指定的问题，value值为该问题对应的答案。
          如果认为表格内容中，对于问题key，没有答案，则将value赋值为"未知"。请只输出json格式的结果，
          并做json格式校验后返回，不要包含其它多余文字！'

      rules_str: '请依次确认满足下面要求。（1）每个问题的答案用表格内容回答，针对问题回答尽可能详细和完整，
          并保持格式、数字、正负号、单位、符号和标点都与表格内容完全一致。
          （2）对于答案中的数字，如果可以推断出单位，请补充相应的单位。
          （3）如果答案是百分比，请添加百分号。'

      few_shot_demo_text_content:

      few_shot_demo_key_value_list:
    
    Ensemble:
      module_name: prompt_engneering

      task_type: ensemble_prompt

      task_description: '你现在的任务是，对于一个问题，对比方法A和方法B的结果，选择更准确的一个回答。
        问题用```符号包围。'

      output_format: '请返回JSON格式的结果，包含多个key-value对，key值为我指定的问题，
        value值为`方法A`或`方法B`。如果对于问题key，没有找到答案，将value赋值为"未知"。
        请只输出json格式的结果，并做json格式校验后返回，不要包含其它多余文字！'

      rules_str: '对于涉及数字的问题，请返回与问题描述最相关且数字表述正确的答案。
        请特别注意数字中的标点使用是否合理。'

      few_shot_demo_text_content:

      few_shot_demo_key_value_list:

SubPipelines:
  LayoutParser:
    pipeline_name: layout_parsing

    use_doc_preprocessor: True
    use_general_ocr: True
    use_seal_recognition: True
    use_table_recognition: True
    use_formula_recognition: False

    SubModules:
      LayoutDetection:
        module_name: layout_detection
        model_name: RT-DETR-H_layout_3cls
        model_dir: null

    SubPipelines:
      DocPreprocessor:
        pipeline_name: doc_preprocessor
        use_doc_orientation_classify: True
        use_doc_unwarping: True
        SubModules:
          DocOrientationClassify:
            module_name: doc_text_orientation
            model_name: PP-LCNet_x1_0_doc_ori
            model_dir: null
          DocUnwarping:
            module_name: image_unwarping
            model_name: UVDoc
            model_dir: null

      GeneralOCR:
        pipeline_name: OCR
        text_type: general
        use_doc_preprocessor: False
        use_textline_orientation: False
        SubModules:
          TextDetection:
            module_name: text_detection
            model_name: PP-OCRv4_server_det
            model_dir: null
            limit_side_len: 960
            limit_type: max
            max_side_limit: 4000
            thresh: 0.3
            box_thresh: 0.6
            unclip_ratio: 1.5
            
          TextRecognition:
            module_name: text_recognition
            model_name: PP-OCRv4_server_rec_doc
            model_dir: null
            batch_size: 6
            score_thresh: 0.0

      TableRecognition:
        pipeline_name: table_recognition
        use_layout_detection: False
        use_doc_preprocessor: False
        use_ocr_model: False
        SubModules:
          TableStructureRecognition:
            module_name: table_structure_recognition
            model_name: SLANet_plus
            model_dir: null

      SealRecognition:
        pipeline_name: seal_recognition
        use_layout_detection: False
        use_doc_preprocessor: False
        SubPipelines:
          SealOCR:
            pipeline_name: OCR
            text_type: seal
            use_doc_preprocessor: False
            use_textline_orientation: False
            SubModules:
              TextDetection:
                module_name: seal_text_detection
                model_name: PP-OCRv4_server_seal_det
                model_dir: null
                limit_side_len: 736
                limit_type: min
                max_side_limit: 4000
                thresh: 0.2
                box_thresh: 0.6
                unclip_ratio: 0.5
              TextRecognition:
                module_name: text_recognition
                model_name: PP-OCRv4_server_rec_doc
                model_dir: null
                batch_size: 1
                score_thresh: 0