detect_footer_by_model.py 2.8 KB

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364
  1. from magic_pdf.libs.commons import fitz # pyMuPDF库
  2. from magic_pdf.libs.coordinate_transform import get_scale_ratio
  3. def parse_footers(page_ID: int, page: fitz.Page, json_from_DocXchain_obj: dict):
  4. """
  5. :param page_ID: int类型,当前page在当前pdf文档中是第page_D页。
  6. :param page :fitz读取的当前页的内容
  7. :param res_dir_path: str类型,是每一个pdf文档,在当前.py文件的目录下生成一个与pdf文档同名的文件夹,res_dir_path就是文件夹的dir
  8. :param json_from_DocXchain_obj: dict类型,把pdf文档送入DocXChain模型中后,提取bbox,结果保存到pdf文档同名文件夹下的 page_ID.json文件中了。json_from_DocXchain_obj就是打开后的dict
  9. """
  10. #--------- 通过json_from_DocXchain来获取 footer ---------#
  11. footer_bbox_from_DocXChain = []
  12. xf_json = json_from_DocXchain_obj
  13. horizontal_scale_ratio, vertical_scale_ratio = get_scale_ratio(xf_json, page)
  14. # {0: 'title', # 标题
  15. # 1: 'figure', # 图片
  16. # 2: 'plain text', # 文本
  17. # 3: 'header', # 页眉
  18. # 4: 'page number', # 页码
  19. # 5: 'footnote', # 脚注
  20. # 6: 'footer', # 页脚
  21. # 7: 'table', # 表格
  22. # 8: 'table caption', # 表格描述
  23. # 9: 'figure caption', # 图片描述
  24. # 10: 'equation', # 公式
  25. # 11: 'full column', # 单栏
  26. # 12: 'sub column', # 多栏
  27. # 13: 'embedding', # 嵌入公式
  28. # 14: 'isolated'} # 单行公式
  29. for xf in xf_json['layout_dets']:
  30. L = xf['poly'][0] / horizontal_scale_ratio
  31. U = xf['poly'][1] / vertical_scale_ratio
  32. R = xf['poly'][2] / horizontal_scale_ratio
  33. D = xf['poly'][5] / vertical_scale_ratio
  34. # L += pageL # 有的页面,artBox偏移了。不在(0,0)
  35. # R += pageL
  36. # U += pageU
  37. # D += pageU
  38. L, R = min(L, R), max(L, R)
  39. U, D = min(U, D), max(U, D)
  40. if xf['category_id'] == 6 and xf['score'] >= 0.3:
  41. footer_bbox_from_DocXChain.append((L, U, R, D))
  42. footer_final_names = []
  43. footer_final_bboxs = []
  44. footer_ID = 0
  45. for L, U, R, D in footer_bbox_from_DocXChain:
  46. # cur_footer = page.get_pixmap(clip=(L,U,R,D))
  47. new_footer_name = "footer_{}_{}.png".format(page_ID, footer_ID) # 脚注name
  48. # cur_footer.save(res_dir_path + '/' + new_footer_name) # 把页脚存储在新建的文件夹,并命名
  49. footer_final_names.append(new_footer_name) # 把脚注的名字存在list中
  50. footer_final_bboxs.append((L, U, R, D))
  51. footer_ID += 1
  52. footer_final_bboxs.sort(key = lambda LURD: (LURD[1], LURD[0]))
  53. curPage_all_footer_bboxs = footer_final_bboxs
  54. return curPage_all_footer_bboxs