fix: update CTCLabelDecode output channels and clean up Latin dictionary

mineru/model/utils/pytorchocr/utils/resources/arch_config.yaml

@@ -526,7 +526,7 @@ latin_PP-OCRv5_rec_infer:
   Head:
     name: MultiHead
     out_channels_list:
-      CTCLabelDecode: 504
+      CTCLabelDecode: 838
     head_list:
       - CTCHead:
           Neck:

mineru/model/utils/pytorchocr/utils/resources/dict/ppocrv5_latin_dict.txt

@@ -1,18 +1,3 @@
-!
-"
-#
-$
-%
-&
-'
-(
-)
-*
-+
-,
--
-.
-/
 0
 1
 2
@@ -23,13 +8,6 @@ $
 7
 8
 9
-:
-;
-<
-=
->
-?
-@
 A
 B
 C
@@ -56,12 +34,6 @@ W
 X
 Y
 Z
-[
-\
-]
-^
-_
-`
 a
 b
 c
@@ -88,41 +60,6 @@ w
 x
 y
 z
-{
-|
-}
-~
-¡
-¢
-£
-¤
-¥
-¦
-§
-¨
-©
-ª
-«
-¬
-­
-®
-¯
-°
-±
-²
-³
-´
-µ
-¶
-·
-¸
-¹
-º
-»
-¼
-½
-¾
-¿
 À
 Á
 Â
@@ -187,63 +124,126 @@ z
 ý
 þ
 ÿ
+Ā
+ā
+Ă
+ă
 Ą
 ą
 Ć
 ć
+Ĉ
+ĉ
+Ċ
+ċ
 Č
 č
 Ď
 ď
 Đ
 đ
+Ē
+ē
+Ĕ
+ĕ
 Ė
 ė
 Ę
 ę
 Ě
 ě
+Ĝ
+ĝ
 Ğ
 ğ
+Ġ
+ġ
+Ģ
+ģ
+Ĥ
+ĥ
+Ħ
+ħ
+Ĩ
+ĩ
+Ī
+ī
+Ĭ
+ĭ
 Į
 į
 İ
 ı
+IJ
+ij
+Ĵ
+ĵ
+Ķ
+ķ
+ĸ
 Ĺ
 ĺ
+Ļ
+ļ
 Ľ
 ľ
+Ŀ
+ŀ
 Ł
 ł
 Ń
 ń
+Ņ
+ņ
 Ň
 ň
+ʼn
+Ŋ
+ŋ
+Ō
 ō
+Ŏ
+ŏ
 Ő
 ő
 Œ
 œ
 Ŕ
 ŕ
+Ŗ
+ŗ
 Ř
 ř
 Ś
 ś
+Ŝ
+ŝ
 Ş
 ş
 Š
 š
+Ţ
+ţ
 Ť
 ť
+Ŧ
+ŧ
+Ũ
+ũ
 Ū
 ū
+Ŭ
+ŭ
 Ů
 ů
 Ű
 ű
 Ų
 ų
+Ŵ
+ŵ
+Ŷ
+ŷ
 Ÿ
 Ź
 ź
@@ -251,43 +251,295 @@ z
 ż
 Ž
 ž
+ſ
+ƀ
+Ɓ
+Ƃ
+ƃ
+Ƅ
+ƅ
+Ɔ
+Ƈ
+ƈ
+Ɖ
+Ɗ
+Ƌ
+ƌ
+ƍ
+Ǝ
+Ə
+Ɛ
+Ƒ
 ƒ
-ʒ
-Ω
-α
-β
-γ
-δ
-ε
-ζ
-η
-θ
-ι
-κ
-λ
-μ
-ν
-ξ
-ο
-π
-ρ
-ς
-σ
-τ
-υ
-φ
-χ
-ψ
-ω
-з
-०
-Ṡ
-ẞ
-Ạ
+Ɠ
+Ɣ
+ƕ
+Ɩ
+Ɨ
+Ƙ
+ƙ
+ƚ
+ƛ
+Ɯ
+Ɲ
+ƞ
+Ɵ
+Ơ
+ơ
+Ƣ
+ƣ
+Ƥ
+ƥ
+Ʀ
+Ƨ
+ƨ
+Ʃ
+ƪ
+ƫ
+Ƭ
+ƭ
+Ʈ
+Ư
+ư
+Ʊ
+Ʋ
+Ƴ
+ƴ
+Ƶ
+ƶ
+Ʒ
+Ƹ
+ƹ
+ƺ
+ƻ
+Ƽ
+ƽ
+ƾ
+ƿ
+ǀ
+ǁ
+ǂ
+ǃ
+DŽ
+Dž
+dž
+LJ
+Lj
+lj
+NJ
+Nj
+nj
+Ǎ
+ǎ
+Ǐ
+ǐ
+Ǒ
+ǒ
+Ǔ
+ǔ
+Ǖ
+ǖ
+Ǘ
+ǘ
+Ǚ
+ǚ
+Ǜ
+ǜ
+ǝ
+Ǟ
+ǟ
+Ǡ
+ǡ
+Ǣ
+ǣ
+Ǥ
+ǥ
+Ǧ
+ǧ
+Ǩ
+ǩ
+Ǫ
+ǫ
+Ǭ
+ǭ
+Ǯ
+ǯ
+ǰ
+DZ
+Dz
+dz
+Ǵ
+ǵ
+Ƕ
+Ƿ
+Ǹ
+ǹ
+Ǻ
+ǻ
+Ǽ
+ǽ
+Ǿ
+ǿ
+Ȁ
+ȁ
+Ȃ
+ȃ
+Ȅ
+ȅ
+Ȇ
+ȇ
+Ȉ
+ȉ
+Ȋ
+ȋ
+Ȍ
+ȍ
+Ȏ
+ȏ
+Ȑ
+ȑ
+Ȓ
+ȓ
+Ȕ
+ȕ
+Ȗ
+ȗ
+Ș
+ș
+Ț
+ț
+Ȝ
+ȝ
+Ȟ
+ȟ
+Ƞ
+ȡ
+Ȣ
+ȣ
+Ȥ
+ȥ
+Ȧ
+ȧ
+Ȩ
+ȩ
+Ȫ
+ȫ
+Ȭ
+ȭ
+Ȯ
+ȯ
+Ȱ
+ȱ
+Ȳ
+ȳ
+ȴ
+ȵ
+ȶ
+ȷ
+ȸ
+ȹ
+Ⱥ
+Ȼ
+ȼ
+Ƚ
+Ⱦ
+ȿ
+ɀ
+Ɂ
+ɂ
+Ƀ
+Ʉ
+Ʌ
+Ɇ
+ɇ
+Ɉ
+ɉ
+Ɋ
+ɋ
+Ɍ
+ɍ
+Ɏ
+ɏ
+!
+"
+#
+$
+%
+&
+'
+(
+)
+*
++
+,
+-
+.
+/
+:
+;
+<
+=
+>
+?
+@
+[
+\
+]
+_
+`
+{
+|
+}
+^
+~
+©
+®
+℉
+№
+Ω
+℮
+™
+∆
+✓
+✔
+✗
+✘
+✕
+☑
+☒
+●
+▪
+▫
+◼
+▶
+◀
+⬆
+¤
+¦
+§
+¨
+ª
+«
+¬
+¯
+°
+²
+³
+´
+µ
+¶
+¸
+¹
+º
+»
+¼
+½
+¾
+¿
+×
 ‐
 ‑
 ‒
-–
 —
 ―
 ‖
@@ -302,15 +554,11 @@ z
 ‟
 †
 ‡
-•
 ‣
 ․
-‥
 …
 ‧
 ‰
-′
-″
 ‴
 ‵
 ‶
@@ -322,25 +570,17 @@ z
 ‼
 ‽
 ‾
-⁄
-₂
-₃
-₡
+−
 ₤
-€
-₴
+₡
 ₹
 ₽
+₴
 ₿
-℉
-ℏ
-№
-™
-Ω
-℧
-Å
-℮
-⅀
+¢
+€
+£
+¥
 Ⅰ
 Ⅱ
 Ⅲ
@@ -365,58 +605,84 @@ z
 ⅹ
 ⅺ
 ⅻ
-←
+➀
+➁
+➂
+➃
+➄
+➅
+➆
+➇
+➈
+➉
+➊
+➋
+➌
+➍
+➎
+➏
+➐
+➑
+➒
+➓
+❶
+❷
+❸
+❹
+❺
+❻
+❼
+❽
+❾
+❿
+①
+②
+③
+④
+⑤
+⑥
+⑦
+⑧
+⑨
+⑩
 ↑
 →
 ↓
-↔
 ↕
-⇐
+←
+↔
 ⇒
+⇐
 ⇔
 ∀
-∂
 ∃
 ∄
-∅
-∆
-∋
-∏
-∑
-−
-∓
-∕
-∖
-∗
-∙
-√
-∛
-∜
+∴
+∵
 ∝
 ∞
-∟
-∠
-∡
-∢
-∥
-∧
-∨
 ∩
 ∪
+∂
 ∫
 ∬
 ∭
 ∮
 ∯
 ∰
+∑
+∏
+√
+∛
+∜
 ∱
 ∲
 ∳
-∴
-∵
 ∶
 ∷
 ∼
+∖
+∗
 ≈
 ≠
 ≡
@@ -427,76 +693,144 @@ z
 ⊥
 ⊾
 ⊿
-⋅
+□
+∥
+∋
+ƒ
+′
+″
+À
+Á
+Â
+Ã
+Ä
+Å
+Æ
+Ç
+È
+É
+Ê
+Ë
+Ì
+Í
+Î
+Ï
+Ð
+Ñ
+Ò
+Ó
+Ô
+Õ
+Ö
+Ø
+Ù
+Ú
+Û
+Ü
+Ý
+Þ
+à
+á
+â
+ã
+ä
+å
+æ
+ç
+è
+é
+ê
+ë
+ì
+í
+î
+ï
+ð
+ñ
+ò
+ó
+ô
+õ
+ö
+ø
+ù
+ú
+û
+ü
+ý
+þ
+ÿ
+Α
+Β
+Γ
+Δ
+Ε
+Ζ
+Η
+Θ
+Ι
+Κ
+Λ
+Μ
+Ν
+Ξ
+Ο
+Π
+Ρ
+Σ
+Τ
+Υ
+Φ
+Χ
+Ψ
+Ω
+α
+β
+γ
+δ
+ε
+ζ
+η
+θ
+ι
+κ
+λ
+μ
+ν
+ξ
+ο
+π
+ρ
+σ
+ς
+τ
+υ
+φ
+χ
+ψ
+ω
+Å
+ℏ
 ⌀
-⍵
 ⍺
-①
-②
-③
-④
-⑤
-⑥
-⑦
-⑧
-⑨
-⑩
-─
-│
-└
-├
-■
-□
-▪
-▫
-▶
-◀
-●
-◼
-☑
-☒
-✓
-✔
-✕
-✗
-✘
-❶
-❷
-❸
-❹
-❺
-❻
-❼
-❽
-❾
-❿
-➀
-➁
-➂
-➃
-➄
-➅
-➆
-➇
-➈
-➉
-➊
-➋
-➌
-➍
-➎
-➏
-➐
-➑
-➒
-➓
-⬆
-、
-fi
-fl
-︽
-︾
-﹥
-�
+⍵
 𝑢
 𝜓
+०
+‥
+︽
+﹥
+•
+÷
+∕
+∙
+⋅
+·
+±
+∓
+∟
+∠
+∡
+∢
+℧
+☺