feat: improve paddle ocr (#247)

package.json

@@ -10,7 +10,7 @@
   },
   "dependencies": {
     "@arkntools/depot-recognition": "^1.8.1",
-    "@arkntools/paddlejs-ocr": "^1.1.2",
+    "@arkntools/paddlejs-ocr": "^2.0.0",
     "@johmun/vue-tags-input": "^2.1.0",
     "@yzfe/darkmodejs": "^1.2.1",
     "browser-image-resizer": "^2.4.1",

src/locales/cn/hr.json

@@ -40,7 +40,7 @@
       "useLocalOCR": "使用本地 OCR（实验性）",
       "localOCRTip": {
         "Tesseract": "启用后将使用 Tesseract 在本地进行 OCR，首次使用需加载合计约 10~40 MB 的运行库与模型数据，后续使用则不会再消耗流量，并可离线使用。注意：目前无法识别 UI 改动后的“@:(tag.14)”和“@:(tag.11)”。",
-        "Paddle": "启用后将使用 Paddle 在本地进行 OCR，首次使用需加载合计约 12 MB 的运行库与模型数据，后续使用则不会再消耗流量，并可离线使用。注意：Paddle OCR 目前仅在 PC 端可用，只能识别简体中文截图。"
+        "Paddle": "启用后将使用 Paddle 在本地进行 OCR，首次使用需加载合计约 8 MB 的运行库与模型数据，后续使用则不会再消耗流量，并可离线使用。注意：Paddle OCR 目前仅在 PC 端可用，只能识别简体中文截图。"
       },
       "tip": "在线 OCR 功能使用了 {0} 提供的免费 OCR 服务，并默认使用官方提供的试用 API Key。如果您的使用频率较高而达到了试用限制，请{1}申请免费的 API Key。",
       "applyLink": "前往此处"

src/locales/jp/hr.json

@@ -40,7 +40,7 @@
       "useLocalOCR": "ローカル OCR を使用する（実験的）",
       "localOCRTip": {
         "Tesseract": "有効にすると、Tesseract を使用してローカルで OCR を実行します。最初の使用では、合計で約 10～40 MB のランタイムデータとモデルデータをロードする必要があります。その後の使用ではデータが消費されなくなり、オフラインで使用できます。※UI変更後の「@:(tag.14)」「@:(tag.11)」は認識されません。",
-        "Paddle": "有効にすると、Paddle を使用してローカルで OCR を実行します。最初の使用では、合計で約 12 MB のランタイムデータとモデルデータをロードする必要があります。その後の使用ではデータが消費されなくなり、オフラインで使用できます。※Paddle OCR は現在 PC でのみ利用可能で、簡体字中国語のスクリーンショットのみを認識できます。"
+        "Paddle": "有効にすると、Paddle を使用してローカルで OCR を実行します。最初の使用では、合計で約 8 MB のランタイムデータとモデルデータをロードする必要があります。その後の使用ではデータが消費されなくなり、オフラインで使用できます。※Paddle OCR は現在 PC でのみ利用可能で、簡体字中国語のスクリーンショットのみを認識できます。"
       },
       "tip": "オンライン OCR 機能は、{0} が提供する無料の OCR サービスを使用し、既定で公式試行 API Key 使用します。もしあなたの使用頻度が高くて試用制限に達したら、{1}無料の API Key を申請してください。",
       "applyLink": "ここで"

src/locales/tw/hr.json

@@ -40,7 +40,7 @@
       "useLocalOCR": "使用本地 OCR（實驗性）",
       "localOCRTip": {
         "Tesseract": "啟用後將使用 Tesseract 在本地進行 OCR，首次使用需加載合計約 10~40 MB 的運行庫與模型資料，後續使用則不會再消耗流量，並可離線使用。注意：目前無法辨識 UI 改動後的「@:(tag.14)」和「@:(tag.11)」。",
-        "Paddle": "啟用後將使用 Paddle 在本地進行 OCR，首次使用需加載合計約 12 MB 的運行庫與模型資料，後續使用則不會再消耗流量，並可離線使用。注意：Paddle OCR 目前僅在 PC 端可用，只能辨識簡體中文截圖。"
+        "Paddle": "啟用後將使用 Paddle 在本地進行 OCR，首次使用需加載合計約 8 MB 的運行庫與模型資料，後續使用則不會再消耗流量，並可離線使用。注意：Paddle OCR 目前僅在 PC 端可用，只能辨識簡體中文截圖。"
       },
       "tip": "線上 OCR 功能使用了 {0} 提供的免費 OCR 服務，並預設使用官方提供的試用 API Key。如果您的使用頻率較高而達到了試用限制，請{1}申請免費的 API Key。",
       "applyLink": "前往此處"

src/locales/us/hr.json

@@ -40,7 +40,7 @@
       "useLocalOCR": "Use local OCR (experimental)",
       "localOCRTip": {
         "Tesseract": "After enable, Tesseract will be used for local OCR. For the first use, you need to load a total of about 10-40 MB of runtime and model data. Subsequent use will no longer use your network traffic, and can be used offline. Note: \"@:(tag.14)\" and \"@:(tag.11)\" after UI changes can't be recognized.",
-        "Paddle": "After enable, Paddle will be used for local OCR. For the first use, you need to load a total of about 12 MB of runtime and model data. Subsequent use will no longer use your network traffic, and can be used offline. Note: Paddle OCR is currently only available on PC and can only recognize Simplified Chinese screenshots."
+        "Paddle": "After enable, Paddle will be used for local OCR. For the first use, you need to load a total of about 8 MB of runtime and model data. Subsequent use will no longer use your network traffic, and can be used offline. Note: Paddle OCR is currently only available on PC and can only recognize Simplified Chinese screenshots."
       },
       "tip": "This function uses the free OCR service provided by {0}, and uses the official trial API key by default. If you have reached the trial limit due to high usage frequency, please {1} to apply for a free API key.",
       "applyLink": "go here"

src/workers/paddlejsOCR/index.js

@@ -35,11 +35,10 @@ const hasDataCache = async () => {
     new Set(),
   );
   const urls = [
-    'https://paddlejs.bj.bcebos.com/models/fuse/ocr/ch_PP-OCRv2_det_fuse_activation/model.json',
-    'https://paddlejs.bj.bcebos.com/models/fuse/ocr/ch_PP-OCRv2_det_fuse_activation/chunk_1.dat',
-    'https://paddlejs.bj.bcebos.com/models/fuse/ocr/ch_PP-OCRv2_rec_fuse_activation/model.json',
-    'https://paddlejs.bj.bcebos.com/models/fuse/ocr/ch_PP-OCRv2_rec_fuse_activation/chunk_1.dat',
-    'https://paddlejs.bj.bcebos.com/models/fuse/ocr/ch_PP-OCRv2_rec_fuse_activation/chunk_2.dat',
+    'https://js-models.bj.bcebos.com/PaddleOCR/PP-OCRv3/ch_PP-OCRv3_det_infer_js_960/model.json',
+    'https://js-models.bj.bcebos.com/PaddleOCR/PP-OCRv3/ch_PP-OCRv3_det_infer_js_960/chunk_1.dat',
+    'https://js-models.bj.bcebos.com/PaddleOCR/PP-OCRv3/ch_PP-OCRv3_rec_infer_js/model.json',
+    'https://js-models.bj.bcebos.com/PaddleOCR/PP-OCRv3/ch_PP-OCRv3_rec_infer_js/chunk_1.dat',
   ];
   return urls.every(url => cachedUrlSet.has(url));
 };
@@ -61,7 +60,7 @@ export const paddleOCR = async file => {
       !IS_DEV &&
       status === 0 &&
       !(await hasDataCache()) &&
-      !(await loadConfirmLoading('~12 MB'))
+      !(await loadConfirmLoading('~8 MB'))
     ) {
       return;
     }

src/workers/paddlejsOCR/paddle.js

@@ -1,4 +1,37 @@
 import * as ocr from '@arkntools/paddlejs-ocr';
+import config from '@arkntools/paddlejs-ocr/dist/defaultInitConfig';
+
+(() => {
+  const errChars = [
+    ['狙', 623, 984, 2079, 3762],
+    ['术', 435, 485, 3678],
+    ['辅', 128, 1952, 2859],
+    ['攻', 1809],
+    ['干', 89],
+    ['援', 546, 3052],
+    ['重', 340, 1300],
+    ['攻', 4638],
+    ['速', 6007],
+    ['弱', 1509],
+    ['深', 3089],
+    ['高', 532],
+    ['装', 41, 5185],
+    ['复', 709],
+    ['存', 3543],
+    ['费', 4007],
+    ['复', 2353],
+    ['控', 4578],
+    ['特', 451],
+    ['程', 3232],
+  ];
+  const chars = config.ocrChars.split('');
+  errChars.forEach(([char, ...indexes]) => {
+    indexes.forEach(i => {
+      chars[i] = char;
+    });
+  });
+  config.ocrChars = chars;
+})();
 
 let initPromise;
 let status = 0;
@@ -10,7 +43,7 @@ export const init = () => {
   status = 1;
   // eslint-disable-next-line no-console
   console.log('[tag-ocr] loading Paddle models');
-  initPromise = ocr.init().then(() => {
+  initPromise = ocr.init(config).then(() => {
     status = 2;
     // eslint-disable-next-line no-console
     console.log('[tag-ocr] done');

yarn.lock

@@ -45,10 +45,10 @@
     lodash "^4.17.21"
     simple-statistics "^7.8.3"
 
-"@arkntools/paddlejs-ocr@^1.1.2":
-  version "1.1.2"
-  resolved "https://registry.yarnpkg.com/@arkntools/paddlejs-ocr/-/paddlejs-ocr-1.1.2.tgz#1e1852fdfa4c62d9ca339235521a6ef062aa40dd"
-  integrity sha512-+BvroWNfNajLLGHTUrZLYC+1jL+8PUi/4DV5/b+pmI8qzHZB4BvvKeX8m4Mq7+AOSgIYJdJq6LxcyhOeL3KH7g==
+"@arkntools/paddlejs-ocr@^2.0.0":
+  version "2.0.0"
+  resolved "https://registry.yarnpkg.com/@arkntools/paddlejs-ocr/-/paddlejs-ocr-2.0.0.tgz#09d5c5830fd1bcadcd9a6c226dda4a84ea43cea5"
+  integrity sha512-B+RSz9VqDC93ab1WMwF6RIuZIDDnBaKKzuLiZJrdU4QW8Ji6o5OlIYnwmGF6o93LeaGtcbgDizGgjI1+VYtjIQ==
   dependencies:
     "@paddlejs-mediapipe/opencv" "0.0.4"
     "@paddlejs/paddlejs-backend-webgl" "1.2.9"