Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

天玑9000处理器使用v7包推理速度极慢 #10167

Closed
chengliang0315 opened this issue Apr 3, 2023 · 6 comments
Closed

天玑9000处理器使用v7包推理速度极慢 #10167

chengliang0315 opened this issue Apr 3, 2023 · 6 comments
Assignees
@shentanyue

Comments

@chengliang0315
Copy link

chengliang0315 commented Apr 3, 2023 •
edited
Loading

使用 v2.12版本 inference_lite_lib.android.armv7.gcc.c++_shared.with_extra.with_cv 进行推理，在天玑9000和骁龙8gen1 上运行速度极慢，
使用clang版本可以正常推理：https://github.com/PaddlePaddle/Paddle-Lite/releases/download/v2.12/inference_lite_lib.android.armv7.clang.c++_shared.with_extra.with_cv.tar.gz，但是无法开启openmp

  • 版本、预测库信息：
       1）Paddle Lite 版本：V2.12和V2.11
       2）Host 环境：
       3）运行设备环境：ipoo neo7 android13 天玑9000处理器
    三星 s22 android13 骁龙8gen1处理器
       4）预测后端信息：CPU推理
  • 预测信息
       1）预测 API：C++
       2）预测选项信息：armv7 单线程/多线程均使用
       3）预测库来源：官网下载inference_lite_lib.android.armv7.gcc.c++_shared.with_extra.with_cv
  • 复现信息：
  • 日志：
    16:21:32.972 10529-10575 Predictor com...e.lite.demo.ocr I model path/data/user/0/com.baidu.paddle.lite.demo.ocr/cache/models/ch_PP-OCRv2/ch_PP-OCRv3_det_slim_infer_fp16.nb ; /data/user/0/com.baidu.paddle.lite.demo.ocr/cache/models/ch_PP-OCRv2/ch_ppocr_mobile_v2.0_rec_slim_infer.nb;/data/user/0/com.baidu.paddle.lite.demo.ocr/cache/models/ch_PP-OCRv2/ch_ppocr_mobile_v2.0_cls_slim_infer.nb
    16:21:32.979 10529-10575 OCR_NDK com...e.lite.demo.ocr I PowerMode: str=LITE_POWER_NO_BIND, enum=3
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1275 Setup] ARM multiprocessors name: MODEL NAME : ARMV8 PROCESSOR REV 2 (V8L)
    K6983V1_64_MT6983
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1276 Setup] ARM multiprocessors number: 8
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1278 Setup] ARM multiprocessors ID: 0, max freq: 1800, min freq: 1800, cluster ID: 1, CPU ARCH: A60
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1278 Setup] ARM multiprocessors ID: 1, max freq: 1800, min freq: 1800, cluster ID: 1, CPU ARCH: A60
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1278 Setup] ARM multiprocessors ID: 2, max freq: 1800, min freq: 1800, cluster ID: 1, CPU ARCH: A60
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1278 Setup] ARM multiprocessors ID: 3, max freq: 1800, min freq: 1800, cluster ID: 1, CPU ARCH: A60
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1278 Setup] ARM multiprocessors ID: 4, max freq: 2850, min freq: 2850, cluster ID: 0, CPU ARCH: A82
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1278 Setup] ARM multiprocessors ID: 5, max freq: 2850, min freq: 2850, cluster ID: 0, CPU ARCH: A82
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1278 Setup] ARM multiprocessors ID: 6, max freq: 2850, min freq: 2850, cluster ID: 0, CPU ARCH: A82
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1278 Setup] ARM multiprocessors ID: 7, max freq: 3200, min freq: 3200, cluster ID: 0, CPU ARCH: A2
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1284 Setup] L1 DataCache size is:
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1286 Setup] 32 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1286 Setup] 32 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1286 Setup] 32 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1286 Setup] 32 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1286 Setup] 32 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1286 Setup] 32 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1286 Setup] 32 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1286 Setup] 32 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1288 Setup] L2 Cache size is:
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1290 Setup] 512 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1290 Setup] 512 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1290 Setup] 512 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1290 Setup] 512 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1290 Setup] 512 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1290 Setup] 512 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1290 Setup] 512 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1290 Setup] 512 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1292 Setup] L3 Cache size is:
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1294 Setup] 0 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1294 Setup] 0 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1294 Setup] 0 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1294 Setup] 0 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1294 Setup] 0 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1294 Setup] 0 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1294 Setup] 0 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1294 Setup] 0 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1296 Setup] Total memory: 7562272KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1297 Setup] SVE2 support: 0
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1298 Setup] SVE2 f32mm support: 0
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1299 Setup] SVE2 i8mm support: 0
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...sland/Paddle-Lite/lite/api/paddle_api.cc:43 IsOpenCLBackendValid] need to check fp16 valid:0
    16:21:32.980 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp device: running on cpu.
    16:21:32.989 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp paddle instance created
    16:21:32.989 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.989 ...sland/Paddle-Lite/lite/api/paddle_api.cc:43 IsOpenCLBackendValid] need to check fp16 valid:0
    16:21:32.989 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp device: running on cpu.
    16:21:32.996 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp paddle instance created
    16:21:32.996 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.996 ...sland/Paddle-Lite/lite/api/paddle_api.cc:43 IsOpenCLBackendValid] need to check fp16 valid:0
    16:21:32.996 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp device: running on cpu.
    16:21:33.005 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp paddle instance created
    16:21:33.005 10529-10575 OCRPredictorNative com...e.lite.demo.ocr I load success 3688579360
    16:21:33.009 10529-10575 Predictor com...e.lite.demo.ocr I Word label size: 6625

16:22:28.812 10529-10575 OCR_NDK com...e.lite.demo.ocr I begin to run native forward
16:22:28.820 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp start *****************
16:22:28.824 10529-10529 BufferQueueConsumer com...e.lite.demo.ocr D connect: controlledByApp=false
16:22:28.830 10529-10563 BLASTBufferQueue com...e.lite.demo.ocr D VRI[MainActivity]#2 acquireNextBufferLocked size=1218x540 mFrameNumber=1 applyTransaction=true mTimestamp=78205271477814(auto) mPendingTransactions.size=0 graphicBufferId=45221710659598 transform=0
16:22:28.831 10529-10563 Parcel com...e.lite.demo.ocr W Expecting binder but got null!
16:22:28.840 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp det shape 960,960
16:22:28.840 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 900100
16:22:31.634 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end
16:22:31.634 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 921600
16:22:31.642 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp det Filter_box size 2
16:22:31.642 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp box 356,533,624,530,625,597,357,600
16:22:31.642 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp box 349,379,635,386,632,538,346,532
16:22:31.643 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008
16:22:31.784 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end
16:22:31.784 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 2
16:22:31.785 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp cls word cls 0, 1.000000
16:22:31.785 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008
16:22:32.614 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end
16:22:32.614 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 212000
16:22:32.617 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008
16:22:32.726 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end
16:22:32.726 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 2
16:22:32.726 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp cls word cls 0, 0.999988
16:22:32.727 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008
16:22:33.179 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end
16:22:33.179 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 99375
16:22:33.180 10529-10575 OCR_NDK com...e.lite.demo.ocr I begin to run native forward
16:22:33.186 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp start *****************
16:22:33.199 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp det shape 960,960
16:22:33.199 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 900100
16:22:35.676 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end
16:22:35.677 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 921600
16:22:35.684 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp det Filter_box size 2
16:22:35.684 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp box 356,533,624,530,625,597,357,600
16:22:35.684 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp box 349,379,635,386,632,538,346,532
16:22:35.686 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008
16:22:35.799 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end
16:22:35.799 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 2
16:22:35.799 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp cls word cls 0, 1.000000
16:22:35.799 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008
16:22:36.621 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end
16:22:36.621 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 212000
16:22:36.624 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008
16:22:36.732 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end
16:22:36.732 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 2
16:22:36.733 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp cls word cls 0, 0.999988
16:22:36.733 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008
16:22:37.153 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end
16:22:37.153 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 99375
16:22:37.154 10529-10575 System.out com...e.lite.demo.ocr I 对应的内容：最终相遇
16:22:37.154 10529-10575 System.out com...e.lite.demo.ocr I 对应的内容：约定
16:22:37.154 10529-10575 Predictor com...e.lite.demo.ocr I [stat] Inference Time: 3974.0 ;Box Size 2
@mjp9527
Copy link
Collaborator

mjp9527 commented Apr 4, 2023

使用 v2.12版本 inference_lite_lib.android.armv7.gcc.c++_shared.with_extra.with_cv 进行推理，在天玑9000和骁龙8gen1 上运行速度极慢， 使用clang版本可以正常推理：https://github.com/PaddlePaddle/Paddle-Lite/releases/download/v2.12/inference_lite_lib.android.armv7.clang.c++_shared.with_extra.with_cv.tar.gz，但是无法开启openmp

  • 版本、预测库信息：
       1）Paddle Lite 版本：V2.12和V2.11
       2）Host 环境：
       3）运行设备环境：ipoo neo7 android13 天玑9000处理器
    三星 s22 android13 骁龙8gen1处理器
       4）预测后端信息：CPU推理
  • 预测信息
       1）预测 API：C++
       2）预测选项信息：armv7 单线程/多线程均使用
       3）预测库来源：官网下载inference_lite_lib.android.armv7.gcc.c++_shared.with_extra.with_cv
  • 复现信息：
  • 日志：
    16:21:32.972 10529-10575 Predictor com...e.lite.demo.ocr I model path/data/user/0/com.baidu.paddle.lite.demo.ocr/cache/models/ch_PP-OCRv2/ch_PP-OCRv3_det_slim_infer_fp16.nb ; /data/user/0/com.baidu.paddle.lite.demo.ocr/cache/models/ch_PP-OCRv2/ch_ppocr_mobile_v2.0_rec_slim_infer.nb;/data/user/0/com.baidu.paddle.lite.demo.ocr/cache/models/ch_PP-OCRv2/ch_ppocr_mobile_v2.0_cls_slim_infer.nb
    16:21:32.979 10529-10575 OCR_NDK com...e.lite.demo.ocr I PowerMode: str=LITE_POWER_NO_BIND, enum=3
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1275 Setup] ARM multiprocessors name: MODEL NAME : ARMV8 PROCESSOR REV 2 (V8L)
    K6983V1_64_MT6983
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1276 Setup] ARM multiprocessors number: 8
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1278 Setup] ARM multiprocessors ID: 0, max freq: 1800, min freq: 1800, cluster ID: 1, CPU ARCH: A60
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1278 Setup] ARM multiprocessors ID: 1, max freq: 1800, min freq: 1800, cluster ID: 1, CPU ARCH: A60
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1278 Setup] ARM multiprocessors ID: 2, max freq: 1800, min freq: 1800, cluster ID: 1, CPU ARCH: A60
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1278 Setup] ARM multiprocessors ID: 3, max freq: 1800, min freq: 1800, cluster ID: 1, CPU ARCH: A60
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1278 Setup] ARM multiprocessors ID: 4, max freq: 2850, min freq: 2850, cluster ID: 0, CPU ARCH: A82
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1278 Setup] ARM multiprocessors ID: 5, max freq: 2850, min freq: 2850, cluster ID: 0, CPU ARCH: A82
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1278 Setup] ARM multiprocessors ID: 6, max freq: 2850, min freq: 2850, cluster ID: 0, CPU ARCH: A82
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1278 Setup] ARM multiprocessors ID: 7, max freq: 3200, min freq: 3200, cluster ID: 0, CPU ARCH: A2
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1284 Setup] L1 DataCache size is:
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1286 Setup] 32 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1286 Setup] 32 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1286 Setup] 32 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1286 Setup] 32 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1286 Setup] 32 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1286 Setup] 32 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1286 Setup] 32 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1286 Setup] 32 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1288 Setup] L2 Cache size is:
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1290 Setup] 512 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1290 Setup] 512 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1290 Setup] 512 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1290 Setup] 512 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1290 Setup] 512 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1290 Setup] 512 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1290 Setup] 512 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1290 Setup] 512 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1292 Setup] L3 Cache size is:
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1294 Setup] 0 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1294 Setup] 0 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1294 Setup] 0 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1294 Setup] 0 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1294 Setup] 0 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1294 Setup] 0 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1294 Setup] 0 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1294 Setup] 0 KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1296 Setup] Total memory: 7562272KB
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1297 Setup] SVE2 support: 0
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1298 Setup] SVE2 f32mm support: 0
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...and/Paddle-Lite/lite/core/device_info.cc:1299 Setup] SVE2 i8mm support: 0
    16:21:32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.980 ...sland/Paddle-Lite/lite/api/paddle_api.cc:43 IsOpenCLBackendValid] need to check fp16 valid:0
    16:21:32.980 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp device: running on cpu.
    16:21:32.989 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp paddle instance created
    16:21:32.989 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.989 ...sland/Paddle-Lite/lite/api/paddle_api.cc:43 IsOpenCLBackendValid] need to check fp16 valid:0
    16:21:32.989 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp device: running on cpu.
    16:21:32.996 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp paddle instance created
    16:21:32.996 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16:21:32.996 ...sland/Paddle-Lite/lite/api/paddle_api.cc:43 IsOpenCLBackendValid] need to check fp16 valid:0
    16:21:32.996 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp device: running on cpu.
    16:21:33.005 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp paddle instance created
    16:21:33.005 10529-10575 OCRPredictorNative com...e.lite.demo.ocr I load success 3688579360
    16:21:33.009 10529-10575 Predictor com...e.lite.demo.ocr I Word label size: 6625

16:22:28.812 10529-10575 OCR_NDK com...e.lite.demo.ocr I begin to run native forward 16:22:28.820 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp start ***************** 16:22:28.824 10529-10529 BufferQueueConsumer com...e.lite.demo.ocr D connect: controlledByApp=false 16:22:28.830 10529-10563 BLASTBufferQueue com...e.lite.demo.ocr D VRI[MainActivity]#2 acquireNextBufferLocked size=1218x540 mFrameNumber=1 applyTransaction=true mTimestamp=78205271477814(auto) mPendingTransactions.size=0 graphicBufferId=45221710659598 transform=0 16:22:28.831 10529-10563 Parcel com...e.lite.demo.ocr W Expecting binder but got null! 16:22:28.840 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp det shape 960,960 16:22:28.840 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 900100 16:22:31.634 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:31.634 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 921600 16:22:31.642 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp det Filter_box size 2 16:22:31.642 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp box 356,533,624,530,625,597,357,600 16:22:31.642 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp box 349,379,635,386,632,538,346,532 16:22:31.643 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:31.784 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:31.784 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 2 16:22:31.785 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp cls word cls 0, 1.000000 16:22:31.785 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:32.614 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:32.614 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 212000 16:22:32.617 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:32.726 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:32.726 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 2 16:22:32.726 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp cls word cls 0, 0.999988 16:22:32.727 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:33.179 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:33.179 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 99375 16:22:33.180 10529-10575 OCR_NDK com...e.lite.demo.ocr I begin to run native forward 16:22:33.186 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp start ***************** 16:22:33.199 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp det shape 960,960 16:22:33.199 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 900100 16:22:35.676 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:35.677 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 921600 16:22:35.684 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp det Filter_box size 2 16:22:35.684 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp box 356,533,624,530,625,597,357,600 16:22:35.684 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp box 349,379,635,386,632,538,346,532 16:22:35.686 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:35.799 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:35.799 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 2 16:22:35.799 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp cls word cls 0, 1.000000 16:22:35.799 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:36.621 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:36.621 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 212000 16:22:36.624 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:36.732 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:36.732 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 2 16:22:36.733 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp cls word cls 0, 0.999988 16:22:36.733 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:37.153 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:37.153 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 99375 16:22:37.154 10529-10575 System.out com...e.lite.demo.ocr I 对应的内容：最终相遇 16:22:37.154 10529-10575 System.out com...e.lite.demo.ocr I 对应的内容：约定 16:22:37.154 10529-10575 Predictor com...e.lite.demo.ocr I [stat] Inference Time: 3974.0 ;Box Size 2

极慢是和哪款机型有对比数据吗，跑的FP32模型吗还是FP16?

@chengliang0315
Copy link
Author

使用 v2.12版本 inference_lite_lib.android.armv7.gcc.c++_shared.with_extra.with_cv 进行推理，在天玑9000和骁龙8gen1 上运行速度极慢， 使用clang版本可以正常推理：https://github.com/PaddlePaddle/Paddle-Lite/releases/download/v2.12/inference_lite_lib.android.armv7.clang.c++_shared.with_extra.with_cv.tar.gz，但是无法开启openmp

  • 版本、预测库信息： 1）Paddle Lite 版本：V2.12和V2.11 2）主机环境： 3）运行设备环境：ipoo neo7 android13 天玑9000处理器 三星 s22 android13 骁龙8gen1处理器 4）预测后端信息：CPU推理
  • 预测信息 1）预测 API：C++ 2）预测选项信息：armv7 单线程/多线程均使用 3）预测库来源：官网下载inference_lite_lib.android.armv7.gcc.c++_shared.with_extra.with_cv
  • 复现信息：
  • 日志： 16：21：32.972 10529-10575 预测器通信...e.lite.demo.ocr I model path/data/user/0/com.baidu.paddle.lite.demo.ocr/cache/models/ch_PP-OCRv2/ch_PP-OCRv3_det_slim_infer_fp16.nb ;/data/user/0/com.baidu.paddle.lite.demo.ocr/cache/models/ch_PP-OCRv2/ch_ppocr_mobile_v2.0_rec_slim_infer.nb;/data/user/0/com.baidu.paddle.lite.demo.ocr/cache/models/ch_PP-OCRv2/ch_ppocr_mobile_v2.0_cls_slim_infer.nb 16：21：32.979 10529-10575 OCR_NDK com...e.lite.demo.ocr I PowerMode： str=LITE_POWER_NO_BIND， enum=3 16：21：32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1275 设置] ARM 多处理器名称： 型号名称 ： ARMV8 处理器修订版 2 （V8L） K6983V1_64_MT6983 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1276 设置] ARM 多处理器编号：8 16：21：32.980 10529-10575 桨式通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨式/精简版/核心/device_info.cc：1278 设置] ARM 多处理器 ID： 0，最大频率：1800，最小频率：1800，集群 ID：1，CPU 架构：A60 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨式/精简版/核心/device_info.cc：1278 设置] ARM 多处理器 ID： 1，最大频率：1800，最小频率：1800，集群 ID：1，CPU 架构：A60 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨式/精简版/核心/device_info.cc：1278 设置] ARM 多处理器 ID： 2，最大频率：1800，最小频率：1800，集群 ID：1，CPU 架构：A60 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨式/精简版/核心/device_info.cc：1278 设置] ARM 多处理器 ID： 3，最大频率：1800，最小频率：1800，集群 ID：1，CPU 架构：A60 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1278 设置] ARM 多处理器 ID： 4， 最大频率： 2850， 最小频率： 2850， 集群 ID： 0， CPU 架构： A82 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨式/精简版/核心/device_info.cc：1278 设置] ARM 多处理器 ID： 5， 最大频率： 2850， 最小频率： 2850， 集群 ID： 0， CPU 架构： A82 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1278 设置] ARM 多处理器 ID： 6，最大频率：2850，最小频率：2850，集群 ID：0，CPU 架构：A82 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨式/精简版/核心/device_info.cc：1278 设置] ARM 多处理器 ID： 7， 最大频率： 3200， 最小频率： 3200， 集群 ID： 0， CPU 架构： A2 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1284 设置] L1 数据缓存大小为：16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1286 设置] 32 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1286 设置] 32 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1286 设置] 32 KB 16：21：32.980 10529-10575 桨式...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1286 设置] 32 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1286 设置] 32 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1286 设置] 32 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1286 设置] 32 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1286 设置] 32 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1288 设置] L2 缓存大小为：16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1290 设置] 512 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1290 设置] 512 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1290 设置] 512 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1290 设置] 512 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1290 设置] 512 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1290 设置] 512 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1290 设置] 512 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1290 设置] 512 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1292 设置] L3 缓存大小为：16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1294 设置] 0 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1294 设置] 0 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1294 设置] 0 KB 16：21：32.980 10529-10575 桨精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1294 设置] 0 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1294 设置] 0 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1294 设置] 0 KB 16：21：32.980 10529-10575 桨式通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1294 设置] 0 KB 16：21：32。980 10529-10575 桨式通信e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1294 设置] 0 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1296 设置] 总内存：7562272KB 16：21：32.980 10529-10575 桨式精简版...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1297 设置] SVE2 支持：0 16：21：32.980 10529-10575 桨-精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1298 设置] SVE2 f32mm 支持： 0 16：21：32.980 10529-10575 桨式精简版...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1299 设置] SVE2 i8mm 支持： 0 16：21：32.980 10529-10575 桨-精简版 com...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...sland/Paddle-Lite/lite/api/paddle_api.cc：43 IsOpenCLBackendValid] 需要检查 fp16 有效：0 16：21：32.980 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp device： run on cpu. 16：21：32.989 10529-10575 OCR_NDKe.lite.demo.ocr I ocr cpp 桨实例创建 16：21：32.989 10529-10575 桨-精简版 com...e.lite.demo.ocr I [I 4/ 3 16：21：32.989 ...sland/Paddle-Lite/lite/api/paddle_api.cc：43 IsOpenCLBackendValid] 需要检查 fp16 有效：0 16：21：32.989 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp device： run on cpu. 16：21：32.996 10529-10575 OCR_NDKe.lite.demo.ocr I ocr cpp 桨实例创建 16：21：32.996 10529-10575 桨-精简版 com...e.lite.demo.ocr I [I 4/ 3 16：21：32.996 ...sland/Paddle-Lite/lite/api/paddle_api.cc：43 IsOpenCLBackendValid] 需要检查 fp16 有效：0 16：21：32.996 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp device： run on cpu. 16：21：33.005 10529-10575 OCR_NDKe.lite.demo.ocr I ocr cpp 桨实例创建 16：21：33.005 10529-10575 OCRPredictorNative com...e.lite.demo.ocr 我加载成功 3688579360 16：21：33.009 10529-10575 预测器通信...e.lite.demo.ocr I 字标签大小：6625

16:22:28.812 10529-10575 OCR_NDK com...e.lite.demo.ocr I begin to run native forward 16:22:28.820 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp start ***************** 16:22:28.824 10529-10529 BufferQueueConsumer com...e.lite.demo.ocr D connect: controlledByApp=false 16:22:28.830 10529-10563 BLASTBufferQueue com...e.lite.demo.ocr D VRI[MainActivity]#2 acquireNextBufferLocked size=1218x540 mFrameNumber=1 applyTransaction=true mTimestamp=78205271477814(auto) mPendingTransactions.size=0 graphicBufferId=45221710659598 transform=0 16:22:28.831 10529-10563 Parcel com...e.lite.demo.ocr W Expecting binder but got null! 16:22:28.840 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp det shape 960,960 16:22:28.840 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 900100 16:22:31.634 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:31.634 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 921600 16:22:31.642 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp det Filter_box size 2 16:22:31.642 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp box 356,533,624,530,625,597,357,600 16:22:31.642 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp box 349,379,635,386,632,538,346,532 16:22:31.643 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:31.784 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:31.784 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 2 16:22:31.785 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp cls word cls 0, 1.000000 16:22:31.785 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:32.614 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:32.614 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 212000 16:22:32.617 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:32.726 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:32.726 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 2 16:22:32.726 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp cls word cls 0, 0.999988 16:22:32.727 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:33.179 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:33.179 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 99375 16:22:33.180 10529-10575 OCR_NDK com...e.lite.demo.ocr I begin to run native forward 16:22:33.186 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp start ***************** 16:22:33.199 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp det shape 960,960 16:22:33.199 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 900100 16:22:35.676 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:35.677 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 921600 16:22:35.684 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp det Filter_box size 2 16:22:35.684 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp box 356,533,624,530,625,597,357,600 16:22:35.684 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp box 349,379,635,386,632,538,346,532 16:22:35.686 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:35.799 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:35.799 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 2 16:22:35.799 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp cls word cls 0, 1.000000 16:22:35.799 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:36.621 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:36.621 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 212000 16:22:36.624 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:36.732 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:36.732 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 2 16:22:36.733 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp cls word cls 0, 0.999988 16:22:36.733 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:37.153 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:37.153 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 99375 16:22:37.154 10529-10575 System.out com...e.lite.demo.ocr I 对应的内容：最终相遇 16:22:37.154 10529-10575 System.out com...e.lite.demo.ocr I 对应的内容：约定 16:22:37.154 10529-10575 Predictor com...e.lite.demo.ocr I [stat] Inference Time: 3974.0 ;Box Size 2

极慢是和哪款机型有对比数据吗，跑的FP32模型吗还是FP16?

使用 v2.12版本 inference_lite_lib.android.armv7.gcc.c++_shared.with_extra.with_cv 进行推理，在天玑9000和骁龙8gen1 上运行速度极慢， 使用clang版本可以正常推理：https://github.com/PaddlePaddle/Paddle-Lite/releases/download/v2.12/inference_lite_lib.android.armv7.clang.c++_shared.with_extra.with_cv.tar.gz，但是无法开启openmp

  • 版本、预测库信息： 1）Paddle Lite 版本：V2.12和V2.11 2）主机环境： 3）运行设备环境：ipoo neo7 android13 天玑9000处理器 三星 s22 android13 骁龙8gen1处理器 4）预测后端信息：CPU推理
  • 预测信息 1）预测 API：C++ 2）预测选项信息：armv7 单线程/多线程均使用 3）预测库来源：官网下载inference_lite_lib.android.armv7.gcc.c++_shared.with_extra.with_cv
  • 复现信息：
  • 日志： 16：21：32.972 10529-10575 预测器通信...e.lite.demo.ocr I model path/data/user/0/com.baidu.paddle.lite.demo.ocr/cache/models/ch_PP-OCRv2/ch_PP-OCRv3_det_slim_infer_fp16.nb ;/data/user/0/com.baidu.paddle.lite.demo.ocr/cache/models/ch_PP-OCRv2/ch_ppocr_mobile_v2.0_rec_slim_infer.nb;/data/user/0/com.baidu.paddle.lite.demo.ocr/cache/models/ch_PP-OCRv2/ch_ppocr_mobile_v2.0_cls_slim_infer.nb 16：21：32.979 10529-10575 OCR_NDK com...e.lite.demo.ocr I PowerMode： str=LITE_POWER_NO_BIND， enum=3 16：21：32.980 10529-10575 Paddle-Lite com...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1275 设置] ARM 多处理器名称： 型号名称 ： ARMV8 处理器修订版 2 （V8L） K6983V1_64_MT6983 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1276 设置] ARM 多处理器编号：8 16：21：32.980 10529-10575 桨式通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨式/精简版/核心/device_info.cc：1278 设置] ARM 多处理器 ID： 0，最大频率：1800，最小频率：1800，集群 ID：1，CPU 架构：A60 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨式/精简版/核心/device_info.cc：1278 设置] ARM 多处理器 ID： 1，最大频率：1800，最小频率：1800，集群 ID：1，CPU 架构：A60 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨式/精简版/核心/device_info.cc：1278 设置] ARM 多处理器 ID： 2，最大频率：1800，最小频率：1800，集群 ID：1，CPU 架构：A60 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨式/精简版/核心/device_info.cc：1278 设置] ARM 多处理器 ID： 3，最大频率：1800，最小频率：1800，集群 ID：1，CPU 架构：A60 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1278 设置] ARM 多处理器 ID： 4， 最大频率： 2850， 最小频率： 2850， 集群 ID： 0， CPU 架构： A82 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨式/精简版/核心/device_info.cc：1278 设置] ARM 多处理器 ID： 5， 最大频率： 2850， 最小频率： 2850， 集群 ID： 0， CPU 架构： A82 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1278 设置] ARM 多处理器 ID： 6，最大频率：2850，最小频率：2850，集群 ID：0，CPU 架构：A82 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨式/精简版/核心/device_info.cc：1278 设置] ARM 多处理器 ID： 7， 最大频率： 3200， 最小频率： 3200， 集群 ID： 0， CPU 架构： A2 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1284 设置] L1 数据缓存大小为：16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1286 设置] 32 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1286 设置] 32 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1286 设置] 32 KB 16：21：32.980 10529-10575 桨式...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1286 设置] 32 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1286 设置] 32 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1286 设置] 32 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1286 设置] 32 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1286 设置] 32 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1288 设置] L2 缓存大小为：16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1290 设置] 512 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1290 设置] 512 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1290 设置] 512 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1290 设置] 512 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1290 设置] 512 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1290 设置] 512 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1290 设置] 512 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1290 设置] 512 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1292 设置] L3 缓存大小为：16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1294 设置] 0 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1294 设置] 0 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1294 设置] 0 KB 16：21：32.980 10529-10575 桨精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1294 设置] 0 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1294 设置] 0 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1294 设置] 0 KB 16：21：32.980 10529-10575 桨式通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1294 设置] 0 KB 16：21：32。980 10529-10575 桨式通信e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨精简版/精简版/核心/device_info.cc：1294 设置] 0 KB 16：21：32.980 10529-10575 桨式精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1296 设置] 总内存：7562272KB 16：21：32.980 10529-10575 桨式精简版...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1297 设置] SVE2 支持：0 16：21：32.980 10529-10575 桨-精简版通信...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1298 设置] SVE2 f32mm 支持： 0 16：21：32.980 10529-10575 桨式精简版...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...和/桨-精简版/精简版/核心/device_info.cc：1299 设置] SVE2 i8mm 支持： 0 16：21：32.980 10529-10575 桨-精简版 com...e.lite.demo.ocr I [I 4/ 3 16：21：32.980 ...sland/Paddle-Lite/lite/api/paddle_api.cc：43 IsOpenCLBackendValid] 需要检查 fp16 有效：0 16：21：32.980 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp device： run on cpu. 16：21：32.989 10529-10575 OCR_NDKe.lite.demo.ocr I ocr cpp 桨实例创建 16：21：32.989 10529-10575 桨-精简版 com...e.lite.demo.ocr I [I 4/ 3 16：21：32.989 ...sland/Paddle-Lite/lite/api/paddle_api.cc：43 IsOpenCLBackendValid] 需要检查 fp16 有效：0 16：21：32.989 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp device： run on cpu. 16：21：32.996 10529-10575 OCR_NDKe.lite.demo.ocr I ocr cpp 桨实例创建 16：21：32.996 10529-10575 桨-精简版 com...e.lite.demo.ocr I [I 4/ 3 16：21：32.996 ...sland/Paddle-Lite/lite/api/paddle_api.cc：43 IsOpenCLBackendValid] 需要检查 fp16 有效：0 16：21：32.996 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp device： run on cpu. 16：21：33.005 10529-10575 OCR_NDKe.lite.demo.ocr I ocr cpp 桨实例创建 16：21：33.005 10529-10575 OCRPredictorNative com...e.lite.demo.ocr 我加载成功 3688579360 16：21：33.009 10529-10575 预测器通信...e.lite.demo.ocr I 字标签大小：6625

16:22:28.812 10529-10575 OCR_NDK com...e.lite.demo.ocr I begin to run native forward 16:22:28.820 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp start ***************** 16:22:28.824 10529-10529 BufferQueueConsumer com...e.lite.demo.ocr D connect: controlledByApp=false 16:22:28.830 10529-10563 BLASTBufferQueue com...e.lite.demo.ocr D VRI[MainActivity]#2 acquireNextBufferLocked size=1218x540 mFrameNumber=1 applyTransaction=true mTimestamp=78205271477814(auto) mPendingTransactions.size=0 graphicBufferId=45221710659598 transform=0 16:22:28.831 10529-10563 Parcel com...e.lite.demo.ocr W Expecting binder but got null! 16:22:28.840 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp det shape 960,960 16:22:28.840 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 900100 16:22:31.634 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:31.634 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 921600 16:22:31.642 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp det Filter_box size 2 16:22:31.642 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp box 356,533,624,530,625,597,357,600 16:22:31.642 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp box 349,379,635,386,632,538,346,532 16:22:31.643 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:31.784 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:31.784 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 2 16:22:31.785 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp cls word cls 0, 1.000000 16:22:31.785 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:32.614 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:32.614 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 212000 16:22:32.617 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:32.726 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:32.726 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 2 16:22:32.726 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp cls word cls 0, 0.999988 16:22:32.727 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:33.179 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:33.179 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 99375 16:22:33.180 10529-10575 OCR_NDK com...e.lite.demo.ocr I begin to run native forward 16:22:33.186 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp start ***************** 16:22:33.199 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp det shape 960,960 16:22:33.199 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 900100 16:22:35.676 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:35.677 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 921600 16:22:35.684 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp det Filter_box size 2 16:22:35.684 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp box 356,533,624,530,625,597,357,600 16:22:35.684 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp box 349,379,635,386,632,538,346,532 16:22:35.686 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:35.799 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:35.799 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 2 16:22:35.799 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp cls word cls 0, 1.000000 16:22:35.799 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:36.621 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:36.621 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 212000 16:22:36.624 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:36.732 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:36.732 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 2 16:22:36.733 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp cls word cls 0, 0.999988 16:22:36.733 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run start 991008 16:22:37.153 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp infer Run end 16:22:37.153 10529-10575 OCR_NDK com...e.lite.demo.ocr I ocr cpp output tensor[0] size 99375 16:22:37.154 10529-10575 System.out com...e.lite.demo.ocr I 对应的内容：最终相遇 16:22:37.154 10529-10575 System.out com...e.lite.demo.ocr I 对应的内容：约定 16:22:37.154 10529-10575 Predictor com...e.lite.demo.ocr I [stat] Inference Time: 3974.0 ;Box Size 2

极慢是和哪款机型有对比数据吗，跑的FP32模型吗还是FP16?

就在同机型上对比(上面有描述： ipoo neo7 android13 天玑9000处理器 和 三星 s22 android13 骁龙8gen1处理器)，同paddle-lite版本V2.12和V2.11，使用同模型文件FP32
armv7.gcc.c++_shared.with_extra.with_cv 耗时3974ms
armv7.clang.c++_shared.with_extra.with_cv 耗时300ms

@mjp9527
Copy link
Collaborator

mjp9527 commented Apr 4, 2023 •
edited
Loading

armv7 clang 暂不支持多线程，现在问题是gcc包比clang包慢吗？

@chengliang0315
Copy link
Author

armv7 clang 暂不支持多线程

是的，所以我要用gcc版本的，但是gcc在上述两款机型出现极慢的现象
并且我在 骁龙8gen 2手机上的推理速度，相对也会慢些 500-600ms，
我怀疑是否对armv9 有兼容问题

@chengliang0315
Copy link
Author

chengliang0315 commented Apr 5, 2023 •
edited
Loading

armv7 clang 暂不支持多线程，现在问题是gcc包比clang包慢吗？

是的，正常情况下GCC（250-300ms）比clang(300-320ms)快，唯独上面两款机型上，gcc -> 3974ms

@chengliang0315
Copy link
Author

通过调试，cpuThreadNum 设置为2，就能正常运行
cpuThreadNum = 4 的情况下，速度在3974ms
cpuThreadNum = 2 的情况下，速度在300ms

@paddle-bot paddle-bot bot closed this as completed Apr 16, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees

@shentanyue shentanyue

Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
3 participants
@chengliang0315 @shentanyue @mjp9527