Ch05_Inference_Tools

第5章 開源模型推論工具

5.1 邊緣推論工具簡介

5.1.1 Google TensorFlow Lite

• Google TensorFlow Lite

5.1.2 Nvidia TensorRT

• Nvidia TensorRT

5.1.3 Intel OpenVINO

• Intel OpenVINO Toolkit
• OpenVINO 2022大改版讓Edge AI玩出新花樣

5.1.4 ARM CMSIS-NN

• Arm Converting a Neural Network for Arm Cortex-M with CMSIS-NN Guide

5.1.5 其它工具

• Adlink Engine
• Amazon SageMaker
• Edge Impulse Studio

5.2 OpenVINO簡介

5.2.1 系統安裝

5.2.2 工作流程

5.2.3 預訓模型

5.2.4 模型優化

5.2.5 推論引擎

5.3 OpenVINO多媒體處理

5.3.1 OpenCV

5.3.2 Graph API

5.3.3 OpenCL

5.3.4 OpenVX

5.3.5 DL Streamer

5.4 OpenVINO範例

5.4.1 Goole Colab安裝

5.4.2 模型下載優化

5.4.3 執行推論

5.4.4 顯示結果

參考文獻

• 許哲豪，OpenVINO 2022大改版讓Edge AI玩出新花樣
• 歐尼克斯實境互動工作室【系列發文】- OpenVINO系列
• Intel DevCup創意應用競賽(Youtube)