paddleclas

PaddleClas高性能全场景模型部署方案—FastDeploy

目录

• FastDeploy介绍
• 图像分类模型部署
• 常见问题

1. FastDeploy介绍

⚡️FastDeploy是一款全场景、易用灵活、极致高效的AI推理部署工具，支持云边端部署。使用FastDeploy可以简单高效的在X86 CPU、NVIDIA GPU、飞腾CPU、ARM CPU、Intel GPU、Graphcore IPU、昆仑、昇腾、瑞芯微、晶晨、算能等10+款硬件上对PaddleClas模型进行快速部署，并且支持Paddle Inference、Paddle Lite、TensorRT、OpenVINO、ONNXRuntime、RKNPU2、SOPHGO等多种推理后端。

2. 图像分类模型部署

2.1 硬件支持列表

硬件类型	该硬件是否支持	使用指南	Python	C++
X86 CPU	✅	链接	✅	✅
NVIDIA GPU	✅	链接	✅	✅
飞腾CPU	✅	链接	✅	✅
ARM CPU	✅	链接	✅	✅
Intel GPU(集成显卡)	✅	链接	✅	✅
Intel GPU(独立显卡)	✅	链接	✅	✅
Graphcore IPU	✅	链接	✅	✅
昆仑	✅	链接	✅	✅
昇腾	✅	链接	✅	✅
瑞芯微	✅	链接	✅	✅
晶晨	✅	链接	--	✅
算能	✅	链接	✅	✅

2.2. 详细使用文档

• X86 CPU
  • 部署模型准备
  • Python部署示例
  • C++部署示例
• NVIDIA GPU
  • 部署模型准备
  • Python部署示例
  • C++部署示例
• 飞腾CPU
  • 部署模型准备
  • Python部署示例
  • C++部署示例
• ARM CPU
  • 部署模型准备
  • Python部署示例
  • C++部署示例
• Intel GPU
  • 部署模型准备
  • Python部署示例
  • C++部署示例
• Graphcore IPU
  • 部署模型准备
  • Python部署示例
  • C++部署示例
• 昆仑 XPU
  • 部署模型准备
  • Python部署示例
  • C++部署示例
• 昇腾 Ascend
  • 部署模型准备
  • Python部署示例
  • C++部署示例
• 瑞芯微 Rockchip
  • 部署模型准备
  • Python部署示例
  • C++部署示例
• 晶晨 Amlogic
  • 部署模型准备
  • C++部署示例
• 算能 Sophgo
  • 部署模型准备
  • Python部署示例
  • C++部署示例

2.3 更多部署方式

• Android ARM CPU部署
• 服务化Serving部署
• web部署
• 模型自动化压缩工具

4. 常见问题

遇到问题可查看常见问题集合，搜索FastDeploy issue，或给FastDeploy提交issue:

常见问题集合
FastDeploy issues