Run_On_JETSON_CN.md

Paddle Serving使用JETSON部署

Paddle Serving支持使用JETSON进行预测部署。目前仅支持Pipeline模式。

安装PaddlePaddle

可以参考NV Jetson部署示例 安装python版本的paddlepaddle

安装PaddleServing

安装ARM版本的whl包

# paddle-serving-server
https://paddle-serving.bj.bcebos.com/whl/xpu/arm/paddle_serving_server_xpu-0.0.0.post2-py3-none-any.whl
# paddle-serving-client
https://paddle-serving.bj.bcebos.com/whl/xpu/arm/paddle_serving_client-0.0.0-cp36-none-any.whl
# paddle-serving-app
https://paddle-serving.bj.bcebos.com/whl/xpu/arm/paddle_serving_app-0.0.0-py3-none-any.whl

部署使用

以Uci为例

启动服务

python3 web_service.py &>log.txt &

其中修改config.yml中的对应配置项

            #计算硬件类型: 空缺时由devices决定(CPU/GPU)，0=cpu, 1=gpu, 2=tensorRT, 3=arm cpu, 4=kunlun xpu
            device_type: 1

            #计算硬件ID，优先由device_type决定硬件类型。devices为""或空缺时为CPU预测；当为"0", "0,1,2"时为GPU预测，表示使用的GPU卡
            devices: "0,1"

其他说明

Jetson支持相关参考资料

• Jetson运行飞桨