Update CMakeLists.txt to adapt to the directory structure of win v1.6…

… inference lib (open-mmlab#20) 2. change code style 3. add error messages: display detail about input errors and config file errors
liuhuiCNN · Nov 7, 2019 · 75d4c0f · 75d4c0f
1 parent df6cfd8
commit 75d4c0f
Show file tree

Hide file tree

Showing 18 changed files with 830 additions and 610 deletions.
diff --git a/inference/CMakeLists.txt b/inference/CMakeLists.txt
@@ -1,7 +1,6 @@
 cmake_minimum_required(VERSION 3.0)
 project(cpp_inference_demo CXX C)
-message("cmake module path: ${CMAKE_MODULE_PATH}")
-message("cmake root path: ${CMAKE_ROOT}")
+
 option(WITH_MKL        "Compile demo with MKL/OpenBlas support,defaultuseMKL."          ON)
 option(WITH_GPU        "Compile demo with GPU/CPU, default use CPU."                    ON)
 option(WITH_STATIC_LIB "Compile demo with static/shared library, default use static."   ON)
@@ -70,6 +69,7 @@ link_directories("${CMAKE_CURRENT_BINARY_DIR}/ext/yaml-cpp/lib")
 link_directories("${CMAKE_CURRENT_BINARY_DIR}")
 if (WIN32)
   include_directories("${PADDLE_DIR}/paddle/fluid/inference")
+  include_directories("${PADDLE_DIR}/paddle/include")
   link_directories("${PADDLE_DIR}/paddle/fluid/inference")
   include_directories("${OPENCV_DIR}/build/include")
   include_directories("${OPENCV_DIR}/opencv/build/include")
@@ -134,6 +134,7 @@ if(WITH_MKL)
   else ()
     set(MATH_LIB ${PADDLE_DIR}/third_party/install/mklml/lib/libmklml_intel${CMAKE_SHARED_LIBRARY_SUFFIX}
             ${PADDLE_DIR}/third_party/install/mklml/lib/libiomp5${CMAKE_SHARED_LIBRARY_SUFFIX})
+    execute_process(COMMAND cp -r ${PADDLE_DIR}/third_party/install/mklml/lib/libmklml_intel${CMAKE_SHARED_LIBRARY_SUFFIX} /usr/lib)
   endif ()
   set(MKLDNN_PATH "${PADDLE_DIR}/third_party/install/mkldnn")
   if(EXISTS ${MKLDNN_PATH})
@@ -148,22 +149,22 @@ else()
   set(MATH_LIB ${PADDLE_DIR}/third_party/install/openblas/lib/libopenblas${CMAKE_STATIC_LIBRARY_SUFFIX})
 endif()
 
+if(WIN32)
+    if(EXISTS "${PADDLE_DIR}/paddle/fluid/inference/libpaddle_fluid${CMAKE_STATIC_LIBRARY_SUFFIX}")
+        set(DEPS
+            ${PADDLE_DIR}/paddle/fluid/inference/libpaddle_fluid${CMAKE_STATIC_LIBRARY_SUFFIX})
+        else()
+        set(DEPS
+            ${PADDLE_DIR}/paddle/lib/libpaddle_fluid${CMAKE_STATIC_LIBRARY_SUFFIX})
+   endif()
+endif()
+
 if(WITH_STATIC_LIB)
-  if (WIN32)
-    set(DEPS
-        ${PADDLE_DIR}/paddle/fluid/inference/libpaddle_fluid${CMAKE_STATIC_LIBRARY_SUFFIX})
-  else ()
     set(DEPS
         ${PADDLE_DIR}/paddle/lib/libpaddle_fluid${CMAKE_STATIC_LIBRARY_SUFFIX})
-  endif()
 else()
-  if (WIN32)
-    set(DEPS
-        ${PADDLE_DIR}/paddle/fluid/inference/libpaddle_fluid${CMAKE_STATIC_LIBRARY_SUFFIX})
-  else ()
     set(DEPS
         ${PADDLE_DIR}/paddle/lib/libpaddle_fluid${CMAKE_SHARED_LIBRARY_SUFFIX})
-  endif()
 endif()
 
 if (NOT WIN32)
@@ -242,8 +243,6 @@ if (NOT WIN32)
         set(DEPS ${DEPS} ${OPENCV_3RD_LIB_DIR}/libippicv${CMAKE_STATIC_LIBRARY_SUFFIX})
     endif()
 endif()
-# message(${CMAKE_CXX_FLAGS})
-# set(CMAKE_CXX_FLAGS "-g ${CMAKE_CXX_FLAGS}")
 
 SET(PADDLESEG_INFERENCE_SRCS  preprocessor/preprocessor.cpp 
     preprocessor/preprocessor_detection.cpp predictor/detection_predictor.cpp 
@@ -265,7 +264,7 @@ if (WIN32)
         COMMAND ${CMAKE_COMMAND} -E copy_if_different ${PADDLE_DIR}/third_party/install/mkldnn/lib/mkldnn.dll ./mkldnn.dll
         COMMAND ${CMAKE_COMMAND} -E copy_if_different ${PADDLE_DIR}/third_party/install/mklml/lib/mklml.dll ./release/mklml.dll
         COMMAND ${CMAKE_COMMAND} -E copy_if_different ${PADDLE_DIR}/third_party/install/mklml/lib/libiomp5md.dll ./release/libiomp5md.dll
-        COMMAND ${CMAKE_COMMAND} -E copy_if_different ${PADDLE_DIR}/third_party/install/mkldnn/lib/mkldnn.dll ./mkldnn.dll
+        COMMAND ${CMAKE_COMMAND} -E copy_if_different ${PADDLE_DIR}/third_party/install/mkldnn/lib/mkldnn.dll ./release/mkldnn.dll
     )
 endif()
 

diff --git a/inference/README.md b/inference/README.md
@@ -65,7 +65,7 @@ deploy
 
 完成编译后，便生成了需要的可执行文件和链接库。这里以我们基于`faster rcnn`检测模型为例，介绍部署图像检测模型的通用流程。
 
-### 1. 下载模型文件
+### 4.1. 下载模型文件
 我们提供faster rcnn，faster rcnn+fpn模型用于预测coco17数据集，可在以下链接下载：[faster rcnn示例模型下载地址](https://paddleseg.bj.bcebos.com/inference/faster_rcnn_pp50.zip)，
  [faster rcnn + fpn示例模型下载地址](https://paddleseg.bj.bcebos.com/inference/faster_rcnn_pp50_fpn.zip)。
 
@@ -83,7 +83,7 @@ faster_rcnn_pp50/
 **假设**`Linux`上对应的路径则为`/root/projects/models/faster_rcnn_pp50/`。
 
 
-### 2. 修改配置
+### 4.2. 修改配置
 
 `inference`源代码(即本目录)的`conf`目录下提供了示例基于faster rcnn的配置文件`detection_rcnn.yaml`, 相关的字段含义和说明如下：
 
@@ -118,7 +118,7 @@ DEPLOY:
     # 预测模式，支持 NATIVE 和 ANALYSIS
     PREDICTOR_MODE: "ANALYSIS"
     # 每次预测的 batch_size
-    BATCH_SIZE : 3
+    BATCH_SIZE : 3 
     # 长边伸缩的最大长度，-1代表无限制。
     RESIZE_MAX_SIZE: 1333
     # 输入的tensor数量。
@@ -127,7 +127,9 @@ DEPLOY:
 ```
 修改字段`MODEL_PATH`的值为你在**上一步**下载并解压的模型文件所放置的目录即可。更多配置文件字段介绍，请参考文档[预测部署方案配置文件说明](./docs/configuration.md)。
 
-### 3. 执行预测
+**注意**在使用CPU版本预测库时，`USE_GPU`的值必须设为0，否则无法正常预测。
+
+### 4.3. 执行预测
 
 在终端中切换到生成的可执行文件所在目录为当前目录(Windows系统为`cmd`)。
 
@@ -155,7 +157,7 @@ DEPLOY:
 
 运行可视化脚本时，只需输入命令行参数图片路径、检测结果pb文件路径、目标框阈值以及类别-标签映射文件路径即可得到可视化的图片`X.png` (tools目录下提供coco17的类别标签映射文件coco17.json)。
 
-```bash
+```bash 
 python vis.py --img_path=../build/images/detection_rcnn/000000087038.jpg --img_result_path=../build/images/detection_rcnn/000000087038.jpg.pb --threshold=0.1 --c2l_path=coco17.json
 ```
 
@@ -168,3 +170,4 @@ python vis.py --img_path=../build/images/detection_rcnn/000000087038.jpg --img_r
 ```检测结果图：```
 
 ![检测结果](./demo_images/000000087038.jpg.png)
+
diff --git a/inference/conf/detection_rcnn.yaml b/inference/conf/detection_rcnn.yaml
@@ -13,6 +13,6 @@ DEPLOY:
     CHANNELS : 3
     PRE_PROCESSOR: "DetectionPreProcessor"
     PREDICTOR_MODE: "ANALYSIS"
-    BATCH_SIZE : 3 
+    BATCH_SIZE : 1 
     RESIZE_MAX_SIZE: 1333
     FEEDS_SIZE: 3
diff --git a/inference/detection_demo.cpp b/inference/detection_demo.cpp
@@ -23,18 +23,24 @@ int main(int argc, char** argv) {
     // 0. parse args
     google::ParseCommandLineFlags(&argc, &argv, true);
     if (FLAGS_conf.empty() || FLAGS_input_dir.empty()) {
-        std::cout << "Usage: ./predictor --conf=/config/path/to/your/model --input_dir=/directory/of/your/input/images";
+        std::cout << "Usage: ./predictor --conf=/config/path/to/your/model "
+                  << "--input_dir=/directory/of/your/input/images" << std::endl;
         return -1;
     }
     // 1. create a predictor and init it with conf
     PaddleSolution::DetectionPredictor predictor;
     if (predictor.init(FLAGS_conf) != 0) {
+     #ifdef _WIN32
+        std::cerr << "Fail to init predictor" << std::endl;
+     #else
         LOG(FATAL) << "Fail to init predictor";
+     #endif
         return -1;
     }
 
     // 2. get all the images with extension '.jpeg' at input_dir
-    auto imgs = PaddleSolution::utils::get_directory_images(FLAGS_input_dir, ".jpeg|.jpg|.JPEG|.JPG|.bmp|.BMP|.png|.PNG");
+    auto imgs = PaddleSolution::utils::get_directory_images(FLAGS_input_dir,
+                                ".jpeg|.jpg|.JPEG|.JPG|.bmp|.BMP|.png|.PNG");
 
     // 3. predict
     predictor.predict(imgs);

diff --git a/inference/docs/configuration.md b/inference/docs/configuration.md
@@ -16,7 +16,7 @@
 
 ```yaml
 # 预测部署时所有配置字段需在DEPLOY字段下
-DEPLOY:
+DEPLOY: 
     # 类型：required int
     # 含义：是否使用GPU预测。 0:不使用  1:使用
     USE_GPU: 1
@@ -70,6 +70,6 @@ DEPLOY:
     # 含义: 输入张量的个数。大部分模型不需要设置。 默认值为1.
     FEEDS_SIZE: 2
     # 类型: optional int
-    # 含义: 将图像的边变为该字段的值的整数倍。默认值为1。
-    COARSEST_STRIDE: 32
-```
+    # 含义: 将图像的边变为该字段的值的整数倍。在使用fpn模型时需要设为32。默认值为1。
+    COARSEST_STRIDE: 32 
+```
diff --git a/inference/docs/linux_build.md b/inference/docs/linux_build.md
@@ -5,22 +5,30 @@
 
 ## 前置条件
 * G++ 4.8.2 ~ 4.9.4
-* CUDA 8.0/ CUDA 9.0
+* CUDA 9.0 / CUDA 10.0, cudnn 7+ （仅在使用GPU版本的预测库时需要）
 * CMake 3.0+
 
 请确保系统已经安装好上述基本软件，**下面所有示例以工作目录为 `/root/projects/`演示**。
 
 ### Step1: 下载代码
 
-1. `mkdir -p /root/projects/paddle_models && cd /root/projects/paddle_models`
-2. `git clone https://github.com/PaddlePaddle/models.git`
+1. `git clone https://github.com/PaddlePaddle/PaddleDetection.git`
 
-`C++`预测代码在`/root/projects/paddle_models/models/PaddleCV/PaddleDetection/inference` 目录，该目录不依赖任何`PaddleDetection`下其他目录。
+`C++`预测代码在`/root/projects/PaddleDetection/inference` 目录，该目录不依赖任何`PaddleDetection`下其他目录。
 
 
 ### Step2: 下载PaddlePaddle C++ 预测库 fluid_inference
 
-目前仅支持`CUDA 8` 和 `CUDA 9`，请点击 [PaddlePaddle预测库下载地址](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/advanced_usage/deploy/inference/build_and_install_lib_cn.html)下载对应的版本（develop版本）。
+PaddlePaddle C++ 预测库主要分为CPU版本和GPU版本。其中，针对不同的CUDA版本，GPU版本预测库又分为两个版本预测库：CUDA 9.0和CUDA 10.0版本预测库。以下为各版本C++预测库的下载链接：
+
+|  版本   | 链接  |
+|  ----  | ----  |
+| CPU版本  | [fluid_inference.tgz](https://bj.bcebos.com/paddlehub/paddle_inference_lib/fluid_inference_linux_cpu_1.6.1.tgz) |
+| CUDA 9.0版本  | [fluid_inference.tgz](https://bj.bcebos.com/paddlehub/paddle_inference_lib/fluid_inference_linux_cuda97_1.6.1.tgz) |
+| CUDA 10.0版本  | [fluid_inference.tgz](https://bj.bcebos.com/paddlehub/paddle_inference_lib/fluid_inference_linux_cuda10_1.6.1.tgz) |
+
+
+针对不同的CPU类型、不同的指令集，官方提供更多可用的预测库版本，目前已经推出1.6版本的预测库。其余版本具体请参考以下链接:[C++预测库下载列表](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/advanced_usage/deploy/inference/build_and_install_lib_cn.html)
 
 
 下载并解压后`/root/projects/fluid_inference`目录包含内容为：
@@ -53,25 +61,33 @@ make install
 
 ### Step4: 编译
 
-`CMake`编译时，涉及到四个编译参数用于指定核心依赖库的路径, 他们的定义如下:
+`CMake`编译时，涉及到四个编译参数用于指定核心依赖库的路径, 他们的定义如下:（带*表示仅在使用**GPU版本**预测库时指定，其中CUDA库版本尽量对齐，**使用9.0、10.0版本，不使用9.2、10.1版本CUDA库**）
 
 |  参数名   | 含义  |
 |  ----  | ----  |
-| CUDA_LIB  | cuda的库路径 |
-| CUDNN_LIB | cuDnn的库路径|
-| OPENCV_DIR  | OpenCV的安装路径， |
+| * CUDA_LIB  | CUDA的库路径 |
+| * CUDNN_LIB | cudnn的库路径|
+| OPENCV_DIR  | OpenCV的安装路径 |
 | PADDLE_DIR | Paddle预测库的路径 |
 
-执行下列操作时，**注意**把对应的参数改为你的上述依赖库实际路径：
+在使用**GPU版本**预测库进行编译时，可执行下列操作。**注意**把对应的参数改为你的上述依赖库实际路径：
 
 ```shell
-cd /root/projects/paddle_models/models/PaddleCV/PaddleDetection/inference
-
+cd /root/projects/PaddleDetection/inference
 mkdir build && cd build
-cmake .. -DWITH_GPU=ON  -DPADDLE_DIR=/root/projects/fluid_inference -DCUDA_LIB=/usr/local/cuda/lib64/ -DOPENCV_DIR=/root/projects/opencv3/ -DCUDNN_LIB=/usr/local/cuda/lib64/
+cmake .. -DWITH_GPU=ON  -DPADDLE_DIR=/root/projects/fluid_inference -DCUDA_LIB=/usr/local/cuda/lib64/ -DOPENCV_DIR=/root/projects/opencv3/ -DCUDNN_LIB=/usr/local/cuda/lib64/ -DWITH_STATIC_LIB=OFF
 make
 ```
 
+在使用**CPU版本**预测库进行编译时，可执行下列操作：
+
+```shell
+cd /root/projects/PaddleDetection/inference
+
+mkdir build && cd build
+cmake .. -DWITH_GPU=OFF  -DPADDLE_DIR=/root/projects/fluid_inference -DOPENCV_DIR=/root/projects/opencv3/ -DWITH_STATIC_LIB=OFF
+make
+```
 
 ### Step5: 预测及可视化
 

diff --git a/inference/docs/windows_vs2015_build.md b/inference/docs/windows_vs2015_build.md
@@ -5,27 +5,28 @@
 
 ## 前置条件
 * Visual Studio 2015
-* CUDA 8.0/ CUDA 9.0
+* CUDA 9.0 / CUDA 10.0，cudnn 7+ （仅在使用GPU版本的预测库时需要）
 * CMake 3.0+
 
 请确保系统已经安装好上述基本软件，**下面所有示例以工作目录为 `D:\projects`演示**。
 
 ### Step1: 下载代码
 
-1. 打开`cmd`, 执行 `cd D:\projects\paddle_models`
-2. `git clone https://github.com/PaddlePaddle/models.git`
+1. 打开`cmd`, 执行 `cd D:\projects`
+2. `git clone https://github.com/PaddlePaddle/PaddleDetection.git`
 
-`C++`预测库代码在`D:\projects\paddle_models\models\PaddleCV\PaddleDetection\inference` 目录，该目录不依赖任何`PaddleDetection`下其他目录。
+`C++`预测库代码在`D:\projects\PaddleDetection\inference` 目录，该目录不依赖任何`PaddleDetection`下其他目录。
 
 
 ### Step2: 下载PaddlePaddle C++ 预测库 fluid_inference
 
-根据Windows环境，下载相应版本的PaddlePaddle预测库，并解压到`D:\projects\`目录
+PaddlePaddle C++ 预测库主要分为两大版本：CPU版本和GPU版本。其中，针对不同的CUDA版本，GPU版本预测库又分为两个版本预测库：CUDA 9.0和CUDA 10.0版本预测库。根据Windows环境，下载相应版本的PaddlePaddle预测库，并解压到`D:\projects\`目录。以下为各版本C++预测库的下载链接：
 
-| CUDA | GPU | 下载地址 |
-|------|------|--------|
-| 8.0 | Yes | [fluid_inference.zip](https://bj.bcebos.com/v1/paddleseg/fluid_inference_win.zip) |
-| 9.0 | Yes | [fluid_inference_cuda90.zip](https://paddleseg.bj.bcebos.com/fluid_inference_cuda9_cudnn7.zip) |
+|  版本   | 链接  |
+|  ----  | ----  |
+| CPU版本  | [fluid_inference_install_dir.zip](https://bj.bcebos.com/paddlehub/paddle_inference_lib/fluid_install_dir_win_cpu_1.6.zip) |
+| CUDA 9.0版本  | [fluid_inference_install_dir.zip](https://bj.bcebos.com/paddlehub/paddle_inference_lib/fluid_inference_install_dir_win_cuda9_1.6.1.zip) |
+| CUDA 10.0版本  | [fluid_inference_install_dir.zip](https://bj.bcebos.com/paddlehub/paddle_inference_lib/fluid_inference_install_dir_win_cuda10_1.6.1.zip) |
 
 解压后`D:\projects\fluid_inference`目录包含内容为：
 ```
@@ -42,9 +43,9 @@ fluid_inference
 1. 在OpenCV官网下载适用于Windows平台的3.4.6版本， [下载地址](https://sourceforge.net/projects/opencvlibrary/files/3.4.6/opencv-3.4.6-vc14_vc15.exe/download)  
 2. 运行下载的可执行文件，将OpenCV解压至指定目录，如`D:\projects\opencv`  
 3. 配置环境变量，如下流程所示  
-    - 我的电脑->属性->高级系统设置->环境变量  
+	- 我的电脑->属性->高级系统设置->环境变量  
     - 在系统变量中找到Path（如没有，自行创建），并双击编辑  
-    - 新建，将opencv路径填入并保存，如`D:\projects\opencv\build\x64\vc14\bin`
+    - 新建，将opencv路径填入并保存，如`D:\projects\opencv\build\x64\vc14\bin` 
 
 ### Step4: 以VS2015为例编译代码
 
@@ -56,35 +57,52 @@ fluid_inference
 ```
 call "C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\vcvarsall.bat" amd64
 ```
+
+三个编译参数的含义说明如下（带*表示仅在使用**GPU版本**预测库时指定, 其中CUDA库版本尽量对齐，**使用9.0、10.0版本，不使用9.2、10.1等版本CUDA库**）：
 
-* CMAKE编译工程
-    * PADDLE_DIR: fluid_inference预测库路径
-    * CUDA_LIB: CUDA动态库目录, 请根据实际安装情况调整
-    * OPENCV_DIR: OpenCV解压目录
+|  参数名   | 含义  |
+|  ----  | ----  |
+| *CUDA_LIB  | CUDA的库路径 |
+| OPENCV_DIR  | OpenCV的安装路径， |
+| PADDLE_DIR | Paddle预测库的路径 |
 
+在使用**GPU版本**预测库进行编译时，可执行下列操作。**注意**把对应的参数改为你的上述依赖库实际路径：
+
+```bash
+# 切换到预测库所在目录
+cd /d D:\projects\PaddleDetection\inference
+# 创建构建目录, 重新构建只需要删除该目录即可
+mkdir build
+cd build
+# cmake构建VS项目
+D:\projects\PaddleDetection\inference\build> cmake .. -G "Visual Studio 14 2015 Win64" -DWITH_GPU=ON -DPADDLE_DIR=D:\projects\fluid_inference -DCUDA_LIB=D:\projects\cudalib\v9.0\lib\x64 -DOPENCV_DIR=D:\projects\opencv -T host=x64
 ```
+
+在使用**CPU版本**预测库进行编译时，可执行下列操作：
+```bash
 # 切换到预测库所在目录
-cd /d D:\projects\paddle_models\models\PaddleCV\PaddleDetection\inference
+cd /d D:\projects\PaddleDetection\inference
 # 创建构建目录, 重新构建只需要删除该目录即可
 mkdir build
 cd build
 # cmake构建VS项目
-D:\projects\paddle_models\models\PaddleCV\PaddleDetection\inference\build> cmake .. -G "Visual Studio 14 2015 Win64" -DWITH_GPU=ON -DPADDLE_DIR=D:\projects\fluid_inference -DCUDA_LIB=D:\projects\cudalib\v9.0\lib\x64 -DOPENCV_DIR=D:\projects\opencv -T host=x64
+D:\projects\PaddleDetection\inference\build> cmake .. -G "Visual Studio 14 2015 Win64" -DWITH_GPU=OFF -DPADDLE_DIR=D:\projects\fluid_inference -DOPENCV_DIR=D:\projects\opencv -T host=x64
 ```
 
+
 这里的`cmake`参数`-G`, 表示生成对应的VS版本的工程，可以根据自己的`VS`版本调整，具体请参考[cmake文档](https://cmake.org/cmake/help/v3.15/manual/cmake-generators.7.html)
 
 * 生成可执行文件
 
 ```
-D:\projects\paddle_models\models\PaddleCV\PaddleDetection\inference\build> msbuild /m /p:Configuration=Release cpp_inference_demo.sln
+D:\projects\PaddleDetection\inference\build> msbuild /m /p:Configuration=Release cpp_inference_demo.sln
 ```
 
 ### Step5: 预测及可视化
 
 上述`Visual Studio 2015`编译产出的可执行文件在`build\release`目录下，切换到该目录：
 ```
-cd /d D:\projects\paddle_models\models\PaddleCV\PaddleDetection\inference\build\release
+cd /d D:\projects\PaddleDetection\inference\build\release
 ```
 
 之后执行命令：
@@ -93,4 +111,4 @@ cd /d D:\projects\paddle_models\models\PaddleCV\PaddleDetection\inference\build\
 detection_demo.exe --conf=/path/to/your/conf --input_dir=/path/to/your/input/data/directory
 ```
 
-更详细说明请参考ReadMe文档： [预测和可视化部分](../README.md)
+更详细说明请参考ReadMe文档： [预测和可视化部分](../README.md)