deploy_cpp_linux.md 4.0 KB

Linux平台编译指南

说明

本文档在 Linux平台使用GCC 4.8.5GCC 4.9.4测试过,如果需要使用更高G++版本编译使用,则需要重新编译Paddle预测库,请参考: 从源码编译Paddle预测库

前置条件

  • G++ 4.8.2 ~ 4.9.4
  • CUDA 9.0 / CUDA 10.0, CUDNN 7+ (仅在使用GPU版本的预测库时需要)
  • CMake 3.0+

请确保系统已经安装好上述基本软件,下面所有示例以工作目录 /root/projects/演示

Step1: 下载代码

git clone https://github.com/PaddlePaddle/PaddleX.git

说明:其中C++预测代码在/root/projects/PaddleX/deploy/cpp 目录,该目录不依赖任何PaddleX下其他目录。

Step2: 下载PaddlePaddle C++ 预测库 fluid_inference

PaddlePaddle C++ 预测库针对不同的CPUCUDA,以及是否支持TensorRT,提供了不同的预编译版本,请根据实际情况下载: C++预测库下载列表

下载并解压后/root/projects/fluid_inference目录包含内容为:

fluid_inference
├── paddle # paddle核心库和头文件
|
├── third_party # 第三方依赖库和头文件
|
└── version.txt # 版本和编译信息

注意: 预编译版本除nv-jetson-cuda10-cudnn7.5-trt5 以外其它包都是基于GCC 4.8.5编译,使用高版本GCC可能存在 ABI兼容性问题,建议降级或自行编译预测库

Step4: 编译

编译cmake的命令在scripts/build.sh中,请根据实际情况修改主要参数,其主要内容说明如下:

# 是否使用GPU(即是否使用 CUDA)
WITH_GPU=ON
# 是否集成 TensorRT(仅WITH_GPU=ON 有效)
WITH_TENSORRT=OFF
# 上一步下载的 Paddle 预测库路径
PADDLE_DIR=/root/projects/deps/fluid_inference/
# OPENCV 路径, 如果使用自带预编译版本可不设置
OPENCV_DIR=$(pwd)/deps/opencv346/
# CUDA 的 lib 路径
CUDA_LIB=/usr/local/cuda/lib64/
# CUDNN 的 lib 路径
CUDNN_LIB=/usr/local/cuda/lib64/

# 以下无需改动

sh $(pwd)/scripts/bootstrap.sh
rm -rf build
mkdir -p build
cd build
cmake .. \
    -DWITH_GPU=${WITH_GPU} \
    -DWITH_TENSORRT=${WITH_TENSORRT} \
    -DPADDLE_DIR=${PADDLE_DIR} \
    -DCUDA_LIB=${CUDA_LIB} \
    -DCUDNN_LIB=${CUDNN_LIB} \
    -DOPENCV_DIR=${OPENCV_DIR}
make

修改脚本设置好主要参数后,执行build脚本:

 sh ./scripts/build.sh

Step5: 预测及可视化

编译成功后,预测demo的入口程序为build/detectorbuild/classiferbuild/segmenter,其主要命令参数说明如下:

参数 说明
model_dir 导出的预测模型所在路径
image 要预测的图片文件路径
image_list 按行存储图片路径的.txt文件
use_gpu 是否使用 GPU 预测, 支持值为0或1(默认值为0)
gpu_id GPU 设备ID, 默认值为0
save_dir 保存可视化结果的路径, 默认值为"output",classfier无该参数

样例一

不使用GPU测试图片 /root/projects/images/test.jpeg

./build/detector --model_dir=/root/projects/models/yolov3_darknet --image=/root/projects/images/test.jpeg

图片文件可视化预测结果会保存在save_dir参数设置的目录下。

样例二:

使用GPU预测多个图片/root/projects/image_list.txt,image_list.txt内容的格式如下:

/root/projects/images/test.jpeg
/root/projects/images/test1.jpeg
...
/root/projects/images/testn.jpeg
./build/detector --model_dir=/root/projects/models/yolov3_darknet --image_list=/root/projects/images_list.txt --use_gpu=1

图片文件可视化预测结果会保存在save_dir参数设置的目录下。