首頁 探索 說明
註冊 登入
zhengchun
/
PaddleX
1
0
複刻 0
檔案 問題管理 0 合併請求 0 Wiki
目錄樹: f4f8b31b76
分支列表 標籤列表
PaddleX
/
deploy
/
cpp
/
docs
/
compile
/
paddle
/
linux.md

linux.md 6.2 KB
文件歷史 原始文件

基于PaddleInference的推理-Linux环境编译

本文档指引用户如何基于PaddleInference对飞桨模型进行推理，并编译执行。

环境依赖

gcc >= 5.4.0 cmake >= 3.5.1

Ubuntu 16.04/18.04

编译步骤

Step1: 获取部署代码

git clone https://github.com/PaddlePaddle/PaddleX.git
cd PaddleX/deploy/cpp

说明：C++预测代码在PaddleX/deploy/cpp 目录，该目录不依赖任何PaddleX下其他目录。所有的公共实现代码在model_deploy目录下，所有示例代码都在demo目录下。

Step 2. 下载PaddlePaddle C++ 预测库

PaddlePaddle C++ 预测库针对是否使用GPU、是否支持TensorRT、以及不同的CUDA版本提供了已经编译好的预测库，目前PaddleX支持Paddle预测库2.0+，最新2.1版本下载链接如下所示:

版本说明 预测库(2.1) 编译器
CPU版本 paddle_inference.tgz gcc 8.2
GPU版本（CUDA10.1/CUDNN7.6/TensorRT6） paddle_inference.tgz gcc 8.2
GPU版本（CUDA10.2/CUDNN8/TensorRT7） paddle_inference.tgz gcc 8.2
GPU版本（CUDA11/CUDNN8/TensorRT7） paddle_inference.tgz gcc 8.2

请根据实际情况选择下载，如若以上版本不满足您的需求，请至C++预测库下载列表选择符合的版本。

将预测库解压后，其所在目录（例如解压至PaddleX/deploy/cpp/paddle_inference/）下主要包含的内容有：

├── paddle/ # paddle核心库和头文件
|
├── third_party # 第三方依赖库和头文件
|
└── version.txt # 版本和编译信息(里边有编译时gcc、cuda、cudnn的版本信息)

Step 3. 修改编译参数

根据自己的系统环境，修改`PaddleX/deploy/cpp/

/build.sh脚本中的参数，主要修改的参数为以下几个 | 参数 | 说明 | | :------------ | :----------------------------------------------------------------------------------- | | WITH_GPU | ON或OFF，表示是否使用GPU，当下载的为CPU预测库时，设为OFF | | PADDLE_DIR | 预测库所在路径，默认为PaddleX/deploy/cpp/paddle_inference目录下 | | CUDA_LIB | cuda相关lib文件所在的目录路径 | | CUDNN_LIB | cudnn相关lib文件所在的目录路径 | | WITH_TENSORRT | ON或OFF，表示是否使用开启TensorRT | | TENSORRT_DIR | TensorRT 的路径，如果开启TensorRT开关WITH_TENSORRT，需修改为您实际安装的TensorRT路径 | | WITH_ENCRYPTION | ON或OFF，表示是否开启加密模块 | | OPENSSL_DIR | OPENSSL所在路径，解密所需。默认为PaddleX/deploy/cpp/deps/penssl-1.1.0k`目录下 |

Step 4. 编译

修改完build.sh后执行编译:

sh scripts/build.sh

[注意]:

  • 以上命令在PaddleX/deploy/cpp目录下进行执行
  • opencv依赖libopenblas-dev，如未安装会导致编译失败，可执行apt-get install libopenblas-dev进行安装（以ubuntu为例）

编译环境无法联网导致编译失败？

编译过程，会调用scripts/bootstrap.sh联网下载opencv、openssl，以及yaml依赖包，如无法联网，用户按照下操作手动下载

  1. 根据系统版本，点击右侧链接下载不同版本的opencv依赖 Ubuntu 16.04/Ubuntu 18.04
  2. 解压下载的opencv依赖（解压后目录名为opencv3.4.6gcc4.8ffmpeg)，创建目录PaddleX/deploy/cpp/deps，将解压后的目录拷贝至该创建的目录下
  3. 点击下载yaml依赖包，无需解压
  4. 修改PaddleX/deploy/cpp/cmake/yaml.cmake文件，将URL https://bj.bcebos.com/paddlex/deploy/deps/yaml-cpp.zip中网址替换为第3步中下载的路径，如改为URL /Users/Download/yaml-cpp.zip
  5. 如果开启加密，点击下载openssl,将解压后的目录拷贝至跟opencv同级目录，即PaddleX/deploy/cpp/deps目录。
  6. 重新执行sh script/build.sh即可编译

Step 5. 编译结果

编译后会在PaddleX/deploy/cpp/build/demo目录下生成model_infer、multi_gpu_model_infer和batch_infer等几个可执行二进制文件示例，分别用于在单卡/多卡/多batch上加载模型进行预测，示例使用参考如下文档：

如果编译时开启TensorRT， 会多成一个tensorrt_infer二进制文件示例。示例使用参考如下文档：

如果编译时开启加密， 会多成一个decrypt_infer二进制文件示例。示例使用参考如下文档：

其它文档