|
|
@@ -10,11 +10,10 @@ Windows 平台下,我们使用`Visual Studio 2019 Community` 进行了测试
|
|
|
|
|
|
请确保系统已经安装好上述基本软件,我们使用的是`VS2019`的社区版。
|
|
|
|
|
|
-**下面所有示例以工作目录为 `D:\projects`演示**。
|
|
|
+**下面所有示例以工作目录为 `D:\projects`演示。**
|
|
|
|
|
|
-### Step1: 下载代码
|
|
|
+### Step1: 下载PaddleX预测代码
|
|
|
|
|
|
-下载源代码
|
|
|
```shell
|
|
|
d:
|
|
|
mkdir projects
|
|
|
@@ -22,12 +21,12 @@ cd projects
|
|
|
git clone https://github.com/PaddlePaddle/PaddleX.git
|
|
|
```
|
|
|
|
|
|
-**说明**:其中`C++`预测代码在`PaddleX/deploy/cpp` 目录,该目录不依赖任何`PaddleX`下其他目录。
|
|
|
+**说明**:其中`C++`预测代码在`PaddleX\deploy\cpp` 目录,该目录不依赖任何`PaddleX`下其他目录。
|
|
|
|
|
|
|
|
|
### Step2: 下载PaddlePaddle C++ 预测库 fluid_inference
|
|
|
|
|
|
-PaddlePaddle C++ 预测库针对不同的`CPU`,`CUDA`,以及是否支持TensorRT,提供了不同的预编译版本,目前PaddleX依赖于Paddle1.8版本,以下提供了多个不同版本的Paddle预测库:
|
|
|
+PaddlePaddle C++ 预测库针对是否使用GPU、是否支持TensorRT、以及不同的CUDA版本提供了已经编译好的预测库,目前PaddleX依赖于Paddle 1.8,基于Paddle 1.8的Paddle预测库下载链接如下所示:
|
|
|
|
|
|
| 版本说明 | 预测库(1.8.2版本) | 编译器 | 构建工具| cuDNN | CUDA |
|
|
|
| ---- | ---- | ---- | ---- | ---- | ---- |
|
|
|
@@ -37,10 +36,9 @@ PaddlePaddle C++ 预测库针对不同的`CPU`,`CUDA`,以及是否支持Tens
|
|
|
| cuda9.0_cudnn7_avx_openblas | [fluid_inference.zip](https://paddle-wheel.bj.bcebos.com/1.8.2/win-infer/open/post97/fluid_inference_install_dir.zip) | MSVC 2015 update 3 | CMake v3.16.0 | 7.4.1 | 9.0 |
|
|
|
| cuda10.0_cudnn7_avx_mkl | [fluid_inference.zip](https://paddle-wheel.bj.bcebos.com/1.8.2/win-infer/mkl/post107/fluid_inference_install_dir.zip) | MSVC 2015 update 3 | CMake v3.16.0 | 7.5.0 | 9.0 |
|
|
|
|
|
|
+请根据实际情况选择下载,如若以上版本不满足您的需求,请至[C++预测库下载列表](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/advanced_guide/inference_deployment/inference/windows_cpp_inference.html)选择符合的版本。
|
|
|
|
|
|
-更多和更新的版本,请根据实际情况下载: [C++预测库下载列表](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/advanced_guide/inference_deployment/inference/windows_cpp_inference.html)
|
|
|
-
|
|
|
-解压后`D:\projects\fluid_inference\`目录下主要包含的内容为:
|
|
|
+将预测库解压后,其所在目录(例如`D:\projects\fluid_inference\`)下主要包含的内容有:
|
|
|
```
|
|
|
├── \paddle\ # paddle核心库和头文件
|
|
|
|
|
|
|
@@ -52,7 +50,7 @@ PaddlePaddle C++ 预测库针对不同的`CPU`,`CUDA`,以及是否支持Tens
|
|
|
### Step3: 安装配置OpenCV
|
|
|
|
|
|
1. 在OpenCV官网下载适用于Windows平台的3.4.6版本, [下载地址](https://sourceforge.net/projects/opencvlibrary/files/3.4.6/opencv-3.4.6-vc14_vc15.exe/download)
|
|
|
-2. 运行下载的可执行文件,将OpenCV解压至指定目录,如`D:\projects\opencv`
|
|
|
+2. 运行下载的可执行文件,将OpenCV解压至指定目录,例如`D:\projects\opencv`
|
|
|
3. 配置环境变量,如下流程所示
|
|
|
- 我的电脑->属性->高级系统设置->环境变量
|
|
|
- 在系统变量中找到Path(如没有,自行创建),并双击编辑
|
|
|
@@ -66,14 +64,14 @@ PaddlePaddle C++ 预测库针对不同的`CPU`,`CUDA`,以及是否支持Tens
|
|
|
|
|
|

|
|
|
|
|
|
-选择项目代码所在路径,并打开`CMakeList.txt`:
|
|
|
+选择C++预测代码所在路径(例如`D:\projects\PaddleX\deploy\cpp`),并打开`CMakeList.txt`:
|
|
|

|
|
|
3. 点击:`项目`->`CMake设置`
|
|
|

|
|
|
4. 点击`浏览`,分别设置编译选项指定`CUDA`、`OpenCV`、`Paddle预测库`的路径
|
|
|

|
|
|
|
|
|
-依赖库路径的含义说明如下(带*表示仅在使用**GPU版本**预测库时指定, 其中CUDA库版本尽量对齐,**使用9.0、10.0版本,不使用9.2、10.1等版本CUDA库**):
|
|
|
+依赖库路径的含义说明如下(带*表示仅在使用**GPU版本**预测库时指定, 其中CUDA库版本尽量与Paddle预测库的对齐,例如Paddle预测库是**使用9.0、10.0版本**编译的,则编译PaddleX预测代码时**不使用9.2、10.1等版本**CUDA库):
|
|
|
|
|
|
| 参数名 | 含义 |
|
|
|
| ---- | ---- |
|
|
|
@@ -82,11 +80,11 @@ PaddlePaddle C++ 预测库针对不同的`CPU`,`CUDA`,以及是否支持Tens
|
|
|
| PADDLE_DIR | Paddle c++预测库的路径 |
|
|
|
|
|
|
**注意:**
|
|
|
-1. 使用`CPU`版预测库,请把`WITH_GPU`的`值`去掉勾
|
|
|
+1. 如果使用`CPU`版预测库,请把`WITH_GPU`的`值`去掉勾
|
|
|
2. 如果使用的是`openblas`版本,请把`WITH_MKL`的`值`去掉勾
|
|
|
3. Windows环境下编译会自动下载YAML,如果编译环境无法访问外网,可手动下载: [yaml-cpp.zip](https://bj.bcebos.com/paddlex/deploy/deps/yaml-cpp.zip)
|
|
|
yaml-cpp.zip文件下载后无需解压,在cmake/yaml.cmake中将`URL https://bj.bcebos.com/paddlex/deploy/deps/yaml-cpp.zip` 中的网址,改为下载文件的路径。
|
|
|
-4. 如果需要使用模型加密功能,需要手动下载[Windows预测模型加密工具](https://bj.bcebos.com/paddlex/tools/win/paddlex-encryption.zip),解压到D:/projects。解压后目录为D:/projects/paddlex-encryption。编译时需勾选WITH_EBNCRYPTION并且在ENCRTYPTION_DIR填入D:/projects/paddlex-encryption。
|
|
|
+4. 如果需要使用模型加密功能,需要手动下载[Windows预测模型加密工具](https://bj.bcebos.com/paddlex/tools/win/paddlex-encryption.zip)。例如解压到D:/projects,解压后目录为D:/projects/paddlex-encryption。编译时需勾选WITH_EBNCRYPTION并且在ENCRTYPTION_DIR填入D:/projects/paddlex-encryption。
|
|
|

|
|
|

|
|
|
**设置完成后**, 点击上图中`保存并生成CMake缓存以加载变量`。
|
|
|
@@ -123,29 +121,39 @@ cd D:\projects\PaddleX\deploy\cpp\out\build\x64-Release
|
|
|
|
|
|
## 样例
|
|
|
|
|
|
-可使用[小度熊识别模型](../deploy_python.md)中导出的`inference_model`和测试图片进行预测, 导出到D:/projects,模型路径为D:/projects/inference_model。
|
|
|
+可使用[小度熊识别模型](../deploy_python.md)中导出的`inference_model`和测试图片进行预测, 例如导出到D:\projects,模型路径为D:\projects\inference_model。
|
|
|
|
|
|
-`样例一`:
|
|
|
+### 样例一:(使用未加密的模型对单张图像做预测)
|
|
|
|
|
|
-不使用`GPU`测试图片 `D:\\images\\xiaoduxiong.jpeg`
|
|
|
+不使用`GPU`测试图片 `D:\images\xiaoduxiong.jpeg`
|
|
|
|
|
|
-```shell
|
|
|
-.\\paddlex_inference\\detector.exe --model_dir=D:\\projects\\inference_model --image=D:\\images\\xiaoduxiong.jpeg --save_dir=output
|
|
|
+```
|
|
|
+.\paddlex_inference\detector.exe --model_dir=D:\projects\inference_model --image=D:\images\xiaoduxiong.jpeg --save_dir=output
|
|
|
|
|
|
```
|
|
|
图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。
|
|
|
|
|
|
|
|
|
-`样例二`:
|
|
|
+### 样例二:(使用未加密的模型对图像列表做预测)
|
|
|
|
|
|
-使用`GPU`预测多个图片`D:\\images\\image_list.txt`,image_list.txt内容的格式如下:
|
|
|
+使用`GPU`预测多个图片`D:\images\image_list.txt`,image_list.txt内容的格式如下:
|
|
|
```
|
|
|
-D:\\images\\xiaoduxiong1.jpeg
|
|
|
-D:\\images\\xiaoduxiong2.jpeg
|
|
|
+D:\images\xiaoduxiong1.jpeg
|
|
|
+D:\images\xiaoduxiong2.jpeg
|
|
|
...
|
|
|
-D:\\images\\xiaoduxiongn.jpeg
|
|
|
+D:\images\xiaoduxiongn.jpeg
|
|
|
```
|
|
|
-```shell
|
|
|
-.\\paddlex_inference\\detector.exe --model_dir=D:\\projects\\inference_model --image_list=D:\\images\\image_list.txt --use_gpu=1 --save_dir=output --batch_size=2 --thread_num=2
|
|
|
+```
|
|
|
+.\paddlex_inference\detector.exe --model_dir=D:\projects\inference_model --image_list=D:\images\image_list.txt --use_gpu=1 --save_dir=output --batch_size=2 --thread_num=2
|
|
|
```
|
|
|
图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。
|
|
|
+
|
|
|
+### 样例三:(使用加密后的模型对单张图片进行预测)
|
|
|
+
|
|
|
+如果未对模型进行加密,请参考[加密PaddleX模型](../encryption.html#paddlex)对模型进行加密。例如加密后的模型所在目录为`D:\projects\encrypted_inference_model`。
|
|
|
+
|
|
|
+```
|
|
|
+.\paddlex_inference\detector.exe --model_dir=D:\projects\encrypted_inference_model --image=D:\images\xiaoduxiong.jpeg --save_dir=output --key=kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c=
|
|
|
+```
|
|
|
+
|
|
|
+`--key`传入加密工具输出的密钥,例如`kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c=`, 图片文件可视化预测结果会保存在`save_dir`参数设置的目录下。
|