|
|
@@ -40,7 +40,7 @@ PaddlePaddle C++ 预测库针对不同的`CPU`，`CUDA`，以及是否支持Tens
|
|
|
|
|
|
更多和更新的版本，请根据实际情况下载: [C++预测库下载列表](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/advanced_guide/inference_deployment/inference/windows_cpp_inference.html)
|
|
|
|
|
|
-解压后`D:\projects\fluid_inference*\`目录下主要包含的内容为：
|
|
|
+解压后`D:\projects\fluid_inference\`目录下主要包含的内容为：
|
|
|
```
|
|
|
├── \paddle\ # paddle核心库和头文件
|
|
|
|
|
|
|
@@ -61,23 +61,16 @@ PaddlePaddle C++ 预测库针对不同的`CPU`，`CUDA`，以及是否支持Tens
|
|
|
### Step4: 使用Visual Studio 2019直接编译CMake
|
|
|
|
|
|
1. 打开Visual Studio 2019 Community，点击`继续但无需代码`
|
|
|
-
|
|
|
|
|
|
-
|
|
|
2. 点击： `文件`->`打开`->`CMake`
|
|
|
|
|
|
|
|
|
|
|
|
选择项目代码所在路径，并打开`CMakeList.txt`：
|
|
|
-
|
|
|
|
|
|
-
|
|
|
3. 点击：`项目`->`CMake设置`
|
|
|
-
|
|
|
|
|
|
-
|
|
|
4. 点击`浏览`，分别设置编译选项指定`CUDA`、`OpenCV`、`Paddle预测库`的路径
|
|
|
-
|
|
|
|
|
|
|
|
|
依赖库路径的含义说明如下（带*表示仅在使用**GPU版本**预测库时指定, 其中CUDA库版本尽量对齐，**使用9.0、10.0版本，不使用9.2、10.1等版本CUDA库**）：
|
|
|
@@ -90,29 +83,19 @@ PaddlePaddle C++ 预测库针对不同的`CPU`，`CUDA`，以及是否支持Tens
|
|
|
|
|
|
**注意：**
|
|
|
1. 使用`CPU`版预测库，请把`WITH_GPU`的`值`去掉勾
|
|
|
-
|
|
|
2. 如果使用的是`openblas`版本，请把`WITH_MKL`的`值`去掉勾
|
|
|
-
|
|
|
3. Windows环境下编译会自动下载YAML，如果编译环境无法访问外网，可手动下载： [yaml-cpp.zip](https://bj.bcebos.com/paddlex/deploy/deps/yaml-cpp.zip)
|
|
|
-
|
|
|
yaml-cpp.zip文件下载后无需解压，在cmake/yaml.cmake中将`URL https://bj.bcebos.com/paddlex/deploy/deps/yaml-cpp.zip` 中的网址，改为下载文件的路径。
|
|
|
-
|
|
|
-4. 如果需要使用模型加密功能，需要手动下载[Windows预测模型加密工具](https://bj.bcebos.com/paddlex/tools/win/paddlex-encryption.zip)，解压到某目录\\path\\to\\paddlex-encryption。编译时需勾选WITH_EBNCRYPTION并且在ENCRTYPTION_DIR填入\\path\\to\\paddlex-encryption。
|
|
|
-
|
|
|
+4. 如果需要使用模型加密功能，需要手动下载[Windows预测模型加密工具](https://bj.bcebos.com/paddlex/tools/win/paddlex-encryption.zip)，解压到D:/projects。解压后目录为D:/projects/paddlex-encryption。编译时需勾选WITH_EBNCRYPTION并且在ENCRTYPTION_DIR填入D:/projects/paddlex-encryption。
|
|
|
|
|
|
-
|
|
|
|
|
|
-
|
|
|
**设置完成后**, 点击上图中`保存并生成CMake缓存以加载变量`。
|
|
|
-
|
|
|
5. 点击`生成`->`全部生成`
|
|
|
|
|
|
|
|
|
|
|
|
-
|
|
|
### Step5: 预测及可视化
|
|
|
|
|
|
-
|
|
|
**在加载模型前，请检查你的模型目录中文件应该包括`model.yml`、`__model__`和`__params__`三个文件。如若不满足这个条件，请参考[模型导出为Inference文档](../deploy_python.html#inference)将模型导出为部署格式。**
|
|
|
|
|
|
**注意：由于PaddleX代码的持续更新，版本低于1.0.0的模型（模型版本可查看model.yml文件中的version字段）暂时无法直接用于预测部署，参考[模型版本升级](../../upgrade_version.md)对模型版本进行升级。**
|
|
|
@@ -124,7 +107,7 @@ d:
|
|
|
cd D:\projects\PaddleX\deploy\cpp\out\build\x64-Release
|
|
|
```
|
|
|
|
|
|
-编译成功后，预测demo的入口程序为`paddlex_inference\detector.exe`，`paddlex_inference\classifer.exe`，`paddlex_inference\segmenter.exe`，用户可根据自己的模型类型选择，其主要命令参数说明如下：
|
|
|
+编译成功后，预测demo的入口程序为`paddlex_inference\detector.exe`，`paddlex_inference\classifier.exe`，`paddlex_inference\segmenter.exe`，用户可根据自己的模型类型选择，其主要命令参数说明如下：
|
|
|
|
|
|
| 参数 | 说明 |
|
|
|
| ---- | ---- |
|
|
|
@@ -134,18 +117,20 @@ cd D:\projects\PaddleX\deploy\cpp\out\build\x64-Release
|
|
|
| use_gpu | 是否使用 GPU 预测, 支持值为0或1(默认值为0) |
|
|
|
| gpu_id | GPU 设备ID, 默认值为0 |
|
|
|
| save_dir | 保存可视化结果的路径, 默认值为"output"，classfier无该参数 |
|
|
|
-
|
|
|
+| key | 加密过程中产生的密钥信息，默认值为""表示加载的是未加密的模型 |
|
|
|
+| batch_size | 预测的批量大小，默认为1 |
|
|
|
+| thread_num | 预测的线程数，默认为cpu处理器个数 |
|
|
|
|
|
|
## 样例
|
|
|
|
|
|
-可使用[小度熊识别模型](../deploy_python.md)中导出的`inference_model`和测试图片进行预测。
|
|
|
+可使用[小度熊识别模型](../deploy_python.md)中导出的`inference_model`和测试图片进行预测, 导出到D:/projects，模型路径为D:/projects/inference_model。
|
|
|
|
|
|
`样例一`：
|
|
|
|
|
|
-不使用`GPU`测试图片 `\\path\\to\\xiaoduxiong.jpeg`
|
|
|
+不使用`GPU`测试图片 `D:\\images\\xiaoduxiong.jpeg`
|
|
|
|
|
|
```shell
|
|
|
-.\\paddlex_inference\\detector.exe --model_dir=\\path\\to\\inference_model --image=D:\\images\\xiaoduxiong.jpeg --save_dir=output
|
|
|
+.\\paddlex_inference\\detector.exe --model_dir=D:\\projects\\inference_model --image=D:\\images\\xiaoduxiong.jpeg --save_dir=output
|
|
|
|
|
|
```
|
|
|
图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。
|
|
|
@@ -153,14 +138,14 @@ cd D:\projects\PaddleX\deploy\cpp\out\build\x64-Release
|
|
|
|
|
|
`样例二`:
|
|
|
|
|
|
-使用`GPU`预测多个图片`\\path\\to\\image_list.txt`，image_list.txt内容的格式如下：
|
|
|
+使用`GPU`预测多个图片`D:\\images\\image_list.txt`，image_list.txt内容的格式如下：
|
|
|
```
|
|
|
-\\path\\to\\images\\xiaoduxiong1.jpeg
|
|
|
-\\path\\to\\images\\xiaoduxiong2.jpeg
|
|
|
+D:\\images\\xiaoduxiong1.jpeg
|
|
|
+D:\\images\\xiaoduxiong2.jpeg
|
|
|
...
|
|
|
-\\path\\to\\images\\xiaoduxiongn.jpeg
|
|
|
+D:\\images\\xiaoduxiongn.jpeg
|
|
|
```
|
|
|
```shell
|
|
|
-.\\paddlex_inference\\detector.exe --model_dir=\\path\\to\\inference_model --image_list=\\path\\to\\images_list.txt --use_gpu=1 --save_dir=output
|
|
|
+.\\paddlex_inference\\detector.exe --model_dir=D:\\projects\\inference_model --image_list=D:\\images\\image_list.txt --use_gpu=1 --save_dir=output --batch_size=2 --thread_num=2
|
|
|
```
|
|
|
图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。
|
Jason