|
|
@@ -60,20 +60,23 @@ PaddlePaddle C++ 预测库针对是否使用GPU、是否支持TensorRT、以及
|
|
|
|
|
|
1. 打开Visual Studio 2019 Community,点击`继续但无需代码`
|
|
|
|
|
|
-
|
|
|
+
|
|
|
+
|
|
|
2. 点击: `文件`->`打开`->`CMake`
|
|
|
|
|
|
-
|
|
|
+
|
|
|
|
|
|
选择C++预测代码所在路径(例如`D:\projects\PaddleX\deploy\cpp`),并打开`CMakeList.txt`:
|
|
|
|
|
|
-
|
|
|
+
|
|
|
+
|
|
|
3. 点击:`项目`->`CMake设置`
|
|
|
|
|
|
-
|
|
|
+
|
|
|
+
|
|
|
4. 点击`浏览`,分别设置编译选项指定`CUDA`、`OpenCV`、`Paddle预测库`的路径
|
|
|
|
|
|
-
|
|
|
+
|
|
|
|
|
|
依赖库路径的含义说明如下(带*表示仅在使用**GPU版本**预测库时指定, 其中CUDA库版本尽量与Paddle预测库的对齐,例如Paddle预测库是**使用9.0、10.0版本**编译的,则编译PaddleX预测代码时**不使用9.2、10.1等版本**CUDA库):
|
|
|
|
|
|
@@ -86,14 +89,10 @@ PaddlePaddle C++ 预测库针对是否使用GPU、是否支持TensorRT、以及
|
|
|
**注意:**
|
|
|
1. 如果使用`CPU`版预测库,请把`WITH_GPU`的`值`去掉勾
|
|
|
2. 如果使用的是`openblas`版本,请把`WITH_MKL`的`值`去掉勾
|
|
|
-3. Windows环境下编译会自动下载YAML,如果编译环境无法访问外网,可手动下载: [yaml-cpp.zip](https://bj.bcebos.com/paddlex/deploy/deps/yaml-cpp.zip)
|
|
|
-yaml-cpp.zip文件下载后无需解压,在cmake/yaml.cmake中将`URL https://bj.bcebos.com/paddlex/deploy/deps/yaml-cpp.zip` 中的网址,改为下载文件的路径。
|
|
|
-4. 如果需要使用模型加密功能,需要手动下载[Windows预测模型加密工具](https://bj.bcebos.com/paddlex/tools/win/paddlex-encryption.zip)。例如解压到D:/projects,解压后目录为D:/projects/paddlex-encryption。编译时需勾选WITH_EBNCRYPTION并且在ENCRTYPTION_DIR填入D:/projects/paddlex-encryption。
|
|
|
-
|
|
|
-
|
|
|
-
|
|
|
-
|
|
|
-
|
|
|
+3. Windows环境下编译会自动下载YAML,如果编译环境无法访问外网,可手动下载: [yaml-cpp.zip](https://bj.bcebos.com/paddlex/deploy/deps/yaml-cpp.zip)。YAML文件下载后无需解压,在`cmake/yaml.cmake`中将`URL https://bj.bcebos.com/paddlex/deploy/deps/yaml-cpp.zip` 中的网址,改为下载文件的路径。
|
|
|
+4. 如果需要使用模型加密功能,需要手动下载[Windows预测模型加密工具](https://bj.bcebos.com/paddlex/tools/win/paddlex-encryption.zip)。例如解压到`D:/projects`,解压后目录为`D:/projects/paddlex-encryption`。编译时需勾选`WITH_EBNCRYPTION`并且在`ENCRTYPTION_DIR`填入`D:/projects/paddlex-encryption`。
|
|
|
+
|
|
|
+
|
|
|
**设置完成后**, 点击上图中`保存并生成CMake缓存以加载变量`。
|
|
|
5. 点击`生成`->`全部生成`
|
|
|
|
|
|
@@ -101,7 +100,7 @@ yaml-cpp.zip文件下载后无需解压,在cmake/yaml.cmake中将`URL https://
|
|
|
|
|
|
### Step5: 预测及可视化
|
|
|
|
|
|
-**在加载模型前,请检查你的模型目录中文件应该包括`model.yml`、`__model__`和`__params__`三个文件。如若不满足这个条件,请参考[模型导出为Inference文档](../../export_model.md)将模型导出为部署格式。**
|
|
|
+**在加载模型前,请检查你的模型目录中文件应该包括`model.yml`、`__model__`和`__params__`三个文件。如若不满足这个条件,请参考[部署模型导出](../../export_model.md)将模型导出为部署格式。**
|
|
|
|
|
|
上述`Visual Studio 2019`编译产出的可执行文件在`out\build\x64-Release`目录下,打开`cmd`,并切换到该目录:
|
|
|
|
|
|
@@ -119,7 +118,7 @@ cd D:\projects\PaddleX\deploy\cpp\out\build\x64-Release
|
|
|
| image_list | 按行存储图片路径的.txt文件 |
|
|
|
| use_gpu | 是否使用 GPU 预测, 支持值为0或1(默认值为0) |
|
|
|
| gpu_id | GPU 设备ID, 默认值为0 |
|
|
|
-| save_dir | 保存可视化结果的路径, 默认值为"output",classfier无该参数 |
|
|
|
+| save_dir | 保存可视化结果的路径, 默认值为"output",classifier无该参数 |
|
|
|
| key | 加密过程中产生的密钥信息,默认值为""表示加载的是未加密的模型 |
|
|
|
| batch_size | 预测的批量大小,默认为1 |
|
|
|
| thread_num | 预测的线程数,默认为cpu处理器个数 |
|
|
|
@@ -127,9 +126,10 @@ cd D:\projects\PaddleX\deploy\cpp\out\build\x64-Release
|
|
|
|
|
|
## 样例
|
|
|
|
|
|
-可使用[小度熊识别模型](../../export_model.md)中导出的`inference_model`和测试图片进行预测, 例如导出到D:\projects,模型路径为D:\projects\inference_model。
|
|
|
+可使用[小度熊识别模型](../../export_model.md)中导出的`inference_model`和测试图片进行预测, 例如导出到`D:\projects`,模型路径为`D:\projects\inference_model`。
|
|
|
+
|
|
|
+<font color=#0000FF size=3 face="黑体">关于预测速度的说明:</font>加载模型后前几张图片的预测速度会较慢,这是因为运行启动时涉及到内存显存初始化等步骤,通常在预测20-30张图片后模型的预测速度达到稳定。
|
|
|
|
|
|
-> 关于预测速度的说明:Paddle在部署预测时,由于涉及到内存显存初始化等原因,在模型加载后刚开始预测速度会较慢,一般在模型运行20~50后(即预测20~30张图片)预测速度才会稳定。
|
|
|
|
|
|
### 样例一:(使用未加密的模型对单张图像做预测)
|
|
|
|