|
|
@@ -121,8 +121,8 @@ output = model.predict("https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/
|
|
|
|
|
|
### 2.1 修改高性能推理配置
|
|
|
|
|
|
-PaddleX 结合模型信息与运行环境信息为每个模型提供默认的高性能推理配置,其中包括推理后端和推理后端的配置。例如 ResNet18 模型,CPU 设备默认的推理后端为 onnx_runtime,GPU 设备默认的推理后端为 tensorrt FP16。
|
|
|
-这些默认配置经过精心准备,以便在数个常见场景中可用,且能够取得较优的性能。因此,通常用户可能并不用关心如何这些配置的具体细节。
|
|
|
+PaddleX 结合模型信息与运行环境信息为每个模型提供默认的高性能推理配置,其中包括推理后端和推理后端的配置。这些默认配置经过精心准备,以便在数个常见场景中可用,且能够取得较优的性能。因此,通常用户可能并不用关心如何这些配置的具体细节。
|
|
|
+
|
|
|
然而,由于实际部署环境与需求的多样性,使用默认配置可能无法在特定场景获取理想的性能,甚至可能出现推理失败的情况。对于默认配置无法满足要求的情形,用户可以手动调整配置。以下列举两种常见的情形:
|
|
|
|
|
|
- 更换推理后端:
|