heliqi 5c4294d57a deploy support pdx 2.0.0rc model (#873) 4 vuotta sitten
..
cmake d4f745add9 add dygrah 4 vuotta sitten
demo 6fd365740c preprocess optimize (#840) 4 vuotta sitten
docs 1f73dfde93 api docs (#841) 4 vuotta sitten
model_deploy 5c4294d57a deploy support pdx 2.0.0rc model (#873) 4 vuotta sitten
scripts 3415ec759a support tensorrt and modify docs (#790) 4 vuotta sitten
CMakeLists.txt 6fd365740c preprocess optimize (#840) 4 vuotta sitten
CMakeSettings.json bdec24f520 fix cmakelist copy error (#799) 4 vuotta sitten
README.md 3415ec759a support tensorrt and modify docs (#790) 4 vuotta sitten

README.md

PaddlePaddle模型C++部署

本目录下代码,目前支持以下飞桨官方套件基于PaddleInference的部署。

模型套件支持

硬件支持

  • CPU(linux/windows)
  • GPU(linux/windows)
  • Jetson(TX2/Nano/Xavier)

文档

PaddleInference编译说明

模型部署说明

API说明

ONNX模型部署

Paddle的模型除了直接通过PaddleInference部署外,还可以通过Paddle2ONNX转为ONNX后使用第三方推理引擎进行部署,在本目录下,我们提供了基于Triton和TensorRT两个引擎的部署支持。