PaddleX/dygraph/deploy/cpp

PaddlePaddle模型C++部署

本目录下代码，目前支持以下飞桨官方套件基于PaddleInference的部署。

还支持对ONNX进行部署。套件模型转换ONNX模型，参考Paddle2ONNX。

模型套件支持

• PaddleDetection(release/2.0)
• PaddleSeg(release/2.0)
• PaddleClas(release/2.1)
• PaddleX(release/2.0-rc)

硬件支持

• CPU(linux/windows)
• GPU(linux/windows)
• Jetson(TX2/Nano/Xavier)

ONNX模型部署

Triton部署

Triton的全称为Triton Inference Server，由NVIDIA推出的具有低延迟、高吞吐等特性的高性能推理解决方案。它提供了针对CPU和GPU优化的云和边缘推理解决方案。 Triton支持HTTP / REST和GRPC协议，该协议允许远程客户端请求服务器管理的任何模型进行推理

TensorRT部署

TensorRT是一个高性能的深度学习推理优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT核心是一个C++库，从 TensorRT 3 开始提供C++ API和Python API，主要用来针对 NVIDIA GPU进行 高性能推理（Inference）加速。

文档

PaddleInference编译说明

• Linux编译指南
• Windows编译指南
• Jetson编译指南

模型部署说明

• PaddleDetection部署指南
• PaddleSeg部署指南
• PaddleClas部署指南

API说明

• 部署相关API说明
• 模型配置文件说明