粗狂主义网站设计风格厂房网络推广平台

Paddle Inference 是飞桨的原生推理库，提供服务器端的高性能推理能力。由于 Paddle Inference 能力直接基于飞桨的训练算子，因此它支持飞桨训练出的所有模型的推理。paddle平台训练出的模型转换为静态图时可以选用Paddle Inference的框架进行推理，博主以前都是将静态图转换为onnx模型再进行部署。然而在转换含nms的ppyoloe模式，转换失败了，故此研究Paddle Inference部署嵌入nms的PPYoloe模型，最终实现ppyoloe_m模型的fps为52.63（19ms一个图）速度。注：在paddledection中PPYoloe默认的是MultiClassNMS方式

使用paddledection训练自己的数据集可以参考：paddle 31 安装paddledetection并训练自己的数据集（支持voc与coco数据集）

1、相关背景

Paddle Inference 功能特性丰富，性能优异，针对不同平台不同的应用场景进行了深度的适配优化，做到高吞吐、低时延，保证了飞桨模型在服务器端即训即用，快速部署。其提供了python、c++、c、go语言的部署文档。

1.1 paddle系其他推理框架

除了Paddle Inference，paddle团队还提出了以下推理框架，可见其支持多款国产gpu。