迁西网站开发,上海房产网二手房出售信息,p2p网站建设cms,机票旅游网站建设使用AI目标检测进行缺陷检测时#xff0c;部署到Jetson上即小巧算力还高#xff0c;将训练好的模型转为tensorRT再部署到Jetson 上供http或GRPC调用。1 Jetson nx 刷机
找个ubuntu 系统NVIDIA官网下载安装Jetson 的sdkmanager一步步刷机即可。 本文刷的是JetPack 5.1, 其中包… 使用AI目标检测进行缺陷检测时部署到Jetson上即小巧算力还高将训练好的模型转为tensorRT再部署到Jetson 上供http或GRPC调用。1 Jetson nx 刷机
找个ubuntu 系统NVIDIA官网下载安装Jetson 的sdkmanager一步步刷机即可。 本文刷的是JetPack 5.1, 其中包含 CUDA 11.4 cuDNN 8.6.0 TensorRT 8.5.2.2 Python 3.8.10 Ubuntu 20.04
2 下载解压/安装/测试Triton Server
其实triton server 不用安装直接下载解压开箱即用要安装的是一堆依赖。 下载triton server 软件包Release 2.35.0 corresponding to NGC container 23.06 找到下面tritonserver2.35.0-jetpack5.1.2.tgz下载到Jetson并解压到home。 根据jetson.md安装triton server 的依赖包如果不在jetson上使用triton 客户端可以不装triton client 的依赖。 将Triton server main分支下的docs文件夹下载后放到home/tritonserver2.35.0-jetpack5.1.2/tritonserver中 $ cd docs/examples $ ./fetch_models.sh 下载示例模型cd 到home/tritonserver2.35.0-jetpack5.1.2/tritonserver/bin $./tritonserver --model-repository…/docs/examples/model_repository --backend-directory…/backends 如果看到下图8001/8000/8002 说明示例打开成功triton server 安装成功。
3 Train yolov5 model
使用ultralytics的yolov5 模型train 一个自己的model, 我选用的是yolov5l6,略微大一些 best.pt 153.1MB。
4 .pt 转ONNX 转TensorRT
个人认为只有使用TensorRT模型部署NVIDIA显卡才是推理速度最极致的体验。 Jetson 上官网下载一个Pycharm 软件压缩包新建python环境。 安装yolov5的依赖参考Deploy on NVIDIA Jetson using TensorRT and DeepStream SDK 安装到pytorch 和torchvision 即可 再使用yolov5文件夹内export.py 修改615行 --weights default ROOT / ‘best.py’ 修改619行增加defaultTrue使用半精度 修改638行default[‘engine’]
Terminal $python3 export.py 可以看到log是先生成best.onnx再生成best.engine 半小时后转化完毕。
5部署yolov5 到triton sever
在examples文件夹下新建自己的模型仓库文件夹zz_model_repository 新建模型文件夹yolov5l6再新建名称为1 的文件夹将best.engine copy进来改名为model.plan 在yolov5l6下新建文件config.pbtxt输入以下内容
name: yolov5l6
platform: tensorrt_plan
max_batch_size: 1
input [{name: imagesdata_type: TYPE_FP16format: FORMAT_NCHWdims: [3, 640, 640]}
]
output [{name: output0data_type: TYPE_FP16dims: [25500, 8]}
]
backend: tensorrt同样cd 到home/tritonserver2.35.0-jetpack5.1.2/tritonserver/bin $./tritonserver --model-repository…/docs/examples/zz_model_repository --backend-directory…/backends 出现下图说明模型加载成功。
6Triton client 调用模型
这一部分就是开发相机图像前处理调用模型图像后处理部分了略过。
