温州做网站掌熊号,主机屋wordpress建站,什么关键词可以搜到那种,万网创始人张向东MIxformerV2的onnx和tensorrt加速 注意事项 地址#xff1a;github地址
注意事项
转换成onnx模型之前#xff0c;最好现简化算法的源代码#xff0c;使其结构干净。因为在进行onnx转换后#xff0c;可能在进行onnx→trt时算子不匹配#xff0c;这时就需要去查看模型的源… MIxformerV2的onnx和tensorrt加速 注意事项 地址github地址
注意事项
转换成onnx模型之前最好现简化算法的源代码使其结构干净。因为在进行onnx转换后可能在进行onnx→trt时算子不匹配这时就需要去查看模型的源码找出对应无法转换的算子如果代码不精简在对照算子这一步很费时间。需要对照的表可以参照onnx-tensorrt https://github.com/onnx/onnx-tensorrt/blob/main/docs/operators.md。但是需要注意onnx-tensorrt的版本和当前使用的版本一致unbind的替换无法使用类似slice的操作如q,k,vqkv[0],qkv[1],qkv[2]这会导致导出出错。使用split进行替换split用于切片划分是支持转换的。split的使用方法可以参见pytorch官网permute可以使用transpose进行替换在进行推理数据输入engine模型之前一定要保证数据的形状对应的内存数据是连续的。因为reshape或者permute之后的数据形状可能改变了但是内存的布局并不会变化。需使用tensor.contiguous()使得数据在内存的布局连续。如果是numpy的数据则需要使用np.ascontiguousarray(im_arr)使得输入的数据连续否则会出现推理出的结果错乱。
