onnx模型转trt#
初始化TensorrtInfer#
[ ]:
from aiearth.predict.predictors.infer_sdk.tensorrt_infer import TensorRTInfer
trt = TensorRTInfer(
model_path="/path/to/your/onnx", use_static=False
)
运行的时候需要将 /path/to/your/onnx
路径替换为本地onnx模型的绝对路径,use_static=False
表示模型没有对应的trt文件,需要先将onnx文件转换为trt engine,转换之后的trt engine是和显卡架构相关的,比如在TeslaV100上转换的模型推理时在TeslaT4的显卡上是不能运行的
获取trt engine路径#
获取转换好的trt engine文件路径
[ ]:
print(trt.get_engine_path())