onnx模型转trt#

初始化TensorrtInfer#

[ ]:
from aiearth.predict.predictors.infer_sdk.tensorrt_infer import TensorRTInfer

trt = TensorRTInfer(
    model_path="/path/to/your/onnx", use_static=False
)

运行的时候需要将 /path/to/your/onnx 路径替换为本地onnx模型的绝对路径,use_static=False表示模型没有对应的trt文件,需要先将onnx文件转换为trt engine,转换之后的trt engine是和显卡架构相关的,比如在TeslaV100上转换的模型推理时在TeslaT4的显卡上是不能运行的

获取trt engine路径#

获取转换好的trt engine文件路径

[ ]:
print(trt.get_engine_path())