基于onnxruntime的模型加载内存泄漏

[lvchigo]

Describe the bug

• 使用wenet/runtime/onnxruntime流程，编译流式wenet库，并参考wenet_api接口（wenet/runtime/core/api/wenet_api.h）与demo（wenet/runtime/core/bin/api_main.cc），同时使用valgrind进行内存泄漏检测，发现在onnxruntime的模型加载时（wenet::OnnxAsrModel::Read），出现以下内存泄漏：
  
• 且泄漏接口包含三处接口：Ort::ModelMetadata::LookupCustomMetadataMap、Ort::Session::GetInputName、Ort::Session::GetOutputName：
  
• 但，除去模型初始化时内存泄漏问题，整体WER验证c++端与python端一致，推理过程中无内存泄漏情况发生；
• 同时，查看onnxruntime v1.12.0源码，发现LookupCustomMetadataMap接口，有提示内存泄漏风险：
  
• 推荐解决方案：使用LookupCustomMetadataMapAllocated、GetInputNameAllocated、GetOutputNameAllocated替换原有接口即可（LookupCustomMetadataMap、GetInputName、GetOutputName）：
  

编译环境

• GCC：7.5.0；
• onnxruntime：1.12.0、CPU版；

联系方式:

• 176032216@qq.com

[xingchensong]

谢谢，可以直接提个PR修复嘛，非常感谢！ @lvchigo

[xingchensong]

Update: 尝试了更换三个接口，程序无法运行成功（如下图所示），原因可能是session->run函数需要传入节点的name，这些name是const char*，在替换了接口后，这些pointer在出了初始化函数后被释放了。

[lvchigo]

• 目前，在仅使用LookupCustomMetadataMapAllocated替换LookupCustomMetadataMap后，ASR结果正常，且该接口内存泄漏问题修复；
• 在使用GetInputNameAllocated、GetOutputNameAllocated替换原有接口（GetInputName、GetOutputName）后，ASR结果异常；
• 遇到问题与 @xingchensong 大佬问题一致，使用GetInputNameAllocated与GetOutputNameAllocated后，指针被释放；

[xingchensong]

https://bbs.huaweicloud.com/blogs/357047 @lvchigo 或许这篇blog的方法可以借鉴下

[lvchigo]

• 已参考上述blog进行“string标准库”方案复现，然而仅解决接口（GetInputName与GetOutputName）内存泄漏问题，ASR推理时，encoder_session_->Run提示encoder_out_names_错误（即指针被提前释放）：
  
• 同时，参考onnxruntime的修复方案（https://github.com/microsoft/onnxruntime/issues/10490），编写OnnxAsrModel的析构函数，用于释放资源（如encoder_in_names_、encoder_out_names_、ctc_in_names_、ctc_out_names_、rescore_in_names_、rescore_out_names_）；
• 然而，接口（GetInputName与GetOutputName）内存泄漏问题，仍然存在，具体析构函数代码如下参考：
  
• @xingchensong GetInputName与GetOutputName内存泄漏问题，还需要大佬帮忙看看。。

[xingchensong]

@lvchigo onnxruntime最新版应该在API上有不少改动，可以试试最新版的onnxruntime 在run这个api上是否还需要以来const char*的输入？

[github-actions]

This issue has been automatically closed due to inactivity.

[github-actions]

This issue was closed because it has been inactive for 7 days since being marked as stale. Please reopen if you'd like to work on this further.

[zhuanaa]

@lvchigo
参照此可解决：microsoft/onnxruntime#14157
onnxruntime ：1.13.1

[xingchensong]

@lvchigo 参照此可解决：microsoft/onnxruntime#14157 onnxruntime ：1.13.1

可以提个pr吗