inference.py:推理过程如何改用cpu进行

[Yanlewen]

Question

我想使用cpu运行inference.py，但一直报错，除了采用规定CUDA_VISIBLE_DEVICES=-1的方式，是否有其他方式可以直接更改相关代码从而能够在cpu上正常运行。
这是现在的报错：RuntimeError: CUDA error: out of memory
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.

补充信息

No response

[xiuqhou]

指定CUDA_VISIBLE_DEVICES=-1正常会采用CPU进行推理，我这里测试是没问题的。报错信息的显示GPU显存不够，好像用的还是GPU推理代码，是不是CUDA_VISIBLE_DEVICES写错了？