GPU not activating?

[anan1213095357]

我有一张3060 12g 运行的时候 torch.cuda.is_available() 是 true, 但是我总感觉速度很慢。于是我把 chat.load(compile=False,device="cuda") 改成了 chat.load(compile=False,device="cpu") 他俩都是一个速度。我要怎么解决？

[fumiama]

请贴出更详细信息：cuda/cpu下的启动+推理日志。