[BUG] mac根据#6改了下，还是无法运行

[kingzeus]

Is there an existing issue for this?

• I have searched the existing issues

Current Behavior

按照 #6 的说明：

1. 部署了本地模型
2. 修改cli_demo.py 里的 .half().cuda() 改成 .float()
3. 修改cli_demo.py ，使用本地模型路径
4. 注释了modeling_chatglm.py 里的 quantize 函数里的内容

运行之后，显示

对比了pc上输出，cache目录下没有文件

Expected Behavior

正常能跑起来

Steps To Reproduce

1. 部署了本地模型
2. 修改cli_demo.py 里的 .half().cuda() 改成 .float()
3. 修改cli_demo.py ，使用本地模型路径
4. 注释了modeling_chatglm.py 里的 quantize 函数里的内容

Environment

- OS: m2 max
- Python: 3.11.2
- Transformers:
- PyTorch:
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) : false

Anything else?

No response

[duzx16]

从本地加载的时候本来就是不会在~/.cache/huggingface/hub里写文件的。
从报错来看，你可以检查一下本地的ice_text.model文件是否下载正确

[noahzark]

部署的本地模型有没有git lfs pull？
可以看一下ls -al models/ 结果嘛

[kingzeus]

从本地加载的时候本来就是不会在~/.cache/huggingface/hub里写文件的。 从报错来看，你可以检查一下本地的ice_text.model文件是否下载正确

确实是ice_text.model没下载成功，添加后就可以了。