提供输出 中或英 选项 + llama模型 GPU支持 + 多显卡支持

[Zeigar]

看到网上说Vicuna能够达到GPT4的90%水平，但是闻达集成的Vicuna模型是CPU版本，有机会增加GPU支持吗？
再有，目前主要用途建立本地知识库，用于学术资料的整理。由于默认的提示词用的中文，不同模型在中英情况下，表现差异很大，可能提供整体环境的中英选项吗，包括提示词以及知识库建构。
另外，多显卡的支持，如python3 -m fastchat.serve.cli --model-path /path/to/model/weights --num-gpus 2，能否实现呢

[l15y]

1不会，因为Vicuna效果没有达到预期
2可以用auto生成英文提示词
3需要模型支持，目前rwkv可用

[Zeigar]

多谢！
第2点已经知道如何修改了，
第3点，可以给点提示吗？在闻达使用transformer知识库的时候，显存瞬间翻倍，然后就出错了。不使用知识库，差不多占用15G内存。

[l15y]

rwkv官方有参数示例，形如cuda0……cuda1……

[Zeigar]

rwkv官方有参数示例，形如cuda0……cuda1……，没有找到在哪里加入参数llm_rmkv,py，试过config.xml中strategy修改成'cuda:0 fp16 *10 -> cuda:1 fp16 *8 -> cpu fp32'也没有成功。

另外 ，看到之前前面讨论中也有提到command功能，这个功能感觉和目前的autos侧边栏功能类似，但是这个功能是已经定义好的。能否参考 https://huggingface.co/spaces/BlinkDL/Raven-RWKV-7B，在保留目前input情况下，增加Instruction的输入框（相当于自定义的auto功能）。之所以提出这个想法，主要是因为在打开知识库的时候，就是出现系统提示词如：127.0.0.1:system: 请扮演一名专业分析师，根据以下内容回答问题：将以下文字概括为 100 个字，使其易于阅读和理解。避免使用复杂的句子结构或技术术语。cognition schizophrenia。但是有时可能并不是想要的，想要实现翻译，打开知识库就无法完成了。如：127.0.0.1:system: 请扮演一名专业分析师，根据以下内容回答问题：翻译成英文文：在知识库中，找到与精神分裂症认知功能相关的例子并总结。

在更新的python 3.11中，打开模型的时候，会出现无法载入提示：
:1049: ImportWarning: _ImportRedirect.find_spec() not found; falling back to find_module()
:1049: ImportWarning: _ImportRedirect.find_spec() not found; falling back to find_module()
:1049: ImportWarning: _ImportRedirect.find_spec() not found; falling back to find_module()
:1049: ImportWarning: _ImportRedirect.find_spec() not found; falling back to find_module()

总之，非常感谢作者的付出。上面提出的都是个人想法，仅供开发者参考。

[lizi1314520]

多卡部署
如果你有多张 GPU，但是每张 GPU 的显存大小都不足以容纳完整的模型，那么可以将模型切分在多张GPU上。首先安装 accelerate: pip install accelerate，然后通过如下方法加载模型：

from utils import load_model_on_gpus
model = load_model_on_gpus("THUDM/chatglm-6b", num_gpus=2) 这个2就表示用几张显卡

即可将模型部署到两张 GPU 上进行推理。你可以将 num_gpus 改为你希望使用的 GPU 数。默认是均匀切分的，你也可以传入 device_map 参数来自己指定。

如果有什么不懂的就不要问我，因为我也不懂啊

https://blog.csdn.net/chenhepg/article/details/130454751

是团子花心的