模型并行问题

[juemifuji]

训练chatglm-6b模型，可以使用模型并行的方式了！！！ 请点击链接查看Chatglm6b_ModelParallel，目前这个版本，虽然在训练的过程中，loss下降了，但是模型学习不到内容，这个问题我还在排查。

请问这个问题解决了吗

[yuanzhoulvpi2017]

没解决~，但是过几天将发布一个新的lora训练代码（支持多卡进行模型并行)

[huangxd-]

mymusise/ChatGLM-Tuning#59 (comment)
我用ChatGLM-Tuning，原先没啥效果，替换成target_modules=["query_key_value", "dense", "dense_h_to_4h", "dense_4h_to_h"]就有效果了

[cxj01]

@yuanzhoulvpi2017
用仓库代码，虽然电脑上有两块GPU，但是还是加载一块GPU，如果指定各个层在不同GPU上，会报Tensor不在一个device上的错误。

[yuanzhoulvpi2017]

@yuanzhoulvpi2017 用仓库代码，虽然电脑上有两块GPU，但是还是加载一块GPU，如果指定各个层在不同GPU上，会报Tensor不在一个device上的错误。

你是不是用的还是老的模型文件？要用最新的