将模型改成chatglm2后，效果极差

[cxj01]

@bojone
将模型改成chatglm2后，虽无报错但是效果极差，还望能够协助解决！

以下是生成的运行输出：
Loading checkpoint shards: 100%|██████████████████| 7/7 [00:08<00:00, 1.22s/it]
Context长度分布： [230, 780, 1308, 968, 677, 1126, 697, 706, 768, 894, 631, 737]
Context总长度： 9522
input_ids torch.Size([12, 790])
<0x0A>1.SamAlterman认为，与所有的技术革命一样，我预期会对就业产生重大影响。但具体影响如何很难预测。<0x0A>2.菲律宾国家电网公司是中国在菲律宾国家电网公司，中国占股多少？<0x0A><0x0A><0x0A>1.根据已知内容，菲律宾国家电网公司是中国在菲律宾国家电网公司，中国占股？<0x0A>2010.根据SamAlter公司，菲律宾电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司，电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司电网公司公司电网公司公司电网公司电网公司
Process finished with exit code 0

一下是修改的代码 （只有模型加载进行了修改，其他代码没动）

[yang1111-gif]

同上，输出一模一样，我感觉需要with torch.no_grad()才能提升效果。

[Moyhub]

chatglm2需要对位置编码进行手动更新。如下：

[dnimo]

我想问一下基于GPTNeoX架构的模型也需要对位置编码进行手动更新吗