qwen2.5 instruct是多轮的ChatML式，SFT时每轮的position id需要进行reset吗？

[zzzm83]

<|im_start|>system
You are a helpful assistant<|im_end|>
<|im_start|>user
aaaaaaa<|im_end|>
<|im_start|>assistant
bbbbbb<|im_end|>

预训练时整个序列的position id，是从0开始到结尾（0....N），还是每轮从0开始reset（0.....N1,0,....N2,0.....,N3）？

我理解SFT的时候应该得和预训练保持一致，才能取得最好的效果？

[jklj077]

从0开始到结尾（0....N）。
这个一般不需要手动指定的，而且Qwen使用的是RoPE，相对位置编码，跟绝对位置关系不大。