请问在预训练时，如何保持书籍等数据的换行符号？如何把书籍切成block？

[erichuazhou]

请大神指教：
(1) 我在pt阶段的数据是大量书籍和文件数据，有大量的换行符，无法构造成wiki_demo.txt或者json格式，请问如何处理？
(2) 请问group texts的流程是怎么样的？各个block在预训练之前进行shuffle了吗？
(3) 如果是多个txt文件，会在切成多个block之后混合进行shuffle吗？
感谢。
@hiyouga

[hiyouga]

json 格式允许换行符，通过转义字符可解决
会 shuffle

[erichuazhou]

请问下，
(1)我每本书籍转为json，需要进行切分吗？还是每本书对应于json一行？
(2)如果每本书需要切分，block大小需要和程序内部data_args.cutoff_len设为一样对吗？谢谢

感谢大神
@hiyouga

[FoolMark]

请问下， (1)我每本书籍转为json，需要进行切分吗？还是每本书对应于json一行？ (2)如果每本书需要切分，block大小需要和程序内部data_args.cutoff_len设为一样对吗？谢谢

感谢大神 @hiyouga

1. 我的解决方法是同一个文本里换行符变成\t然后组成一行，LLaMA-Factory中的方法是一行当作一个sample，然后每个sample自动切成cutoff_len这个长度的若干sample用于训练(最后一个好像是丢弃的)
2. 如果支持json我想应该是和sft那种数据组织方式一样，一条数据放在一个key下面就行了不用手动切，不过我没试过...
3. 另外我也有问题要请教一下，请问你用的是哪个base model？ 继续 pretrain时候是否需要指定template？ 我用chatglm3-base 做 pt （全量参数）后导出的模型的tokenizer没法导入.
   参考 [Link] (chatglm3 微调完成之后导出成功，但无法加载 #1307 (comment)) 的做法后微调得到的base模型可以续写生成，但是似乎无法结束，每次生成都会到max_new_length
   我还在debug中...

[Zombiessss]

json 格式允许换行符，通过转义字符可解决 会 shuffle

流式加载也会shuffle吗？当前做继续预训练的数据量很大一下子吃不进去的时候，感觉流式没法shuffle呀，只能前置把数据集自己shuffle好

[hiyouga]

@Zombiessss 流式会 shuffle 一部分