ChatGLM3 全参数微调后，加载checkpoint报错

[nansanhao]

tokenizer = AutoTokenizer.from_pretrained(model_file_path, trust_remote_code=True)
AttributeError: can't set attribute 'eos_token'

[AmeowCAT]

我用Lora微调后合并完了 加载也会报这个错 目前是把合并目录下tokenizer_config.json文件里的几个*_token删掉才能运行

[nansanhao]

我用Lora微调后合并完了 加载也会报这个错 目前是把合并目录下tokenizer_config.json文件里的几个*_token删掉才能运行

删除之后报这个错：assert self.padding_side == "left" AssertionError @AmeowCAT

[hiyouga]

需要手动修改 tokenizer config 里面的 padding side 为 left

[yanyuze123]

@hiyouga 您好，这个项目目前支持chatGLM2嘛，我跑出来以后导出模型也是AttributeError: can't set attribute 'eos_token'这个错误。

tokenizer config 内容如下：
{
"added_tokens_decoder": {},
"auto_map": {
"AutoTokenizer": [
"tokenization_chatglm.ChatGLMTokenizer",
null
]
},
"clean_up_tokenization_spaces": false,
"do_lower_case": false,
"eos_token": "",
"model_max_length": 1000000000000000019884624838656,
"pad_token": "",
"padding_side": "left",
"remove_space": false,
"split_special_tokens": false,
"tokenizer_class": "ChatGLMTokenizer",
"unk_token": ""
}

[hiyouga]

#1307 (comment)

[CplusHua01]

以下几个参数值不可设定属性，可以注释掉来尝试兼容
https://huggingface.co/THUDM/chatglm3-6b-32k/raw/main/tokenization_chatglm.py

`

# @property
# def unk_token(self) -> str:
#     return "<unk>"

# @property
# def pad_token(self) -> str:
#     return "<unk>"

# @property
# def eos_token(self) -> str:
#     return "</s>"

`

[yanyuze123]

@CplusHua01
直接改，导出训练好的模型仍然会有这几个参数。

重新训练的话会直接报错 ：
ValueError: Asking to pad but the tokenizer does not have a padding token. Please select a token to use as pad_token (tokenizer.pad_token = tokenizer.eos_token e.g.) or add a new pad token via tokenizer.add_special_tokens({'pad_token': '[PAD]'}).

是因为我训练的是chatGLM2嘛？
作者说的直接覆盖除bin和pytorch_model.bin.index.json是可行的。

[CplusHua]

https://huggingface.co/THUDM/chatglm3-6b-32k/raw/main/tokenization_chatglm.py 重新导出后注意导出后的tokenization_chatglm.py 是否需要修改

[dragoncdj]

我用Lora微调后合并完了 加载也会报这个错 目前是把合并目录下tokenizer_config.json文件里的几个*_token删掉才能运行

删掉之后微调效果失效，是哪块做的不对吗