关于 linearized sequences 格式数据的生成的问题

[ume-technology]

我在处理把 train dev test .txt 三个文件数据借助 tool 包中 preprocess.py 模块处理时，得到的 vocabulary 是空，这个脚本的代码对于源文件中的每一行数据都 continue 掉了，没有加入到 vocabulary 中，是我的源数据文件错误了？我使用的 conll2003 这个数据集。
其中 train.txt 的格式如下，请大家帮我确认一下是我的数据集就是错误的吗？

[Bosheng2020]

你好，谢谢你的comment。NER的模型一般训练数据只需要取第一列和第四列。你可以试试。