Двойной EOS-токен в скрипте генерации датасета

[hillenkoetter-ml]

При запуске обучения в логе появляется пример промпта для обучения:

Full prompt: <s>system
Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.</s>
<s>user
Привет!</s>
<s>bot
Привет!</s>
</s>

В конце стоит двойной EOS-токен. Скорее всего, ситуация возникает из-за этой строки, т.к. последний символ промпта - знак переноса, поэтому добавляется второй EOS-токен