Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Настройки finetuning #2

Open
seregadgl20-oss opened this issue Mar 13, 2021 · 1 comment
Open

Настройки finetuning #2

seregadgl20-oss opened this issue Mar 13, 2021 · 1 comment

Comments

@seregadgl20-oss
Copy link

Здравствуйте, подскажите если не секрет, какие вы использовали настройки в rugpt3 модели для перефразирования?

@Alenush
Copy link
Member

Alenush commented Mar 24, 2021

Добрый день!
Для обучения какие-то конкретные параметры интересуют? или для генерации какой-то более стабильный вариант?
При обучении ничего не мудрила как в репе обучала https://github.com/sberbank-ai/ru-gpts/blob/deepspeed_full/examples/Finetune_RuGPTs_with_HF.ipynb по дефолту.
Для генерации можно пробовать разные параметры, лучше подбирать под свою задачу и свои тексты.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants