| language | license | base_model | tags | datasets | metrics | model-index | ||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
apache-2.0 |
openai/whisper-small |
|
|
|
|
O adjustare a modelului openai/whisper-small pe Date audio colectate în cadrul proiectului TekWill. Obține următoarele rezultate pe setul de evaluare:
- Pierdere: 0,8207
- Wer: 46.2651
Este un model intenționat pentru transcrierea graiului Moldovenesc în text.
Pentru antrenarea modelului s-au folosit atît date de la Common Voice, cît și date colectate în cadrul proiectului.
Am făcut niște testări pe mai multe modele, ca să observăm dacă există un oarecare progres.
Transcriere de către modelul preantrenat de la Whisper.
Transcriere de către modelul antrenat numai cu date de la Common Voice.
Transcriere de către modelul antrenat numai cu datele colectate în cadrul proiectului.
Transcrierea de către modelul antrenat atît cu date de la Common Voice, cît și cu date colectate în cadrul proiectului.
Am folosit google colab pentru antrenarea modelului.
mai multe detalii -> https://github.com/Yehoward/Iazar?tab=readme-ov-file#code_de_antrenare_iazaripynb
Următorii hiperparametri au fost utilizați în timpul antrenamentului:
- learning_rate: 1e-05
- train_batch_size: 16
- eval_batch_size: 8
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- lr_scheduler_warmup_steps: 50
- training_steps: 200
- mixed_precision_training: Native AMP
| Pierdere la antrenament | Epocă | Pasul | Pierdere de validare | Rata de erori a cuvintelor |
|---|---|---|---|---|
| 0.0005 | 66.6667 | 200 | 0.8207 | 46.2651 |
- Transformers 4.40.1
- Pytorch 2.2.1+cu121
- Datasets 2.19.0
- Tokenizers 0.19.1