Skip to content

Commit

Permalink
Update docs/source/ar/create_a_model.md
Browse files Browse the repository at this point in the history
Co-authored-by: Abdullah Mohammed <554032+abodacs@users.noreply.github.com>
  • Loading branch information
AhmedAlmaghz and abodacs authored Oct 30, 2024
1 parent 7602082 commit c034204
Showing 1 changed file with 1 addition and 1 deletion.
2 changes: 1 addition & 1 deletion docs/source/ar/create_a_model.md
Original file line number Diff line number Diff line change
Expand Up @@ -178,7 +178,7 @@ DistilBertConfig {
الفئة الأساسية الأخيرة التي تحتاجها قبل استخدام نموذج للبيانات النصية هي [مجزئ النصوص](main_classes/tokenizer) لتحويل النص الخام إلى تنسورات (tensors). هناك نوعان من المحولات الرموز التي يمكنك استخدامها مع 🤗 Transformers:

- [`PreTrainedTokenizer`]: تنفيذ Python لمحول الرموز.
- [`PreTrainedTokenizerFast`]: محول رموز من مكتبة [🤗 Tokenizer](https://huggingface.co/docs/tokenizers/python/latest/) المستندة إلى Rust الخاصة بنا. هذا النوع من المحول أسرع بشكل ملحوظ - خاصة أثناء توكين الدُفعات - بسبب تنفيذه في Rust. يوفر محول الرموز السريع أيضًا طرقًا إضافية مثل *مخطط الإزاحة* الذي يقوم بتعيين الرموز إلى كلماتها أو أحرفها الأصلية.
- [`PreTrainedTokenizerFast`]: مجزئ النصوص من مكتبة [🤗 Tokenizer](https://huggingface.co/docs/tokenizers/python/latest/) المُبنية على لغة Rust. هذا النوع من المجزئات أسرع بكثير، خاصةً عند معالجة دفعات النصوص، وذلك بفضل تصميمه بلغة Rust. كما يوفر مجزئ النصوص السريع طرقًا إضافية مثل *مخطط الإزاحة* الذي يُطابق الرموز بكلماتها أو أحرفها الأصلية.

يدعم كلا النوعين من المحولات طرقًا شائعة مثل الترميز وفك الترميز وإضافة رموز جديدة وإدارة الرموز الخاصة.

Expand Down

0 comments on commit c034204

Please sign in to comment.