Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[Doc] Spanish translation of pad_truncation.md #27890

Merged
Merged
Show file tree
Hide file tree
Changes from 10 commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
2 changes: 1 addition & 1 deletion docs/source/en/pad_truncation.md
Original file line number Diff line number Diff line change
Expand Up @@ -54,7 +54,7 @@ The following table summarizes the recommended way to setup padding and truncati
| | | `tokenizer(batch_sentences, padding='longest')` |
| | padding to max model input length | `tokenizer(batch_sentences, padding='max_length')` |
| | padding to specific length | `tokenizer(batch_sentences, padding='max_length', max_length=42)` |
| | padding to a multiple of a value | `tokenizer(batch_sentences, padding=True, pad_to_multiple_of=8) |
| | padding to a multiple of a value | `tokenizer(batch_sentences, padding=True, pad_to_multiple_of=8)` |
| truncation to max model input length | no padding | `tokenizer(batch_sentences, truncation=True)` or |
| | | `tokenizer(batch_sentences, truncation=STRATEGY)` |
| | padding to max sequence in batch | `tokenizer(batch_sentences, padding=True, truncation=True)` or |
Expand Down
2 changes: 2 additions & 0 deletions docs/source/es/_toctree.yml
Original file line number Diff line number Diff line change
Expand Up @@ -75,6 +75,8 @@
- sections:
- local: philosophy
title: Filosofía
- local: pad_truncation
title: Relleno y truncamiento
- local: bertology
title: BERTología
- local: perplexity
Expand Down
69 changes: 69 additions & 0 deletions docs/source/es/pad_truncation.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,69 @@
<!--Copyright 2022 The HuggingFace Team. All rights reserved.

Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with
the License. You may obtain a copy of the License at

http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on
an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the
specific language governing permissions and limitations under the License.

⚠️ Note that this file is in Markdown but contain specific syntax for our doc-builder (similar to MDX) that may not be
rendered properly in your Markdown viewer.

-->

# Relleno y truncamiento

Las entradas agrupadas por lotes (batched) suelen tener longitudes diferentes, por lo que no se pueden convertir en tensores de tamaño fijo. El relleno (también conocido como "Padding") y el truncamiento (conocido como "Truncation") son estrategias para abordar este problema y crear tensores rectangulares a partir de lotes de longitudes variables. El Padding agrega un **padding token** especial para garantizar que las secuencias más cortas tengan la misma longitud que la secuencia más larga en un lote o la longitud máxima aceptada por el modelo. Truncation funciona en la otra dirección al truncar secuencias largas.

En la mayoría de los casos, es bastante eficaz rellenar el lote hasta la longitud de la secuencia más larga y truncar hasta la longitud máxima que un modelo puede aceptar. Sin embargo, la API admite más estrategias si las necesitas. Los tres argumentos que necesitas son: `padding`, `truncation` y `max_length`.

El argumento `padding` controla el relleno. Puede ser un booleano o una cadena:

- `True` o `'longest'`: rellena hasta la longitud de la secuencia más larga en el lote (no se aplica relleno si solo proporcionas una única secuencia).
- `'max_length'`: rellena hasta una longitud especificada por el argumento `max_length` o la longitud máxima aceptada
por el modelo si no se proporciona `max_length` (`max_length=None`). El Padding se aplicará incluso si solo proporcionas una única secuencia.
- `False` o `'do_not_pad'`: no se aplica relleno. Este es el comportamiento predeterminado.

El argumento `truncation` controla el truncamiento. Puede ser un booleano o una cadena:

- `True` o `'longest_first'`: trunca hasta una longitud máxima especificada por el argumento `max_length` o
la longitud máxima aceptada por el modelo si no se proporciona `max_length` (`max_length=None`). Esto
truncará token por token, eliminando un token de la secuencia más larga en el par hasta alcanzar la longitud adecuada.
- `'only_second'`: trunca hasta una longitud máxima especificada por el argumento `max_length` o la longitud máxima
aceptada por el modelo si no se proporciona `max_length` (`max_length=None`). Esto solo truncará
la segunda oración de un par si se proporciona un par de secuencias (o un lote de pares de secuencias).
- `'only_first'`: trunca hasta una longitud máxima especificada por el argumento `max_length` o la longitud máxima
aceptada por el modelo si no se proporciona `max_length` (`max_length=None`). Esto solo truncará
la primera oración de un par si se proporciona un par de secuencias (o un lote de pares de secuencias).
- `False` o `'do_not_truncate'`: no se aplica truncamiento. Este es el comportamiento predeterminado.

El argumento `max_length` controla la longitud del Padding y el Truncation. Puede ser un número entero o `None`, en cuyo caso se establecerá automáticamente en la longitud máxima que el modelo puede aceptar. Si el modelo no tiene una longitud máxima de entrada específica, se desactiva el Truncation o el Padding hasta `max_length`.
Copy link
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

I would be consistent with calling it truncamiento o Truncation, same for padding.

Copy link
Contributor Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Hi @osanseviero, will be ok in this way?

El argumento max_length controla la longitud del Padding (relleno) y el Truncation (truncamiento). Puede ser un número entero o None, en cuyo caso se establecerá automáticamente en la longitud máxima que el modelo puede aceptar. Si el modelo no tiene una longitud máxima de entrada específica, se desactiva el Truncation o el Padding hasta max_length.

Copy link
Contributor

@osanseviero osanseviero Dec 7, 2023

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Hi there! My feedback was that in some sections you use the word in English and others in Spanish. E.g.

  • line 23: "relleno"
  • 43: "Padding"
  • 45: padding
  • 19: padding
  • 25: "relleno"

My suggestion would be to only say "El relleno (tambien conocido como "Padding")" as you already do in line 19, and afterwards only say padding or relleno, but not both. Imo you can use "relleno" and just said padding when you're explicitly saying set the padding parameter or similar

Copy link
Contributor Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Ok, I get it. Thanks.


La siguiente tabla resume la forma recomendada de configurar el Padding y el Truncation. Si usas pares de secuencias de entrada en alguno de los siguientes ejemplos, puedes reemplazar `truncation=True` por una `ESTRATEGIA` seleccionada en
`['only_first', 'only_second', 'longest_first']`, es decir, `truncation='only_second'` o `truncation='longest_first'` para controlar cómo se truncan ambas secuencias en el par, como se detalló anteriormente.

| Truncation | Padding | Instrucción |
|-----------------------------------------|--------------------------------------|---------------------------------------------------------------------------------------------|
| sin truncamiento | sin relleno | `tokenizer(batch_sentences)` |
| | relleno hasta la longitud máxima del lote | `tokenizer(batch_sentences, padding=True)` o |
| | | `tokenizer(batch_sentences, padding='longest')` |
| | relleno hasta la longitud máxima del modelo | `tokenizer(batch_sentences, padding='max_length')` |
| | relleno hasta una longitud específica | `tokenizer(batch_sentences, padding='max_length', max_length=42)` |
| | relleno hasta un múltiplo de un valor | `tokenizer(batch_sentences, padding=True, pad_to_multiple_of=8)` |
| truncamiento hasta la longitud máxima del modelo | sin relleno | `tokenizer(batch_sentences, truncation=True)` o |
| | | `tokenizer(batch_sentences, truncation=ESTRATEGIA)` |
| | relleno hasta la longitud máxima del lote | `tokenizer(batch_sentences, padding=True, truncation=True)` o |
| | | `tokenizer(batch_sentences, padding=True, truncation=ESTRATEGIA)` |
| | relleno hasta la longitud máxima del modelo | `tokenizer(batch_sentences, padding='max_length', truncation=True)` o |
| | | `tokenizer(batch_sentences, padding='max_length', truncation=ESTRATEGIA)` |
| | relleno hasta una longitud específica | No es posible |
| truncamiento hasta una longitud específica | sin relleno | `tokenizer(batch_sentences, truncation=True, max_length=42)` o |
| | | `tokenizer(batch_sentences, truncation=ESTRATEGIA, max_length=42)` |
| | relleno hasta la longitud máxima del lote | `tokenizer(batch_sentences, padding=True, truncation=True, max_length=42)` o |
| | | `tokenizer(batch_sentences, padding=True, truncation=ESTRATEGIA, max_length=42)` |
| | relleno hasta la longitud máxima del modelo | No es posible |
| | relleno hasta una longitud específica | `tokenizer(batch_sentences, padding='max_length', truncation=True, max_length=42)` o |
| | | `tokenizer(batch_sentences, padding='max_length', truncation=ESTRATEGIA, max_length=42)` |
Loading