-
Notifications
You must be signed in to change notification settings - Fork 764
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
update flashmask doc #6748
base: develop
Are you sure you want to change the base?
update flashmask doc #6748
Conversation
感谢你贡献飞桨文档,文档预览构建中,Docs-New 跑完后即可预览,预览链接:http://preview-pr-6748.paddle-docs-preview.paddlepaddle.org.cn/documentation/docs/zh/api/index_cn.html |
- **startend_row_indices** (Tensor) | ||
- 稀疏掩码索引,shape 为 [batch_size, num_heads, seq_len, {1, 2, 4}],数据类型为 int32。 | ||
num_heads 为 1 或与 k 的 num_heads 相同,num_heads 取 1 时将被广播到与 k 的 num_heads 相同。 | ||
根据 causal 参数的取值不同,startend_row_indices 可取不同形状并具有不同含义。 | ||
- 当 `causal=True` 且 shape 取 [batch_size, num_heads, seq_len, 1] 时, | ||
startend_row_indices 的值 r 表示 Score 矩阵中左下三角从第 r 行下方(包括)的元素将被 mask | ||
- 当 `causal=True` 且 shape 取 [batch_size, num_heads, seq_len, 2] 时, | ||
startend_row_indices 的值 r1,r2 表示 Score 矩阵中左下三角从第 r1 行下方(包括)但在第 r2 行上方(不包括)的元素将被 mask | ||
- 当 `causal=False` 且 shape 取 [batch_size, num_heads, seq_len, 2] 时, | ||
startend_row_indices 的值 r1,r2 表示 Score 矩阵中左下三角从第 r1 行下方(包括)的元素将被 mask,右上三角从第 r2 行上方(不包括)的元素将被 mask | ||
- 当 `causal=False` 且 shape 取 [batch_size, num_heads, seq_len, 4] 时 (尚未支持), | ||
startend_row_indices 的值 r1,r2,r3,r4 表示 Score 矩阵中左下三角从第 r1 行下方(包括)但在第 r2 行上方(不包括)的元素将被 mask,右上三角从第 r3 行下方(包括)但在第 r4 行上方(不包括)的元素将被 mask |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
- **startend_row_indices** (Tensor) | |
- 稀疏掩码索引,shape 为 [batch_size, num_heads, seq_len, {1, 2, 4}],数据类型为 int32。 | |
num_heads 为 1 或与 k 的 num_heads 相同,num_heads 取 1 时将被广播到与 k 的 num_heads 相同。 | |
根据 causal 参数的取值不同,startend_row_indices 可取不同形状并具有不同含义。 | |
- 当 `causal=True` 且 shape 取 [batch_size, num_heads, seq_len, 1] 时, | |
startend_row_indices 的值 r 表示 Score 矩阵中左下三角从第 r 行下方(包括)的元素将被 mask | |
- 当 `causal=True` 且 shape 取 [batch_size, num_heads, seq_len, 2] 时, | |
startend_row_indices 的值 r1,r2 表示 Score 矩阵中左下三角从第 r1 行下方(包括)但在第 r2 行上方(不包括)的元素将被 mask | |
- 当 `causal=False` 且 shape 取 [batch_size, num_heads, seq_len, 2] 时, | |
startend_row_indices 的值 r1,r2 表示 Score 矩阵中左下三角从第 r1 行下方(包括)的元素将被 mask,右上三角从第 r2 行上方(不包括)的元素将被 mask | |
- 当 `causal=False` 且 shape 取 [batch_size, num_heads, seq_len, 4] 时 (尚未支持), | |
startend_row_indices 的值 r1,r2,r3,r4 表示 Score 矩阵中左下三角从第 r1 行下方(包括)但在第 r2 行上方(不包括)的元素将被 mask,右上三角从第 r3 行下方(包括)但在第 r4 行上方(不包括)的元素将被 mask | |
- **startend_row_indices** (Tensor) | |
- 稀疏掩码索引,shape 为 [batch_size, num_heads, seq_len, {1, 2, 4}],数据类型为 int32。 | |
num_heads 为 1 或与 k 的 num_heads 相同,num_heads 取 1 时将被广播到与 k 的 num_heads 相同。 | |
根据 causal 参数的取值不同,startend_row_indices 可取不同形状并具有不同含义。 | |
- 当 `causal=True` 且 shape 取 [batch_size, num_heads, seq_len, 1] 时, | |
startend_row_indices 的值 r 表示 Score 矩阵中左下三角从第 r 行下方(包括)的元素将被 mask | |
- 当 `causal=True` 且 shape 取 [batch_size, num_heads, seq_len, 2] 时, | |
startend_row_indices 的值 r1,r2 表示 Score 矩阵中左下三角从第 r1 行下方(包括)但在第 r2 行上方(不包括)的元素将被 mask | |
- 当 `causal=False` 且 shape 取 [batch_size, num_heads, seq_len, 2] 时, | |
startend_row_indices 的值 r1,r2 表示 Score 矩阵中左下三角从第 r1 行下方(包括)的元素将被 mask,右上三角从第 r2 行上方(不包括)的元素将被 mask | |
- 当 `causal=False` 且 shape 取 [batch_size, num_heads, seq_len, 4] 时 (尚未支持), | |
startend_row_indices 的值 r1,r2,r3,r4 表示 Score 矩阵中左下三角从第 r1 行下方(包括)但在第 r2 行上方(不包括)的元素将被 mask,右上三角从第 r3 行下方(包括)但在第 r4 行上方(不包括)的元素将被 mask。 | |
.. image:: ../../../../images/flashmask.jpeg | ||
:width: 1000px | ||
:height: 2000px | ||
:align: center |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
可以参考
docs/docs/guides/06_distributed_training/pipeline_parallel_cn.rst
Lines 11 to 14 in c2c24b8
.. image:: ./images/pipeline-1.png | |
:width: 400 | |
:alt: pipeline | |
:align: center |
- **return_softmax_lse** (bool,可选) - 是否返回 softmax_lse 的结果。默认值为 False。 | ||
- **return_seed_offset** (bool,可选) - 是否返回 seed_offset 的结果。默认值为 False。 | ||
- **fixed_seed_offset** (Tensor,可选) - 固定 Dropout 的 offset seed. | ||
- **rng_name** (str,可选) - 随机数生成器名称 |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
顺便加个默认的说明
|
No description provided.