[hybrid] static model parallel dropout support deterministic RandomSeedGenerator

[wangxicoding]

PR types

New features

PR changes

APIs

Describe

static model parallel support deterministic RandomSeedGenerator.

如图，在模型并行中，对于duplicated变量需要确保dropout op的一致性，需要使用相同的随机种子生成器。而对于distributed变量为保证随机性，需要使用不同的随机种子生成器(相同种子理论上也可收敛)。

目前静态图中不支持在executor运行时切换随机种子生成器，故通过seed op来使用固定的随机种子生成器，以seed op的输出作为dropout的种子输入，确保dropout在不同卡上的随机性一致。

PR中添加了set_random_seed_generator来设置随机种子生成器，可通过对应的名称获取。同时由于dropout需要固定随机种子生成器的功能目前只在模型并行中有需求，所以在fleet.meta_parallel.parallel_layers添加中包含rng_name即随机种子生成器名称参数的dropout，供模型并行使用。

此外，由于在recompute中，需要固定前向和反向重计算前向时dropout的输入种子，在develop中，如果添加了dropout，则在前向中插入seed op保证随机性。由于本PR的dropout已添加了seed op确保了随机性，所以不需要重复插入。

使用方式：

import numpy as np
import paddle
import paddle.static as static
from paddle.framework.random import set_random_seed_generator
from paddle.distributed.fleet.meta_parallel.parallel_layers.random import dropout

paddle.enable_static()

set_random_seed_generator('local_seed', 123)
set_random_seed_generator('global_seed', 1234)

input = static.data(name="input", shape=[5, 5], dtype="float32")
res1 = dropout(
    input,
    p=0.3,
    training=True,
    mode='upscale_in_train',
    rng_name='local_seed')
res2 = dropout(
    input,
    p=0.3,
    training=True,
    mode='upscale_in_train',
    rng_name='global_seed')

in_np = np.ones([5, 5]).astype('float32')

exe = static.Executor()
res_list = [res1, res2]
for i in range(2):
    out1, out2 = exe.run(static.default_main_program(),
                         feed={"input": in_np},
                         fetch_list=res_list)
    print(out1, out2)

[paddle-bot-old]

Thanks for your contribution!
Please wait for the result of CI firstly. See Paddle CI Manual for details.

[gongweibao]

LGTM

[zhiqiu]

LGTM for backward.py