Add T5-Small training model

[dynamicheart]

No description provided.

[dynamicheart]

Running Log:
run20230816220901.zip

[yuzhou03]

有一些import语句没有引用，可以去掉。

[dynamicheart]

已删除

[shh2000]

请计算一下这个case的MFU。对于transformer decoder模型单机训练，如果MFU不在0.2-0.6之间，需要确定下是原始的Model类有问题，还是训练pipeline计算p_core的方式存在无用部分。如果是采用的Model类，例如T5ForGeneratexxx有问题，请将其裸模型无梯度dummy_input前向传播的MFU计算一下标注在readme中。

[dynamicheart]

params: 60 million(https://github.com/google-research/text-to-text-transfer-transformer)
A100 fp32: 19.5 TFLOPS(https://www.nvidia.com/en-us/data-center/a100/)

p_core：186.49376621231423
tokens per sample: 1024

MFU= 186 * 1024 * 60000000 * 6 / (19.5 * 1000 * 1000 * 1000 * 1000) / 8 = 43.95%

[dynamicheart]

经过更正，模型fp32训练的GEMM使用的是tf32的计算，A100 tf32算力为156 TFLOPS

186 * 1024 * 60000000 * 6 / (156 * 1000 * 1000 * 1000 * 1000) / 8 = 5.49 %

[shh2000]

经过更正，模型fp32训练的GEMM使用的是tf32的计算，A100 tf32算力为156 TFLOPS

186 * 1024 * 60000000 * 6 / (156 * 1000 * 1000 * 1000 * 1000) / 8 = 5.49 %

请使用类似：
dummyinput = torch.randn(xx,xx,xx).float().cuda()
torch.cuda.synchronize()
for i in range(10000):
y = model(x)
torch.cuda.synchronize()
的方法计算一下T5ForGeneratexxx这个module类本身的MFU，如果也在5.49%附近，则说明添加进perf及计算p_core的过程没有异常

[dynamicheart]

run20230829110822.zip
在独占dgx服务器的情况下：

1x8的MFU更正为：293.32947086516964 * 1024 * 60000000 * 6 / (156 * 1000 * 1000 * 1000 * 1000) / 8 = 8.66%

关于上述的MFU统计方法，稍后我再尝试下。

[dynamicheart]

单卡、只统计forward、统计时间前后加synchronize:

MFU = 123.43439543146734 * 1024 * 60000000 * 2 / (156 * 1000 * 1000 * 1000 * 1000) = 9.72% (注意：这里是参数数量 * 2)

修改方法如下：

+        num_steps = 10000
         for step, batch in enumerate(data_loader):
+            if step >= num_steps:
+                break
             batch = self.process_batch(batch, device)

+            torch.cuda.synchronize()
             pure_start_time = time.time()

             outputs = model(**batch)
             loss = outputs.loss

-            self.accelerator.backward(loss)
-            optimizer.step()
-            self.lr_scheduler.step()
-            optimizer.zero_grad()
+            #self.accelerator.backward(loss)
+            #optimizer.step()
+            #self.lr_scheduler.step()
+            #optimizer.zero_grad()

             if step % self.config.log_freq == 0:
                 print("Train Step " + str(step) + "/" + str(len(data_loader)) +
                       ", Loss : " + str(float(loss)))
-
+            torch.cuda.synchronize()
             self.training_state.purecomputetime += time.time(
             ) - pure_start_time

日志：
run20230829191725.zip

[shh2000]

我看只占用了4.3GiB VRAM。可否适当调大使得p_core再高一些，比方说把两个batchsize都调为32或64

[dynamicheart]

可以调高试一下，当时是遵循了huggingface transformers的标准配置

[shh2000]

麻烦确认下，这里没有对DDP并行、amp等的处理，是已经包含在了accelerate.prepare()函数中了吗

[dynamicheart]

accelerate.prepare()是会将模型转成DDP模型，accelerate.prepare()不会进行AMP处理

[shh2000]

这个结果没有问题。麻烦补充一下1*1/2*8的实验，不用填写e2etime和所有训练结果相关的指标，只需要稳定运行10-20分钟计算一个p_core出来即可

[dynamicheart]

OK

[dynamicheart]

1x8 提升到bs=32后的日志，内存占用36GB，收敛正常
run20230914180104.zip

MFU = 400.26068691305795 * 1024 * 60000000 * 6 / (156 * 1000 * 1000 * 1000 * 1000) / 8 = 11.8%

[dynamicheart]

1x1 运行两小时以上日志：
run20230918111640.zip