关于模型吞吐量和模型计算硬件

[XiaoqingNLP]

1. 发现模型吞吐量中间有一个跳跃式的增加，请问这个是因为什么呢？11 -> 40 K tokens
2. 我看了一下计算吞吐上显示 32 * A100，这是32 台机器下，每台机器8个A100卡吗？
3. 使用的是什么网卡呢？

[jayzzhou-thu]

1. 一开始我们使用了8卡A100，后续切换到了32卡A100，所以吞吐量有个约四倍的提升
2. 4台机器，每台8块A100，共32块A100
3. 目前网络使用的是400 Gbps的 IB

[fengyunzaidushi]

A100的大小是多少？40g还是80g？