epoch 10开始loss都为NaN

[ontheway-arch]

epoch 10开始loss都为NaN，现在跑到epoch 15还要继续吗？epoch 5 CIDEr就100了，到epoch 10 CIDEr逐渐降到77，这是什么缘故呢？

[buxiangzhiren]

你的总batch size是多少，正常应该是8*64。8张卡，每张64。这样学习率才能对上。不然要根据batch size调整lr

[ontheway-arch]

bs没改过，还是64，我用的3张卡，bs和lr要怎么调整呢

[buxiangzhiren]

可以看看这个https://zhuanlan.zhihu.com/p/64864995?utm_id=0

[buxiangzhiren]

相当于你现在batchsize是3 x 64，我原始设定的是8 x 64

[buxiangzhiren]

相当于你现在batchsize是364，我原始设定的是864

[buxiangzhiren]

lr应该是缩小这么多倍8/3

[ontheway-arch]

这里有公式吗 有点看不太懂

[buxiangzhiren]

可以看一下vq diffusion这边论文里面的公式推导。然后这篇论文里面有讲解了一些代码https://arxiv.org/pdf/2102.05379.pdf。

[buxiangzhiren]

可以看一下vq diffusion这边论文里面的公式推导。然后这篇论文里面有讲解了一些代码https://arxiv.org/pdf/2102.05379.pdf。

在14页左右

[verigle]

lr应该是缩小这么多倍8/3

缩小batchsize 会影响精度吗？通过梯度累加方式能让小batchsize 和大batchsize 保持一样的精度吗？

[buxiangzhiren]

缩小应该是会影响精度的，不过影响应该不会很大。可以用梯度累加