Set batchsize #29
Comments
|
你这边是多少张卡，单卡batchsize 64吗 |
|
我这是四张3090，单卡设置的16 |
|
那可以在初始的lr上除以4或者8试试，先除以8看看效果 |
好的，感谢哈！ |
你好，我最近尝试了bs 512和lr 2e-4，我使用的是四张卡，和您提供的代码参数一样，但是得到的结果和您的有较大的差距，下图是我的实验结果，我再想是不是因为参数guidance_scale的设置问题，因为论文中提到的是1.17，而代码中是1.06，麻烦您帮我分析一下，谢谢！ |
代码那个参数是test dataset的参数，paper里面的报的是val dataset的参数。而且没有预训练的情况下，cider 117是正常点数。 |
|
我是想在您的基础上继续研究的，论文中117.8和我复现的117.1还是有点差距，可能我添加了模块也不能提高0.7，我还是想更贴近你的结果，那论文中的指标结果是在val数据集得到的结果？还是论文中的指标结果是运行train_tclip得到的结果？感谢您的耐心回答。
…---Original---
From: ***@***.***>
Date: Mon, Apr 24, 2023 09:40 AM
To: ***@***.***>;
Cc: ***@***.******@***.***>;
Subject: Re: [buxiangzhiren/DDCap] Set batchsize (Issue #29)
那可以在初始的lr上除以4或者8试试，先除以8看看效果
你好，我最近尝试了bs 512和lr 2e-4，我使用的是四张卡，和您提供的代码参数一样，但是得到的结果和您的有较大的差距，下图是我的实验结果，我再想是不是因为参数guidance_scale的设置问题，因为论文中提到的是1.17，而代码中是1.06，麻烦您帮我分析一下，谢谢！
代码那个参数是test dataset的参数，paper里面的报的是val dataset的参数。而且没有预训练的情况下，cider 117是正常点数。
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you authored the thread.Message ID: ***@***.***>
|
|
117.8是val的结果，test的结果在table 10，0.7的误差在正常范围内，你换个随机种子多跑一次可能就可以达到了。你也可以试下trainable的clip(run tran_tclip)看下效果咋样，应该能高一个点的样子 |
|
好的，我在尝试尝试，感谢您的回答！
…---Original---
From: ***@***.***>
Date: Mon, Apr 24, 2023 10:39 AM
To: ***@***.***>;
Cc: ***@***.******@***.***>;
Subject: Re: [buxiangzhiren/DDCap] Set batchsize (Issue #29)
117.8是val的结果，test的结果在table 10，0.7的误差在正常范围内，你换个随机种子多跑一次可能就可以达到了。你也可以试下trainable的clip(run tran_tclip)看下效果咋样，应该能高一个点的样子
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you authored the thread.Message ID: ***@***.***>
|
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
你好，我现在正在复现你的代码，看到您的回答中提到batchsize的设置和lr有关系，那么，我想请问一下，我的batchsize设置为64，lr应该设置为多少更接近论文实现的指标？
The text was updated successfully, but these errors were encountered: