提问

[54dddd]

您好！我想在10k数据集（使用t5-large）上复现的话，请问max_steps这个参数是不是可以调低？我设置max_steps=27000（大约运行50个epoch）只能达到hits@1=0.18，hit@10=0.31的结果，无法达到论文中的结果
另外还想请教一下，我只有一个A100的卡可用，我跑哪个大小数据集好一些？多少个epochs比较合理呢？

[ArvinZhuang]

您好, 这个repo能达到的分数差不多就是这么高了, 我也无法复现论文中的分数. 你可以看看我们另外一个repo: https://github.com/ArvinZhuang/DSI-QG, 我有用到query generation的方法去提升DSI, converge也更快. 或许能满足你一个A100的情况

[54dddd]

万分感谢！哥！

…

------------------ 原始邮件 ------------------ 发件人: "Shengyao ***@***.***>; 发送时间: 2024年10月14日(星期一) 中午11:30 收件人: ***@***.***>; 抄送: ***@***.***>; ***@***.***>; 主题: Re: [ArvinZhuang/DSI-transformers] 提问 (Issue #11) 您好, 这个repo能达到的分数差不多就是这么高了, 我也无法复现论文中的分数. 你可以看看我们另外一个repo: https://github.com/ArvinZhuang/DSI-QG, 我有用到query generation的方法去提升DSI, converge也更快. 或许能满足你一个A100的情况 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[54dddd]

您好！我正在尝试复现您的DSI-QG论文。关于您论文中提到的cross-encoder ranker，是在执行完了查询生成后运行吗？我看到您在GitHub项目的评论区下留言说该部分的代码仍然存在问题，不知道现在是否能正常运行？

…

------------------ 原始邮件 ------------------ 发件人: "ArvinZhuang/DSI-transformers" ***@***.***>; 发送时间: 2024年10月14日(星期一) 中午11:30 ***@***.***>; ***@***.******@***.***>; 主题: Re: [ArvinZhuang/DSI-transformers] 提问 (Issue #11) 您好, 这个repo能达到的分数差不多就是这么高了, 我也无法复现论文中的分数. 你可以看看我们另外一个repo: https://github.com/ArvinZhuang/DSI-QG, 我有用到query generation的方法去提升DSI, converge也更快. 或许能满足你一个A100的情况 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[ArvinZhuang]

可以暂时跳过cross-encoder ranker这一步. 如果生成的query数量足够,这一步不是很必要.