关于再训练

[shawroad]

直接使用权重，效果已经很好了。但是在专有领域，为了进一步提升效果，进行了再训练。 训练的loss为: 两个句子最终的编码向量计算cos，然后再进行回归计算(和原始的标签做MSELoss)， 不知道和你的预训练是否有gap? 望指点!!!

[renmada]

• loss具体的实现可以看一下官方的源码， https://github.com/UKPLab/sentence-transformers/tree/master/examples/training/sts，
• 建议也可以试试simcse，可能会比这个效果好

[shawroad]

我试过了。 发现这个权重效果特别好。比simcse的有监督在我的任务上还高3%个点(准确率)。

[Jh10555]

我试过了。 发现这个权重效果特别好。比simcse的有监督在我的任务上还高3%个点(准确率)。

人工构造了三元组数据吗

[shawroad]

没有 直接用全部的正样本训练的。

[Jh10555]

没有 直接用全部的正样本训练的。

simcse的有监督是三元组输入呀

[shawroad]

我知道 但是我输入正样本 损失相当于采样无监督的损失。

[shawroad]

https://github.com/shawroad/Semantic-Textual-Similarity-Pytorch 可以参考我的这个仓库

[Jh10555]

https://github.com/shawroad/Semantic-Textual-Similarity-Pytorch 可以参考我的这个仓库

好的 感谢