容易过拟合

[Sundy1219]

您好，你们的工程非常棒，集合了小型的优秀的唤醒词模型以及提出创新性的了max_pooling loss．从我们用自己的数据跑你们的模型来看，比较容易过拟合，具体表现：
１，训练集loss过快收敛，训练集acc过快的到达95%以上，大概两个step的时间

2，验证集的数据稍微和训练集有些不一致，loss就比较大，验证集acc=0．如果从同类的数据集中划出一部分数据作为验证集，剩余的作为训练集，loss就比较正常，acc也能达到95%以上.

3，和验证集比较类似的测试集（包括纯干净的数据)，测试结果也不佳，激活很差，有的激活率为0

4，从我们的实验结果来看，我们最终的测试集得和训练集尽可能的像，哪怕有比较小的差距，测试结果都是一边倒，个位数的识别率．

5，不知道你们有没有这样的情况，或者说我们还有哪里的技术点没有get到？有没有一些解决方案？
谢谢，期待你们的回复．

[robin1001]

确实会有这样的情况，目前模型确实很容易 overfit 到训练数据上，我们也在探索解决方案，以提高模型的泛化性能。大家可以多沟通，群策群力，一起想办法解决这个问题。

[robin1001]

这也是深度学习的常见问题之一，对于容易过拟合的问题，一般的解决方案是：

1. 数据层面，提供多样化的数据。
2. 模型层面，使用防止过拟合的方法，如 Drouput, L2 等等。

[Sundy1219]

很感谢您的回复
那我们也大致明白这两个点了，我们先在这两个方面做些尝试．我们很愿意和你们多沟通交流，感谢！！！

[wizardk]

或者减小模型的复杂度？

[duj12]

hope this PR will help!
[KWS with CTC]#135,
pretrained FSMN model is recommended.

[yangyyt]

很感谢您的回复 那我们也大致明白这两个点了，我们先在这两个方面做些尝试．我们很愿意和你们多沟通交流，感谢！！！

您好，你们的工程非常棒，集合了小型的优秀的唤醒词模型以及提出创新性的了max_pooling loss．从我们用自己的数据跑你们的模型来看，比较容易过拟合，具体表现： １，训练集loss过快收敛，训练集acc过快的到达95%以上，大概两个step的时间

2，验证集的数据稍微和训练集有些不一致，loss就比较大，验证集acc=0．如果从同类的数据集中划出一部分数据作为验证集，剩余的作为训练集，loss就比较正常，acc也能达到95%以上.

3，和验证集比较类似的测试集（包括纯干净的数据)，测试结果也不佳，激活很差，有的激活率为0

4，从我们的实验结果来看，我们最终的测试集得和训练集尽可能的像，哪怕有比较小的差距，测试结果都是一边倒，个位数的识别率．

5，不知道你们有没有这样的情况，或者说我们还有哪里的技术点没有get到？有没有一些解决方案？ 谢谢，期待你们的回复．

我也发现了这种问题，请问你们现在解决这种问题了吗？

[yangyyt]

或者减小模型的复杂度？

160k的mdtc和37k的mdtc都是如此效果，并没有解决问题

[XinWangg]

@yangyyt 请问有找到比较好的解决方法没~

[xing-bing]

很感谢您的回复 那我们也大致明白这两个点了，我们先在这两个方面做些尝试．我们很愿意和你们多沟通交流，感谢！！！请问一下有什么好的解决方法吗