nucenes-mini Dataset: depth trainning problems

[JLeere]

您好, 非常感谢你出色的工作,, 我在复现模型时遇到一些问题请教一下. 我使用nucenes-mini 数据集在3090中微调depth模型, 我将Voxel-size参数调到您推荐的大小, 然后将contracted_coord, infinite_range,auxiliary_frame都设置为了False, 打印出generate_images_pred预测的图像很多都是大面积的失真, 然后观察输出的深度的min和max差距很小, 均为最小0.1附近.
按照您的经验, 这可能是什么原因造成的呢?

[LinShan-Bin]

感谢您的关注！有三个可能：

1. 改变超参下微调模型时，预训练模型可能不是一个很好的初始化；
2. 模型刚开始训练的时候初始深度较小，投影时全部被 mask 掉而没有投到参考图片上，可以尝试增大采样的最小距离；
3. loss_distortion 的权重过大，可能要根据其他参数调整，尝试降低 loss_distortion 的权重。