基于开放集识别的开放域少样本视觉分类方法
环境配置: python3.8 jittor1.3.8.5
方法思路: 步骤1、训练分类模型 步骤2、利用步骤1训练好的模型提取图像表征,并计算每个类别的特征的原型(均值) 步骤3、训练分布外检测(OOD)模型,将步骤1提取的表征映射到原型空间,使得每个类别的特征接近于原型。
测试步骤: 利用分类模型和OOD模型检验测试样本表征与对应原型的距离,若距离大于阈值T,则使用预训练的CLIP模型进行zero-shot预测;否则使用步骤1训练的分类模型进行预测。
预训练模型: 模型:BEiT 仓库:https://github.com/microsoft/unilm/blob/master/beit2
参数量之和:4.5M
qq:1908843584