[New Feature] MM Grounding DINO

[hhaAndroid]

https://github.com/open-mmlab/mmdetection/blob/dev-3.x/configs/mm_grounding_dino/README.md

[hhaAndroid]

#11321

[hhaAndroid]

#11326

[hhaAndroid]

#11322

[hhaAndroid]

#11342

[wu33learn]

#11342请请问训练自己数据集时，包含多个类别，报错，[data['category_id'] = self.cat_ids[label] IndexError: list index out of range]如何解决，另外，我训练好几轮，一直都是第一个epoch效果最好，但AP,AR都是-1。感谢！

[xuans29]

#11342请请问训练自己数据集时，包含多个类别，报错，[data['category_id'] = self.cat_ids[label] IndexError: list index out of range]如何解决，另外，我训练好几轮，一直都是第一个epoch效果最好，但AP,AR都是-1。感谢！
您好，请问您解决这个问题了吗，我也出现了这个情况

[wu33learn]

嗯，你看你数据集对不对，不能有subclass啥的，应该是数据集的问题，你找找mmdetection的文档有指定的标准数据集格式。他这个代码应该是都没错的，我是改了数据集json文件就好了。 吴国成 ***@***.*** 郑州大学 学生

…

---Original--- From: ***@***.***> Date: Sun, Oct 27, 2024 16:19 PM To: ***@***.***>; Cc: ***@***.******@***.***>; Subject: Re: [open-mmlab/mmdetection] [New Feature] MM Grounding DINO (Issue#11313) #11342请请问训练自己数据集时，包含多个类别，报错，[data['category_id'] = self.cat_ids[label] IndexError: list index out of range]如何解决，另外，我训练好几轮，一直都是第一个epoch效果最好，但AP,AR都是-1。感谢！ 您好，请问您解决这个问题了吗，我也出现了这个情况 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>

[librety123z]

嗯，你看你数据集对不对，不能有subclass啥的，应该是数据集的问题，你找找mmdetection的文档有指定的标准数据集格式。他这个代码应该是都没错的，我是改了数据集json文件就好了。

吴国成
@.***

郑州大学
学生
…

请问您使用的是coco数据集格式还是ovdg数据集格式呢？我两种数据集格式都有使用，但是仍然出现这样的问题，我尝试使用了以下几种格式进行训练：
1、参考coco标注：
{
"images": [
{
"height": 4096,
"width": 2896,
"id": 0,
"file_name": "0002-2.png"
},
{
"height": 4096,
"width": 2896,
"id": 1,
"file_name": "0001-1.png"
}
// 更多图像...
],
"annotations": [
{
"iscrowd": 0,
"category_id": 0,
"id": 0,
"image_id": 0,
"bbox": [1818, 734, 1994, 797],
"area": 3792,
"segmentation": []
},
{
"iscrowd": 0,
"category_id": 0,
"id": 1,
"image_id": 0,
"bbox": [1826, 1519, 2202, 1578],
"area": 1296,
"segmentation": []
},
{
"iscrowd": 0,
"category_id": 0,
"id": 2,
"image_id": 0,
"bbox": [1777, 2288, 1889, 2558],
"area": 76710,
"segmentation": []
}
// 更多标注...
],
"categories": [
{
"id": 0,
"name": "cat"
},
{
"id": 1,
"name": "dog"
},
{
"id": 2,
"name": "mouse"
}
]
}
2、参考ovdg格式：
{
"filename": "20002-2.png",
"height": 4096,
"width": 2896,
"detection": {
"instances": [
{"bbox": [1818, 734, 1994, 797], "label": 0, "category": "cat"},
{"bbox": [1826, 1519, 2202, 1578], "label": 1, "category": "dog"},
{"bbox": [1777, 2288, 1889, 2558], "label": 2, "category": "mouse"}
// 更多实例...
]
}
}
{
"filename": "10001-1.png",
"height": 4096,
"width": 2896,
"detection": {
"instances": [
{"bbox": [1818, 734, 1994, 797], "label": 0, "category": "cat"},
{"bbox": [1826, 1519, 2202, 1578], "label": 1, "category": "dog"},
{"bbox": [1776, 2288, 1894, 2558], "label": 2, "category": "mouse"}
// 更多实例...
]
}
}
// 更多图像...
3、参考https://github.com/open-mmlab/mmdetection/blob/main/configs/mm_grounding_dino/usage_zh-CN.md链接中的cat数据集格式：
https://download.openmmlab.com/mmyolo/data/cat_dataset.zip
{
"images": [
{
"height": 4096,
"width": 2896,
"id": 0,
"file_name": "0002-2.png"
},
{
"height": 4096,
"width": 2896,
"id": 1,
"file_name": "0001-1.png"
}
// 更多图像...
],
"categories": [
{
"id": 0,
"name": "cat"
},
{
"id": 1,
"name": "dog"
},
{
"id": 2,
"name": "mouse"
}
],
"annotations": [
{
"iscrowd": 0,
"category_id": 0,
"id": 0,
"image_id": 0,
"bbox": [1818, 734, 1994, 797],
"area": 3792,
"segmentation": []
},
{
"iscrowd": 0,
"category_id": 0,
"id": 1,
"image_id": 0,
"bbox": [1826, 1519, 2202, 1578],
"area": 1296,
"segmentation": []
},
{
"iscrowd": 0,
"category_id": 0,
"id": 2,
"image_id": 0,
"bbox": [1777, 2288, 1889, 2558],
"area": 76710,
"segmentation": []
}
// 更多标注...
]
}