Skip to content

Commit

Permalink
update data lists
Browse files Browse the repository at this point in the history
  • Loading branch information
HamPerdredes committed Apr 23, 2023
1 parent f1ab18c commit cac4580
Show file tree
Hide file tree
Showing 5 changed files with 56 additions and 0 deletions.
11 changes: 11 additions & 0 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -9,6 +9,17 @@ Semi-Supervised Object Detection~(SSOD), aiming to explore unlabeled data for bo
# Training
Code will be released soon.

## Data preparation
For partial labeled setting, please split the DOTA-v1.5's train set via the released data list and split tool at `./tools/data/dota/split_dota_via_list.py`

For fully labeled setting, we use DOTA-V1.5 train as labeled set and DOTA-V1.5 test as unlabeled set, the model is evaluated on DOTA-V1.5 val.

Details about split DOTA into patches, please follow [MMRotate's official implementation](https://github.com/open-mmlab/mmrotate/blob/main/tools/data/dota/README.md).

## Todo
- [x] Release data list
- [ ] Release train code & guide
- [ ] Release model weights & logs

## Acknowledgement
Many thanks to the brilliant works ([DenseTeacher](https://github.com/Megvii-BaseDetection/DenseTeacher), [SoftTeacher](https://github.com/microsoft/SoftTeacher) and [DMCount](https://github.com/cvlab-stonybrook/DM-Count))!
Expand Down
1 change: 1 addition & 0 deletions data_lists/10p_list.json
Original file line number Diff line number Diff line change
@@ -0,0 +1 @@
["P1556.png", "P2483.png", "P2055.png", "P0163.png", "P1401.png", "P2532.png", "P0909.png", "P2517.png", "P0273.png", "P0738.png", "P1130.png", "P0373.png", "P2528.png", "P1804.png", "P1600.png", "P0010.png", "P2141.png", "P1646.png", "P2585.png", "P0800.png", "P1359.png", "P0310.png", "P1161.png", "P1660.png", "P0464.png", "P1535.png", "P1641.png", "P0363.png", "P0435.png", "P0461.png", "P0487.png", "P0782.png", "P2435.png", "P2437.png", "P0067.png", "P0769.png", "P2628.png", "P2163.png", "P1307.png", "P2792.png", "P0602.png", "P0714.png", "P0209.png", "P2221.png", "P0458.png", "P2527.png", "P2409.png", "P1152.png", "P2018.png", "P1871.png", "P1158.png", "P1673.png", "P1078.png", "P2321.png", "P2682.png", "P2746.png", "P0821.png", "P1243.png", "P1688.png", "P0495.png", "P0370.png", "P2066.png", "P0187.png", "P1928.png", "P0248.png", "P0517.png", "P0301.png", "P0555.png", "P2123.png", "P1198.png", "P1686.png", "P2543.png", "P1534.png", "P2190.png", "P0981.png", "P2134.png", "P2605.png", "P0049.png", "P0562.png", "P0938.png", "P2334.png", "P0061.png", "P0731.png", "P1709.png", "P1339.png", "P1059.png", "P2747.png", "P0100.png", "P2644.png", "P0603.png", "P0144.png", "P0631.png", "P1859.png", "P2248.png", "P1962.png", "P1395.png", "P0617.png", "P2671.png", "P1317.png", "P1524.png", "P1069.png", "P1639.png", "P1414.png", "P2759.png", "P0691.png", "P2554.png", "P1427.png", "P0883.png", "P1200.png", "P2616.png", "P0505.png", "P1449.png", "P1319.png", "P2651.png", "P2415.png", "P0282.png", "P1608.png", "P0966.png", "P0627.png", "P0453.png", "P2494.png", "P1181.png", "P0220.png", "P1299.png", "P1702.png", "P1912.png", "P1705.png", "P2642.png", "P0005.png", "P2206.png", "P2565.png", "P2103.png", "P1515.png", "P0881.png", "P0109.png", "P2770.png", "P0775.png", "P0867.png", "P2049.png", "P0455.png", "P2687.png"]
1 change: 1 addition & 0 deletions data_lists/20p_list.json
Original file line number Diff line number Diff line change
@@ -0,0 +1 @@
["P0535.png", "P0867.png", "P2605.png", "P0100.png", "P1344.png", "P1661.png", "P2702.png", "P0553.png", "P2505.png", "P0596.png", "P2403.png", "P1515.png", "P2133.png", "P1413.png", "P2628.png", "P1317.png", "P2122.png", "P0282.png", "P2206.png", "P1361.png", "P1080.png", "P2545.png", "P0517.png", "P1495.png", "P2471.png", "P0417.png", "P0367.png", "P1152.png", "P2622.png", "P0631.png", "P0691.png", "P1109.png", "P2016.png", "P1962.png", "P0453.png", "P0310.png", "P0067.png", "P2483.png", "P1200.png", "P2123.png", "P2682.png", "P1392.png", "P1600.png", "P0289.png", "P0489.png", "P2409.png", "P0619.png", "P1822.png", "P1912.png", "P2670.png", "P0800.png", "P0064.png", "P0870.png", "P1493.png", "P2175.png", "P2705.png", "P0363.png", "P1341.png", "P2601.png", "P1652.png", "P0554.png", "P2055.png", "P0617.png", "P1255.png", "P0209.png", "P2611.png", "P0360.png", "P0769.png", "P0052.png", "P0248.png", "P0292.png", "P0000.png", "P0538.png", "P0909.png", "P2642.png", "P0603.png", "P0597.png", "P1465.png", "P2190.png", "P0005.png", "P1299.png", "P1739.png", "P0731.png", "P1139.png", "P2260.png", "P2433.png", "P0829.png", "P0565.png", "P2759.png", "P0220.png", "P0505.png", "P1414.png", "P0187.png", "P1198.png", "P1793.png", "P0023.png", "P0555.png", "P0850.png", "P1859.png", "P1181.png", "P0627.png", "P0133.png", "P1649.png", "P0840.png", "P0288.png", "P1158.png", "P2157.png", "P0438.png", "P2472.png", "P1078.png", "P0370.png", "P0652.png", "P2747.png", "P0993.png", "P0521.png", "P2397.png", "P0750.png", "P0762.png", "P2437.png", "P2321.png", "P2103.png", "P1130.png", "P0415.png", "P1891.png", "P2687.png", "P1645.png", "P0981.png", "P1788.png", "P2517.png", "P1804.png", "P1702.png", "P0223.png", "P2696.png", "P1401.png", "P0373.png", "P0201.png", "P0925.png", "P0978.png", "P1673.png", "P2049.png", "P2066.png", "P0487.png", "P2494.png", "P1047.png", "P2729.png", "P2362.png", "P2018.png", "P1497.png", "P2792.png", "P0461.png", "P2107.png", "P1709.png", "P1685.png", "P0821.png", "P2565.png", "P2651.png", "P0562.png", "P0495.png", "P2248.png", "P2746.png", "P1893.png", "P1998.png", "P2163.png", "P0250.png", "P1871.png", "P0085.png", "P1069.png", "P1675.png", "P2616.png", "P1556.png", "P0345.png", "P2118.png", "P1714.png", "P2134.png", "P2644.png", "P1705.png", "P0972.png", "P0001.png", "P2253.png", "P0779.png", "P0227.png", "P1276.png", "P1951.png", "P2302.png", "P1646.png", "P0455.png", "P1059.png", "P0804.png", "P2334.png", "P1935.png", "P0464.png", "P2151.png", "P2716.png", "P0109.png", "P2646.png", "P2203.png", "P1174.png", "P2189.png", "P2770.png", "P1319.png", "P2415.png", "P0782.png", "P1427.png", "P2554.png", "P1243.png", "P0938.png", "P2527.png", "P1587.png", "P0714.png", "P2204.png", "P0586.png", "P1258.png", "P1913.png", "P0049.png", "P0738.png", "P0921.png", "P0913.png", "P1339.png", "P1534.png", "P2532.png", "P1688.png", "P2221.png", "P0713.png", "P0232.png", "P1502.png", "P0716.png", "P0144.png", "P0883.png", "P0218.png", "P1987.png", "P0881.png", "P0435.png", "P0163.png", "P1928.png", "P0301.png", "P0966.png", "P0010.png", "P2457.png", "P1395.png", "P2141.png", "P2672.png", "P2028.png", "P1359.png", "P1079.png", "P1660.png", "P2380.png", "P2423.png", "P2543.png", "P2278.png", "P1325.png", "P1641.png", "P0700.png", "P2656.png", "P0845.png", "P0458.png", "P2435.png", "P0042.png", "P0355.png", "P2528.png", "P2671.png", "P2585.png", "P1686.png", "P1519.png", "P0273.png", "P1524.png", "P0093.png", "P1307.png", "P0775.png", "P1438.png", "P1535.png", "P2002.png", "P1639.png", "P2692.png", "P0602.png", "P2364.png", "P0593.png", "P1608.png", "P1161.png", "P0061.png", "P2057.png", "P1449.png", "P0780.png"]
1 change: 1 addition & 0 deletions data_lists/30p_list.json
Original file line number Diff line number Diff line change
@@ -0,0 +1 @@
["P0677.png", "P2014.png", "P0987.png", "P0099.png", "P0826.png", "P2454.png", "P2179.png", "P0116.png", "P1193.png", "P1874.png", "P1868.png", "P1387.png", "P2522.png", "P0426.png", "P2777.png", "P1469.png", "P0322.png", "P1389.png", "P2735.png", "P0303.png", "P0222.png", "P2007.png", "P2250.png", "P1214.png", "P1340.png", "P1790.png", "P1599.png", "P1199.png", "P2750.png", "P1674.png", "P0707.png", "P2615.png", "P2356.png", "P2390.png", "P1010.png", "P1353.png", "P2114.png", "P0039.png", "P0605.png", "P1638.png", "P1846.png", "P0766.png", "P2067.png", "P0944.png", "P2377.png", "P2466.png", "P0332.png", "P2162.png", "P2560.png", "P1540.png", "P1251.png", "P1707.png", "P0371.png", "P2287.png", "P2073.png", "P0263.png", "P1357.png", "P0734.png", "P1482.png", "P2490.png", "P2783.png", "P2279.png", "P0149.png", "P2382.png", "P0699.png", "P1089.png", "P1851.png", "P2237.png", "P2034.png", "P2631.png", "P1191.png", "P0430.png", "P0973.png", "P0225.png", "P0786.png", "P0744.png", "P1977.png", "P1697.png", "P0753.png", "P1173.png", "P1052.png", "P0176.png", "P2395.png", "P1211.png", "P0203.png", "P0448.png", "P2251.png", "P2693.png", "P2289.png", "P1616.png", "P0848.png", "P1757.png", "P0183.png", "P2311.png", "P0914.png", "P2017.png", "P0221.png", "P1499.png", "P2775.png", "P0885.png", "P1343.png", "P2283.png", "P0252.png", "P1399.png", "P1954.png", "P0285.png", "P2306.png", "P2319.png", "P0340.png", "P1776.png", "P1727.png", "P2001.png", "P2304.png", "P0481.png", "P2804.png", "P0204.png", "P0450.png", "P0428.png", "P1507.png", "P1054.png", "P0308.png", "P1265.png", "P2793.png", "P2089.png", "P2444.png", "P2247.png", "P0940.png", "P0070.png", "P1308.png", "P2010.png", "P1794.png", "P1155.png", "P2076.png", "P0202.png", "P0783.png", "P1297.png", "P0591.png", "P0074.png", "P1607.png", "P2659.png", "P2080.png", "P0535.png", "P0867.png", "P2605.png", "P0100.png", "P1344.png", "P1661.png", "P2702.png", "P0553.png", "P2505.png", "P0596.png", "P2403.png", "P1515.png", "P2133.png", "P1413.png", "P2628.png", "P1317.png", "P2122.png", "P0282.png", "P2206.png", "P1361.png", "P1080.png", "P2545.png", "P0517.png", "P1495.png", "P2471.png", "P0417.png", "P0367.png", "P1152.png", "P2622.png", "P0631.png", "P0691.png", "P1109.png", "P2016.png", "P1962.png", "P0453.png", "P0310.png", "P0067.png", "P2483.png", "P1200.png", "P2123.png", "P2682.png", "P1392.png", "P1600.png", "P0289.png", "P0489.png", "P2409.png", "P0619.png", "P1822.png", "P1912.png", "P2670.png", "P0800.png", "P0064.png", "P0870.png", "P1493.png", "P2175.png", "P2705.png", "P0363.png", "P1341.png", "P2601.png", "P1652.png", "P0554.png", "P2055.png", "P0617.png", "P1255.png", "P0209.png", "P2611.png", "P0360.png", "P0769.png", "P0052.png", "P0248.png", "P0292.png", "P0000.png", "P0538.png", "P0909.png", "P2642.png", "P0603.png", "P0597.png", "P1465.png", "P2190.png", "P0005.png", "P1299.png", "P1739.png", "P0731.png", "P1139.png", "P2260.png", "P2433.png", "P0829.png", "P0565.png", "P2759.png", "P0220.png", "P0505.png", "P1414.png", "P0187.png", "P1198.png", "P1793.png", "P0023.png", "P0555.png", "P0850.png", "P1859.png", "P1181.png", "P0627.png", "P0133.png", "P1649.png", "P0840.png", "P0288.png", "P1158.png", "P2157.png", "P0438.png", "P2472.png", "P1078.png", "P0370.png", "P0652.png", "P2747.png", "P0993.png", "P0521.png", "P2397.png", "P0750.png", "P0762.png", "P2437.png", "P2321.png", "P2103.png", "P1130.png", "P0415.png", "P1891.png", "P2687.png", "P1645.png", "P0981.png", "P1788.png", "P2517.png", "P1804.png", "P1702.png", "P0223.png", "P2696.png", "P1401.png", "P0373.png", "P0201.png", "P0925.png", "P0978.png", "P1673.png", "P2049.png", "P2066.png", "P0487.png", "P2494.png", "P1047.png", "P2729.png", "P2362.png", "P2018.png", "P1497.png", "P2792.png", "P0461.png", "P2107.png", "P1709.png", "P1685.png", "P0821.png", "P2565.png", "P2651.png", "P0562.png", "P0495.png", "P2248.png", "P2746.png", "P1893.png", "P1998.png", "P2163.png", "P0250.png", "P1871.png", "P0085.png", "P1069.png", "P1675.png", "P2616.png", "P1556.png", "P0345.png", "P2118.png", "P1714.png", "P2134.png", "P2644.png", "P1705.png", "P0972.png", "P0001.png", "P2253.png", "P0779.png", "P0227.png", "P1276.png", "P1951.png", "P2302.png", "P1646.png", "P0455.png", "P1059.png", "P0804.png", "P2334.png", "P1935.png", "P0464.png", "P2151.png", "P2716.png", "P0109.png", "P2646.png", "P2203.png", "P1174.png", "P2189.png", "P2770.png", "P1319.png", "P2415.png", "P0782.png", "P1427.png", "P2554.png", "P1243.png", "P0938.png", "P2527.png", "P1587.png", "P0714.png", "P2204.png", "P0586.png", "P1258.png", "P1913.png", "P0049.png", "P0738.png", "P0921.png", "P0913.png", "P1339.png", "P1534.png", "P2532.png", "P1688.png", "P2221.png", "P0713.png", "P0232.png", "P1502.png", "P0716.png", "P0144.png", "P0883.png", "P0218.png", "P1987.png", "P0881.png", "P0435.png", "P0163.png", "P1928.png", "P0301.png", "P0966.png", "P0010.png", "P2457.png", "P1395.png", "P2141.png", "P2672.png", "P2028.png", "P1359.png", "P1079.png", "P1660.png", "P2380.png", "P2423.png", "P2543.png", "P2278.png", "P1325.png", "P1641.png", "P0700.png", "P2656.png", "P0845.png", "P0458.png", "P2435.png", "P0042.png", "P0355.png", "P2528.png", "P2671.png", "P2585.png", "P1686.png", "P1519.png", "P0273.png", "P1524.png", "P0093.png", "P1307.png", "P0775.png", "P1438.png", "P1535.png", "P2002.png", "P1639.png", "P2692.png", "P0602.png", "P2364.png", "P0593.png", "P1608.png", "P1161.png", "P0061.png", "P2057.png", "P1449.png", "P0780.png"]
42 changes: 42 additions & 0 deletions tools/data/dota/split_data_via_list.py
Original file line number Diff line number Diff line change
@@ -0,0 +1,42 @@
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import glob
import json
import os
import shutil

def split_img_vis_list(list_file, src_dir, out_dir):
with open(list_file, 'r', encoding='utf-8') as f:
file_list = json.load(f)
all_files = dict()
for file_ in glob.glob(os.path.join(src_dir, '*.png')):
all_files[file_.split('/')[-1]] = file_
print(f"Total images: {len(all_files)}")
labeled_out_dir = out_dir['labeled']
unlabeled_out_dir = out_dir['unlabeled']
if os.path.exists(labeled_out_dir):
shutil.rmtree(labeled_out_dir)
if os.path.exists(unlabeled_out_dir):
shutil.rmtree(unlabeled_out_dir)
os.mkdir(labeled_out_dir)
os.mkdir(unlabeled_out_dir)
labeled_num = 0
for file_name, file_path in all_files.items():
if file_name in file_list:
shutil.copyfile(file_path, os.path.join(labeled_out_dir, file_name))
labeled_num += 1
else:
shutil.copyfile(file_path, os.path.join(unlabeled_out_dir, file_name))
assert labeled_num == len(file_list)
print(f"Finish saving {labeled_num} labeled image.")


if __name__ == '__main__':
# example
list_file = 'PATH-TO-DATALIST-Json-FILE'
src_dir = 'PATH-TO-DOTA-IMAGE-DIRECTORY'
out_dir = dict(
labeled='PATH-TO-SAVE-LABEL-PART',
unlabeled='PATH-TO-SAVE-UNLABELED-PART'
)
split_img_vis_list(list_file, src_dir, out_dir)

0 comments on commit cac4580

Please sign in to comment.