关于image translation的一些疑问

[KasuganoLove]

首先，祝贺作者收获2024CVPR
我的问题是：我可以理解对于图像对，R存在着明确的定义I_in-I_out或者是它的负值，但是对于image translation任务，并不存在一一对应的关系，那么R是怎么定义的呢？又是怎么训练的呢？

[KasuganoLove]

同时，想请教下您对于celebA 256-256和64-64数据集是怎么训练，验证，测试的，我对于图像生成任务完全不了解：
1.出多少张图进行测试？
2.使用仅测试集作为真实数据还是训练+测试集？
3.图像生成任务验证集和测试集是分开的吗，还是验证结果就是测试结果？

[nachifur]

首先，祝贺作者收获2024CVPR 我的问题是：我可以理解对于图像对，R存在着明确的定义I_in-I_out或者是它的负值，但是对于image translation任务，并不存在一一对应的关系，那么R是怎么定义的呢？又是怎么训练的呢？

1. 所有任务残差的定义都是I_{res}=I_{in}-I_{0}。
2. 训练细节可以见Table 4

[nachifur]

同时，想请教下您对于celebA 256-256和64-64数据集是怎么训练，验证，测试的，我对于图像生成任务完全不了解： 1.出多少张图进行测试？ 2.使用仅测试集作为真实数据还是训练+测试集？ 3.图像生成任务验证集和测试集是分开的吗，还是验证结果就是测试结果？

对于Table 3(a) - CelebA (256×256) dataset.

1. We convert a pre-trained DDIM (https://huggingface.co/google/ddpm-celebahq-256) to RDDM by the coefficient transformation formula.
2. DDIM 和 RDDM 都采样50000张，然后进行评估
3. 计算生成的50000图像与celeba-kaggle的测试集的fid。
4. celeba-kaggle的测试集设为：第27000张-第49999张。这样的划分是否合理？答：未知，因为不清楚预训练模型是否在全部数据上训练。Table 3的DDIM和RDDM评估方式完全一致，转换后的RDDM和DDIM的性能几乎一致，这完全可以证明我们论文的观点：RDDM通过系数转化后与DDIM一致。更多的可见Discussion。
5. 预训练模型的使用可见model-card。

对于Table 2. Coefficient schedules analysis on CelebA (64 × 64)

1. 这里的数据是我们自己训练和评估，训练集、验证集和测试集是分开的。
2. 在训练集上训练（见return get_dataset(args, config)[0]），测试集上评估。
3. 这里的celeba数据集可以自动下载（see datasets/generation/celeba.py#L39），取消这块代码的注释，修改后进行训练。
4. 在2中，自动下载celeba后，找到对应的目录。使用get_test.py复制得到test文件夹；使用/crop_resize.pyresize到64分辨率，最终得到celeba/test测试集用于fid评估（生成50000张，与celeba/test测试集的文件夹进行fid评估）。

[KasuganoLove]

同时，想请教下您对于celebA 256-256和64-64数据集是怎么训练，验证，测试的，我对于图像生成任务完全不了解： 1.出多少张图进行测试？ 2.使用仅测试集作为真实数据还是训练+测试集？ 3.图像生成任务验证集和测试集是分开的吗，还是验证结果就是测试结果？

对于Table 3(a) - CelebA (256×256) dataset.

1. We convert a pre-trained DDIM (https://huggingface.co/google/ddpm-celebahq-256) to RDDM by the coefficient transformation formula.
2. DDIM 和 RDDM 都采样50000张，然后进行评估
3. 计算生成的50000图像与celeba-kaggle的测试集的fid。
4. celeba-kaggle的测试集设为：第27000张-第49999张。这样的划分是否合理？答：未知，因为不清楚预训练模型是否在全部数据上训练。Table 3的DDIM和RDDM评估方式完全一致，转换后的RDDM和DDIM的性能几乎一致，这完全可以证明我们论文的观点：RDDM通过系数转化后与DDIM一致。更多的可见Discussion。
5. 预训练模型的使用可见model-card。

对于Table 2. Coefficient schedules analysis on CelebA (64 × 64)

1. 这里的数据是我们自己训练和评估，训练集、验证集和测试集是分开的。
2. 在训练集上训练（见return get_dataset(args, config)[0]），测试集上评估。
3. 这里的celeba数据集可以自动下载（see datasets/generation/celeba.py#L39），取消这块代码的注释，修改后进行训练。
4. 在2中，自动下载celeba后，找到对应的目录。使用get_test.py复制得到test文件夹；使用/crop_resize.pyresize到64分辨率，最终得到celeba/test测试集用于fid评估（生成50000张，与celeba/test测试集的文件夹进行fid评估）。

非常感谢作者的详细的耐心的回复，respect!