reading_libs

• MAE（Masked Autoencoders Are Scalable Vision Learners）link
• transformer（Attention Is All You Need）link
• ViT(An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale) link
• MVP 基于 MAE 为 encoder，PPO 为 agent 的 motor control 任务 link
• Maniwhere 基于对比学习（同一图片不同视角作为正样本）、不同视角 feature map 的相似度尽量小、STN 提供空间位置信息、SRM 和 random overlay 对模型进行 curriculum learning，实现由仿真直接应用到真实环境中的 zero-shot 模型 link
• CoCLR 一种对比学习方法的改进，用于处理多模态之间的问题。核心是不仅使用本样本的另一模态作为正样本，还使用某些其它样本作为正样本，选取方式就通过某一模态下最相似的前 K 个样本 link
• M3L visuo-tactile 的 baseline，基于 MAE 的视觉、触觉融合框架 link
• CLIP 多模态对比学习 link
• 一些 fusion 的调研 for better leverage depth map link
• diffusion policy 一种对 action 进行 denoise 的模仿学习方法 link
• DINO 提出了一种框架，自监督自蒸馏模型用于学习图片表征 link
• 3dtacdex visuo-tactile 在真机上的 deploy，使用 LEAP hand + PaXini Tactile Sensor 用于真机部署。
• Diffusion BC 比 diffusion policy 早一点，提出了使用 diffusion 来生成 action 用于指导 il，和 dp 类似的想法。link
• ACT 使用 CVAE+Transformer 提取特征并生成 action，采用 temporal ensemble 的方式来提高时序一致性。link