关于评测的设置和比较的问题

[liuqi6777]

感谢你们的出色工作！

关于贵团队展示的评测结果，我有一个小疑问：重点提及的评测结果的总表，似乎是在MTEB和CMTEB上，加上一些新创建的双语任务上进行的，并不是在单个榜单上，但比较的baseline都是单语言的模型，想问一下有没有和一些多语言模型，例如multilingual-e5，在相同设置下进行比较呢？

希望能够解答，感谢！

[shenlei1020]

感谢您的宝贵建议，是这样的：

1、基础语义表征（MTEB）评测强调是在中英双语和中英跨语种设置，主要是因为这是社区落地应用的两个强烈的需求。
一个模型就可以实现中英双语和跨语种，不用多个模型（多个模型之间embedding不大能互通）。

2、我们新发布的数据集有两个专注点：更多落地目标领域，以及跨语种能力。主要目标是针对落地应用，比如像百科、金融、问答、论文等场景都是市面上一些实际产品目标落地的领域，我们发布这个评测数据是想看看开源模型在这些真实目标的落地场景的能力。btw，readme中汇总榜单不加这些我们开放的多领域、跨语种retrieval评测集，指标来说也是比其他的好。

3、感谢您的建议：表中的其他开源模型是社区用的比较多的，针对更多多语种的embedding，我们会尽快补充评测（btw，在readme中LlamaIndex评测，有openai-ada-2和cohere-multilingual这些商用多语种embedding对比，可以侧面反映bce embedding的情况）~~

4、总的来说，我们开源目的是为了社区能够更好更方便在RAG项目中用起来（双语、跨语种、一个模型、更多RAG落地场景）的模型～

期望您更多的反馈和建议～～