Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

feat: support /v1/rerank router #1398

Closed
wants to merge 1 commit into from

Conversation

nongmo677
Copy link
Contributor

close #1397

参考如下几个项目的rerank接口做适配

  1. Fast GPT 提供的bge-reranker-large等示例
    https://github.com/labring/FastGPT/blob/a0c1320d477fd00769983d8ddcbb2b2c2f8fd3c3/python/bge-rerank/bge-reranker-large/app.py#L69

  2. q2wxec
    https://github.com/q2wxec/lang2openai?tab=readme-ov-file#4%E6%8E%A5%E5%8F%A3%E4%B8%80%E8%A7%88

  3. api-for-open-llm
    https://github.com/xusenlinzy/api-for-open-llm/blob/e46e48056a02ffbd90e0dfe4bc2f803df1e7e4e1/tests/rerank.py#L14

  4. xinference
    https://github.com/xorbitsai/inference/blob/5d55c9c791680383157dab65e0071b8ceca0c138/xinference/client/restful/restful_client.py#L166

我已确认该 PR 已自测通过,相关截图如下:
oneapi 渠道设置

渠道1 基于Fast GPT 提供接口示例测试的bge模型
fast-bge

渠道2 xinference 使用bcg模型
xin

测试
bge-test测试
bge-test

bcg测试
bcg-test

oneapi路由通过
oneapi-rerank

@nongmo677
Copy link
Contributor Author

Fast GPT rerank接入测试通过

配置
image

重排结果
image

@songquanpeng
Copy link
Owner

ack

@zhanghx0905
Copy link

考虑支持Text embedding inference吗

@nongmo677
Copy link
Contributor Author

考虑支持Text embedding inference吗

暂时还没有,等这个过了后面再添加

@songquanpeng
Copy link
Owner

songquanpeng commented May 20, 2024

不好意思我前段时间比较忙搁置了

@nongmo677
Copy link
Contributor Author

不好意思我前段时间比较忙搁置了

没事没事,Fighting

@ZXP8080
Copy link

ZXP8080 commented Jun 6, 2024

这还没合并么

@seven-yu
Copy link
Contributor

@songquanpeng 合并一波呗

@lizhe-github
Copy link

image
image
image

为什么我的配置了oneapi路由xinference的rerank模型,fastgpt请求oneapi,但是oneapi日志中给的/v1/rerank路由rerank依然是404
fastgpt单独配置xinference的rerank模型可以正常接入

@lizhe-github
Copy link

是因为还没合并吗

@ZXP8080
Copy link

ZXP8080 commented Jun 22, 2024

是因为还没合并吗

还没合并呢

@Laisky
Copy link
Collaborator

Laisky commented Jun 24, 2024

@nongmo677 有一个小顾虑,类型用 OpenAI 会不会不太妥当,毕竟这个 rerank 实际上并不是 openai 的标准格式,搞个单独的 rerank 类型会不会更好些?

只是我个人意见,不知道其他人怎么看。

@nongmo677
Copy link
Contributor Author

@nongmo677 有一个小顾虑,类型用 OpenAI 会不会不太妥当,毕竟这个 rerank 实际上并不是 openai 的标准格式,搞个单独的 rerank 类型会不会更好些?

只是我个人意见,不知道其他人怎么看。

这部分没想好,这么干只是为了偷懒,快速做出这个需求,分离出来当然是最好的

@c121914yu
Copy link
Collaborator

😂日常一看。
干脆单独加一个 cohere 类的提供商?

@nongmo677
Copy link
Contributor Author

😂日常一看。 干脆单独加一个 cohere 类的提供商?

先坐等一个大佬合并优化一下吧,放到一个新的模块里,我这个还是满粗糙的

@Laisky
Copy link
Collaborator

Laisky commented Jun 27, 2024

@nongmo677 可以仿照其他 channel,加一个专门做各种插件的 channel,然后在里面实现 rerank,以后有其他的非标插件都可以往里面加。

@c121914yu
Copy link
Collaborator

c121914yu commented Jun 27, 2024

@nongmo677 可以仿照其他 channel,加一个专门做各种插件的 channel,然后在里面实现 rerank,以后有其他的非标插件都可以往里面加。

说到这个,我感觉应该有一个类型,不做任何的格式转化,直接完整转发即可,目前OneAPI没有个自定义转发的渠道,如果不是标准类型,就没法接入,得单独让下游配一个额外地址,有点难受。

@Laisky
Copy link
Collaborator

Laisky commented Jun 27, 2024

@nongmo677 可以仿照其他 channel,加一个专门做各种插件的 channel,然后在里面实现 rerank,以后有其他的非标插件都可以往里面加。

说到这个,我感觉应该有一个类型,不做任何的格式转化,直接完整转发即可,目前OneAPI没有个自定义转发的渠道,如果不是标准类型,就没法接入,得单独让下游配一个额外地址,有点难受。

那为什么不直接发,而是需要 oneapi 转发呢?

@c121914yu
Copy link
Collaborator

@nongmo677 可以仿照其他 channel,加一个专门做各种插件的 channel,然后在里面实现 rerank,以后有其他的非标插件都可以往里面加。

说到这个,我感觉应该有一个类型,不做任何的格式转化,直接完整转发即可,目前OneAPI没有个自定义转发的渠道,如果不是标准类型,就没法接入,得单独让下游配一个额外地址,有点难受。

那为什么不直接发,而是需要 oneapi 转发呢?

因为需要额外配置一个地址,而且缺少重试操作。

@Laisky
Copy link
Collaborator

Laisky commented Jun 27, 2024

@nongmo677 可以仿照其他 channel,加一个专门做各种插件的 channel,然后在里面实现 rerank,以后有其他的非标插件都可以往里面加。

说到这个,我感觉应该有一个类型,不做任何的格式转化,直接完整转发即可,目前OneAPI没有个自定义转发的渠道,如果不是标准类型,就没法接入,得单独让下游配一个额外地址,有点难受。

那为什么不直接发,而是需要 oneapi 转发呢?

因为需要额外配置一个地址,而且缺少重试操作。

有道理,搞一个。

@songquanpeng songquanpeng added the priority This will have high priority. label Jul 3, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
priority This will have high priority.
Projects
None yet
Development

Successfully merging this pull request may close these issues.

support /v1/rerank route and model
8 participants