Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

BUG-前端页面请求模型列表无效请求过多,导致页面模型列表经常无法展示 #1110

Closed
wertycn opened this issue Mar 9, 2024 · 1 comment · Fixed by #1111
Milestone

Comments

@wertycn
Copy link
Contributor

wertycn commented Mar 9, 2024

在模型Lanuch Model 页面, 存在太多不合理的无效请求,每个模型都会单独请求一次接口,完全返回后才能展示模型列表,只要有一个失败,由于JS 报错,整个模型列表就无法展示,导致模型列表经常空白,其中LLM 偶尔可以正常返回,embedding 列表从来没有展示出来过
image
请求分析:
image
其中 ,左上角红框中的接口已经返回了完整的模型列表及详情数据,然而,后面的又对每个模型发起了一次请求,由于同时发起的请求数过多,部分请求会异常超时(猜测此处应该是因为大量请求同时进入服务端,服务端阻塞导致)

一方面这种处理方式,只能在模型数量较小时工作,当模型数量达到一定量级后,对服务端的压力会很大,另一个方面也会导致整个模型列表页面性能非常差

如下图,左侧为单独模型的详情接口返回值,右侧为列表中一项元素的返回值,可以看到列表接口返回的内容完全覆盖了详情接口
image

相关的代码实现
红框中的这部分处理是完全没有必要的
image

修复建议,删除最后一张图中红框部分的代码, 同时该问题在embedding,rerank,image 这几个页面都存在, 稍后,我会尝试提交一个PR来修复

@XprobeBot XprobeBot added this to the v0.9.3 milestone Mar 9, 2024
@qinxuye
Copy link
Contributor

qinxuye commented Mar 9, 2024

非常欢迎PR

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
3 participants