We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
在模型Lanuch Model 页面, 存在太多不合理的无效请求,每个模型都会单独请求一次接口,完全返回后才能展示模型列表,只要有一个失败,由于JS 报错,整个模型列表就无法展示,导致模型列表经常空白,其中LLM 偶尔可以正常返回,embedding 列表从来没有展示出来过 请求分析: 其中 ,左上角红框中的接口已经返回了完整的模型列表及详情数据,然而,后面的又对每个模型发起了一次请求,由于同时发起的请求数过多,部分请求会异常超时(猜测此处应该是因为大量请求同时进入服务端,服务端阻塞导致)
一方面这种处理方式,只能在模型数量较小时工作,当模型数量达到一定量级后,对服务端的压力会很大,另一个方面也会导致整个模型列表页面性能非常差
如下图,左侧为单独模型的详情接口返回值,右侧为列表中一项元素的返回值,可以看到列表接口返回的内容完全覆盖了详情接口
相关的代码实现 红框中的这部分处理是完全没有必要的
修复建议,删除最后一张图中红框部分的代码, 同时该问题在embedding,rerank,image 这几个页面都存在, 稍后,我会尝试提交一个PR来修复
The text was updated successfully, but these errors were encountered:
非常欢迎PR
Sorry, something went wrong.
Successfully merging a pull request may close this issue.
在模型Lanuch Model 页面, 存在太多不合理的无效请求,每个模型都会单独请求一次接口,完全返回后才能展示模型列表,只要有一个失败,由于JS 报错,整个模型列表就无法展示,导致模型列表经常空白,其中LLM 偶尔可以正常返回,embedding 列表从来没有展示出来过
请求分析:
其中 ,左上角红框中的接口已经返回了完整的模型列表及详情数据,然而,后面的又对每个模型发起了一次请求,由于同时发起的请求数过多,部分请求会异常超时(猜测此处应该是因为大量请求同时进入服务端,服务端阻塞导致)
一方面这种处理方式,只能在模型数量较小时工作,当模型数量达到一定量级后,对服务端的压力会很大,另一个方面也会导致整个模型列表页面性能非常差
如下图,左侧为单独模型的详情接口返回值,右侧为列表中一项元素的返回值,可以看到列表接口返回的内容完全覆盖了详情接口
相关的代码实现
红框中的这部分处理是完全没有必要的
修复建议,删除最后一张图中红框部分的代码, 同时该问题在embedding,rerank,image 这几个页面都存在, 稍后,我会尝试提交一个PR来修复
The text was updated successfully, but these errors were encountered: