[FEATURE]支持自定义 OpenAI 格式的 API 和自定义模型

[LucienShui]

MaxKB 版本

v0.9.0 (build at 2024-03-21T18:39, commit: 96a0e4b)

请描述您的需求或者改进建议

现在只支持添加 Azure OpenAI 的 API，以及基础模型只能选 gpt-3.5-turbo 系列和 gpt-4-0613。

建议增加 OpenAI 格式的自定义模型，并且将基础模型改为自由输入而不是下拉框。毕竟llama.cpp、vllm等开源项目更广泛地支持的是 OpenAI 的 API 格式。

Reference: platform.openai.com

请描述你建议的实现方案

No response

附加信息

No response

[baixin513]

您好，当前 Ollama 平台的基础模型支持自定义输入。
Azure OpenAI 和千帆大模型还不支持自定义输入是因为不同模型入参可能会不一致，所以暂时还没放开自定义输入。

[beijingtl]

可以增加自定义的输入，基于支持1panel中的One API，自定义域名、API KEY

[LucienShui]

您好，我看在 0.9.1 的版本中标记此 feature request 为已完成，但是更新软件后查看网页、查看源代码，均没有看见我与 @beijingtl 希望的形式。

我将提供一个 PR 以实现此功能。

[LucienShui]

您好，我看在 0.9.1 的版本中标记此 feature request 为已完成，但是更新软件后查看网页、查看源代码，均没有看见我与 @beijingtl 希望的形式。

我将提供一个 PR 以实现此功能。

对不起，看了代码结构和复杂度之后放弃了，坐等官方实现吧。

参考 https://github.com/geekan/MetaGPT 的实现：

llm:
  api_type: "openai"  # or azure / ollama / open_llm etc. Check LLMType for more options
  model: "gpt-4-turbo-preview"  # or name of your self-hosted model, like gemma or qwen
  base_url: "https://api.openai.com/v1"  # or forward url / other llm url
  api_key: "YOUR_API_KEY"

[baixin513]

你好，OpenAI 目前还不支持对接。我再改回一下状态。
v0.9.1版本的Azure OpenAI 的基础模型可以自定义输入，输入后回车，会要求输入 api_version 参数。

[jingzl]

问题在最新的版本中似乎还没有解决啊？
如何设置本地服务器部署的openai接口的模型呢？比如chatglm3-6b？

[yyrg020610]

多轮对话好像用不了啊

[baixin513]

问题在最新的版本中似乎还没有解决啊？ 如何设置本地服务器部署的openai接口的模型呢？比如chatglm3-6b？

支持通过 Ollama 部署的本地化模型，但 Ollama 还不支持chatglm3-6b ，所以我们目前也不支持chatglm3-6b。

[baixin513]

多轮对话好像用不了啊

多轮对话开启后会携带历史的 3 次对话作为上下文向大模型提问。

[liyunhan]

现在支持openai格式的api了吗，我们的qwen1.5-72b-chat是用vllm做的服务，所有的访问都是基于这个展开的。以及，后端的检索可以自行替换吗？我们自己用的bge和bm25做的定制化检索..