- 支持多种大模型,当前已支持
- openai
- azure open ai
- claude-api
- claude-web (将web端功能封装成openai api)
- 智谱ai
- bingchat(copilot)
- 讯飞星火
- gemini
- 通义千问
- 支持stream方式调用
- 支持open ai的第三方代理服务,比如openai-sb等
- 支持在线更新配置
http://0.0.0.0:8090/
- 支持负载均衡,一个key可轮训/随机/并行等访问多个模型
- 支持按照model_name进行路由
http://0.0.0.0:8090/