gpt_server v0.3.4

gpt_server v0.3.4

What's Changed

1. 实现了guided_decoding response_format #17
2. 修复了glm4模型推理异常 #21
3. 升级vllm==0.6.4.post1

gpt_server v0.3.3

gpt_server v0.3.3

What's Changed

1. 支持可视化配置
2. 修改配置文件架构
3. 升级lmdeploy=0.6.2
4. 开放 dtype 配置 #19
5. 优化架构

gpt_server v0.3.2

gpt_server v0.3.2

What's Changed

1. 支持了多模态模型 qwen VL #14 、minicpmv
2. 支持了 embedding 模型 puff
3. 修复了lmdeploy后端的bug
4. 开放 prefix_caching能力
5. 优化架构

gpt_server v0.3.1

gpt_server v0.3.1

What's Changed

1. 支持了Infinity后端，推理速度大于onnx/tensorrt，支持动态组批
2. 支持了多模态模型 glm-4v-gb 的LMDeploy PyTorch后端 #11
3. 优化了requirements #12
4. 优化了配置文件的结构

gpt_server v0.2.2

gpt_server v0.2.2

更新

1. 全球唯一支持Tools（Function Calling）功能的开源框架。兼容LangChain的 bind_tools、AgentExecutor、with_structured_output写法（目前支持Qwen系列、GLM系列）#4
2. 修复了Embeding加载设备错误的问题 #8
3. 支持了Qwen2和GLM4模型
4. 修复了completion的问题

v0.2.1

gpt_server v0.2.1

1.支持了Lmdeploy后端

2.修复了对请求数量的限制

3.修复了logs目录错误问题