使用xinfernece启动DeepSeek-R1-Distill-Qwen-14B时候，通过程序调用接口，发现缺少<think>起始符号，有</think>

[web3aipro]

使用xinfernece启动DeepSeek-R1-Distill-Qwen-14B时候，通过程序调用接口，发现缺少起始符号，有.
代码如下：
`from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:9997/v1", api_key="not used actually")

question2 = "2.8比2.18大吗？"
messages = [{"role": "user", "content": f'{question2}'}]
response = client.chat.completions.create(
model="custom-llm-deepseek",
messages=messages,
temperature=0.6,
max_tokens=32768,
)

content = response.choices[0].message.content
print(content)
`
运行截图

[948024326]

是不是模型参数小了的问题

[web3aipro]

这个估计是xinference的bug问题

[Victor384]

使用ollama的时候也有类似的问题，只有一个符号。感觉是模型的问题

[qinxuye]

有用量化吗？我跑非量化的几次没碰过

[Icedcocon]

用的是哪个版本？

[Jimmy-L99]

同样的问题，我直接用vllm0.7.2 ‘vllm sreve’ 跑deepseek-Qwen-Distill-32B无量化版是有完整标签的，但是用xinference里面用vllm0.7.2，就会缺标签。

[George-TQL]

有用量化吗？我跑非量化的几次没碰过

用的这个DeepSeek-R1-Distill-Qwen-32B也会出现，说是用参数chat-template可以解决。但是launch的时候无法识别这个参数，chat-template，chat_template都试过。

[qinxuye]

有用量化吗？我跑非量化的几次没碰过

用的这个DeepSeek-R1-Distill-Qwen-32B也会出现，说是用参数chat-template可以解决。但是launch的时候无法识别这个参数，chat-template，chat_template都试过。

chat_template 可以解决的来源能分享下吗

[qinxuye]

我看了下，deepseek 相关模型的 chat template 确实 11 天前更新过。见：https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B/commit/3865e12a1eb7cbd641ab3f9dfc28c588c6b0c1e9

目前 Xinference 会接管模型的 chat template。我们会看下是否需要更新 xinf 的部分。

[George-TQL]

我看了下，deepseek 相关模型的 chat template 确实 11 天前更新过。见：https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B/commit/3865e12a1eb7cbd641ab3f9dfc28c588c6b0c1e9

目前 Xinference 会接管模型的 chat template。我们会看下是否需要更新 xinf 的部分。

现在有什么方式可以解决吗，缺少了导致加上reasoning_content True也没生效。