是否支持流式输出，即打字机效果？

[xixici]

是否支持流式输出，即打字机效果？我使用next-web做UI时，发现并没有打字机效果，不知是哪方面的原因。
希望作者能解答::

[xusenlinzy]

@xixici 支持的，我是用docker启动的chatgpt-next-web，有流式输出的效果

[xusenlinzy]

[xixici]

我的确实没有效果，等下我可以给你看个动图

[xixici]

[xixici]

发现并不是没有流式输出，而是流式输出一段、一段的形式。
我的环境是：
api-for-open-llm最新版本+本地启动
chatgpt-next-web 2.8版本+docker启动

[xusenlinzy]

有没有可能是浏览器的问题，ChatGPTNextWeb/ChatGPT-Next-Web#386

[xixici]

我尝试了升级yidadaa/chatgpt-next-web到最新版本，本地启动api-for-open-llm项目。
并依照Script说明，修改api.py中的stream_interval为更小值1，依旧没有解决这个问题。
下面是：服务端日志：

2023-06-30 17:06:43.566 | DEBUG    | __main__:get_gen_params:128 - ==== request ====
{'model': 'gpt-3.5-turbo', 'prompt': [{'role': 'system', 'content': '\nYou are ChatGPT, a large language model trained by OpenAI.\nKnowledge cutoff: 2021-09\nCurrent model: gpt-3.5-turbo\nCurrent time: 2023/6/30 17:06:44\n'}, {'role': 'user', 'content': '感冒了怎么办'}], 'temperature': 0.5, 'top_p': 1.0, 'max_new_tokens': 1024, 'echo': False, 'stream': True}
INFO:     172.17.0.5:49318 - "POST /v1/chat/completions?path=v1&path=chat&path=completions HTTP/1.1" 200 OK
2023-06-30 17:06:47.457 | DEBUG    | __main__:get_gen_params:128 - ==== request ====
{'model': 'gpt-3.5-turbo', 'prompt': [{'role': 'user', 'content': '感冒了怎么办'}, {'role': 'assistant', 'content': '感冒是一种常见的病毒感染，通常会出现喉咙痛、流鼻涕、咳嗽、头痛、发热等症状。以下是一些常见的缓解感冒症状的方法：\n\n1. 休息：感冒期间要休息充足，避免过度劳累。\n\n2. 补充水分：感冒期间要多喝水，以帮助身体排出病毒和废物。\n\n3. 温暖湿润的环境：保持室内温暖和湿度，可以使用加湿器或湿毛巾等方式增加空气湿度，缓解喉咙疼痛和咳嗽。\n\n4. 常规药物：可以使用常规的感冒药物来缓解症状，如退烧药、止咳药和解热镇痛药等。但需要按照药品说明书服用。\n\n5. 消毒清洁：保持室内外的清洁，经常洗手、使用口罩等方式可以减少感染风险。\n\n6. 预防：定期锻炼身体、保持良好的卫生习惯、加强营养摄入、避免与患者密切接触等措施可以预防感冒的发生。\n\n如果您症状较为严重，建议尽快就医，接受医生的进一步治疗。'}, {'role': 'user', 'content': '使用四到五个字直接返回这句话的简要主题，不要解释、不要标点、不要语气词、不要多余文本，如果没有主题，请直接返回“闲聊”'}], 'temperature': 0.5, 'top_p': 1.0, 'max_new_tokens': 1024, 'echo': False, 'stream': False}
INFO:     172.17.0.5:49318 - "POST /v1/chat/completions?path=v1&path=chat&path=completions HTTP/1.1" 200 OK

[xixici]

我使用了原生仓库提供的api，并依赖下面这个pr解决了这个问题。
THUDM/ChatGLM2-6B#152 (comment)