lora微调以后合并使用vllm输出停不下来 #1061
lora微调以后合并使用vllm输出停不下来
#1061
-
|
lora微调以后合并使用vllm输出停不下来。 各位老师有没有遇到过啊？有什么解决办法吗 |
Beta Was this translation helpful? Give feedback.
Answered by
zRzRzRzRzRzRzR
May 2, 2024
Replies: 2 comments
-
|
在直接使用大模型的情况下也会出现输出不会停止，进入死循环的情况，会拖慢整体大模型的响应速度 |
Beta Was this translation helpful? Give feedback.
0 replies
-
|
这个应该是没有指定special token，使用chattemplate就行了 |
Beta Was this translation helpful? Give feedback.
0 replies
Answer selected by
zRzRzRzRzRzRzR
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
这个应该是没有指定special token，使用chattemplate就行了