Skip to content

Latest commit

 

History

History
 
 

bloom

BLOOM

1.模型介绍

BLOOM是一种自回归大型语言模型(LLM),在大量文本数据上训练从而生生成目标文本,同时它能够支持46种语言和13种编程语言的文本交互。BLOOM 主要基于文本生成任务训练而成,可以很好的完成文本续写任务,此外 BloomZ 系列模型加入了 Instruction Tuning。

支持模型权重:

Model
bigscience/bloom-560m
bigscience/bloom-560m-bf16
bigscience/bloom-1b1/
bigscience/bloom-3b
bigscience/bloom-7b1
bigscience/bloomz-560m/
bigscience/bloomz-1b1
bigscience/bloomz-3b
bigscience/bloomz-7b1-mt
bigscience/bloomz-7b1-p3
bigscience/bloomz-7b1
bellegroup/belle-7b-2m

2. 模型精调

请参考LLM全流程工具介绍