lora

🗣️ [ 中文 | English ]

LoRA指令微调

环境配置

使用下面的命令配置环境：

conda create -n lora python=3.9 -y
conda activate lora
pip install torch==1.12.0+cu116 torchvision==0.13.0+cu116 torchaudio==0.12.0 --extra-index-url https://download.pytorch.org/whl/cu116
pip install -r requirements.txt

运行

我们的代码基于alpaca-lora进行修改，仅修改了训练的超参数。我们在一个Node上（8张32GB的V100显卡）进行训练。所有的训练超参数都在已经在训练代码中体现。请根据自己的硬件情况修改训练参数，包括warmup_steps micro_batch_size等参数。使用下面的命令开始训练：

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 accelerate launch finetune.py --data_path /your/data/path --base_model /your/path/to/cama

如果希望在命令行中修改训练超参数，可以直接在命令后添加相应的参数即可。 关于如何获取和复原CaMA-13B的权重，请参考此处。关于训练的数据格式，请参考alpaca-lora，下面是一个简单的例子：

[
  {"instruction": "", "input":"", "output":""},
  {"instruction": "", "input":"", "output":""},
  ...
]