多卡似乎不能将每张卡跑满，请问如何才能让每张卡的计算负载跑满呢

[RayneSun]

我设置了CUDA_VISIBLE_DEVICE和device_map，在2张A100上跑的时候，发现确实都有内存占用，但是gpu负载总是某张卡高，其他都很低。

[jianzhnie]

你训练用的哪个方法

[RayneSun]

用的lora，训练baichuan-13B

[jianzhnie]

不应该呀，我训练的时候卡基本都是占满的

[RayneSun]

大概就是这个样子，有点像是流水线并行

[RayneSun]

是不是因为我没有用deepspeed呢？能麻烦看一下您跑baichuan-13b的shell脚本吗

[jianzhnie]

https://github.com/jianzhnie/Efficient-Tuning-LLMs/blob/main/train_lora.py#L169C12-L169C13

[jianzhnie]

或许在这个位置，开启了模型并行，你注释掉这两行试试

[RayneSun]

CUDA_VISIBLE_DEVICES=0,1 torchrun --nproc_per_node=1 train_lora.py
--model_name_or_path ../Baichuan-13B-Chat
--dataset_name train.json,test.json
--data_dir ../../data/toolbench
--load_from_local yes
--output_dir baichuan-lora
--max_steps 50000
--per_device_train_batch_size 4
--per_device_eval_batch_size 4
--gradient_accumulation_steps 8
--evaluation_strategy no
--save_strategy steps
--save_steps 1000
--learning_rate 5e-4
--weight_decay 0.
--warmup_ratio 0.07
--optim "adamw_torch"
--lr_scheduler_type "linear"
--model_max_length 2560
--source_max_len 2048
--target_max_len 512
--logging_steps 5
--do_train
--gradient_checkpointing True
--trust_remote_code true
--lora_target_modules W_pack
--deepspeed "ds_config_zero3_auto.json

[RayneSun]

我注释掉您说的那两句了，但是跑的时候还是单张卡占用高

[RayneSun]

而且我把train_lora的device_map配置去掉了：

因为不去掉会报错：
ValueError: DeepSpeed Zero-3 is not compatible with low_cpu_mem_usage=True or with passing a device_map.
请问和这个相关吗？

[RayneSun]

好像找到问题了，需要设置启动时的参数--nproc_per_node=2

[wgzhendong]

好像找到问题了，需要设置启动时的参数--nproc_per_node=2

你能完整训练完吗，我和你一样的训练代码跑了200步就挂了

[RayneSun]

最后没用deepspeed，速度反而会特别慢