Qwen-Omni 全量微调grpo报错ValueError: `max_new_tokens` must be greater than 0, but is -16384

[TUDelftHao]

Describe the bug
用grpo微调Omni-7B模型，采用full模式，训练时报错如下。怀疑是视频数据比较长，传入的token数大于模型的model length导致。

请问这种情况下需要调整哪些参数？GRPO训练时会有Padding模式把截断的数据拼接在一起吗？

Your hardware and system info
Write your system info like CUDA version/system/GPU/torch version here(在这里给出硬件信息和系统信息，如CUDA版本，系统，GPU型号和torch版本等)
GPU: H20, 8卡96G
cuda:12.4
torch: 2.6.0+cu124
transformers: 4.52.3
ms-swift commit: 6dc42ab

Additional context
Add any other context about the problem here(在这里补充其他信息)
启动脚本：
`export DEBUG_MODE="true"
export LOG_PATH="./debug_log_omini-swift_debug_0527.txt"

MAX_PIXELS=1003520
NPROC_PER_NODE=8
WANDB_API_KEY=31b42ed749c63f21cc34b408e4b4e83f41b21a59
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
swift rlhf
--rlhf_type grpo
--model /apdcephfs_gy2/share_303215196/francishni/pretrain_models/Qwen2.5-Omni-7B
--reward_funcs external_mc_acc format
--reward_weights 1 1
--train_type full
--torch_dtype bfloat16
--dataset omini-swift-debug.json
--external_plugins examples/train/grpo/plugin/plugin.py
--max_completion_length 1024
--num_train_epochs 1
--per_device_train_batch_size 1
--per_device_eval_batch_size 1
--learning_rate 1e-5
--gradient_accumulation_steps 1
--eval_steps 10000000
--save_steps 300
--save_total_limit 8
--logging_steps 5
--max_length 49152
--output_dir output/omini-swift_debug
--warmup_ratio 0.05
--dataloader_num_workers 8
--dataset_num_proc 8
--num_generations 8
--temperature 1.
--top_p 0.99
--top_k 50
--system 'examples/train/grpo/prompt.txt'
--deepspeed zero2
--log_completions true
--report_to wandb`

[hjh0119]

It seems that the input prompt length exceeds the model's maximum length

[TUDelftHao]

It seems that the input prompt length exceeds the model's maximum length

你好，我这边调整了视频的token数，现在应该没有这个问题了。但是训练了几步之后就会OOM，两机16卡配置下，单卡显存从第一步的50G逐步上涨，请问这是什么原因呢？

[hjh0119]

There could be two reasons for this:

1. The variation in the lengths of the training input and the generated output.
2. Memory fragmentation that occurs due to memory allocation in PyTorch. If you're not using vllm, you can add the environment variable export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True.

[TUDelftHao]

There could be two reasons for this:

1. The variation in the lengths of the training input and the generated output.
2. Memory fragmentation that occurs due to memory allocation in PyTorch. If you're not using vllm, you can add the environment variable export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True.

1. 我限制了最大长度，相同的配置直接使用trl训练没有出现爆显存的情况。而且看起来这个gpu显存是逐渐增大的，应该不是随样本长度变化导致的。
2. 我试了加上这个环境变量，目前暂时没有OOM，但是初期依然显存快速上升到最大值，此后一直在用尽的边缘。

另外我现在用2机16卡，zero2训练1.7k样本，max_length限制到16384，训练速度非常慢（大概要10天才能训完10轮，平均1天1轮），请问这个效率是符合预期的吗？

[TUDelftHao]

There could be two reasons for this:

1. The variation in the lengths of the training input and the generated output.
2. Memory fragmentation that occurs due to memory allocation in PyTorch. If you're not using vllm, you can add the environment variable export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True.

1. 我限制了最大长度，相同的配置直接使用trl训练没有出现爆显存的情况。而且看起来这个gpu显存是逐渐增大的，应该不是随样本长度变化导致的。
2. 我试了加上这个环境变量，目前暂时没有OOM，但是初期依然显存快速上升到最大值，此后一直在用尽的边缘。

另外我现在用2机16卡，zero2训练1.7k样本，max_length限制到16384，训练速度非常慢（大概要10天才能训完10轮，平均1天1轮），请问这个效率是符合预期的吗？

update: 最后还是OOM了

[hjh0119]

You can try using the external mode with vllm to speed up training

[TUDelftHao]

You can try using the external mode with vllm to speed up training

但是vllm好像不支持omni模型，16347，这边用vllm之后会报错

[TUDelftHao]

update： 设置--log_completions false 后显存好像没有一直在增加了，目前zero2全量微调omni-7b每张卡稳定在70G左右，但是训练速度依旧非常慢。。