微调遇到的问题，请求解答

[wlkla]

我想基于生成式AI做一个行业分类模型，使用ChatGLM3-6B模型，主要方式如下：

• 从huggingface下载模型到本地Model文件夹
• 准备数据集，格式如下：

{"system": "你是一个专业的查询分类助手。你的任务是将用户的查询准确分类到以下行业类别中的一个：……", "src": "输入为：“6”，请对query进行分类", "tgt": "需求不明"}
{"system": "你是一个专业的查询分类助手。你的任务是将用户的查询准确分类到以下行业类别中的一个：……", "src": "输入为：“湖北民族大学是一本还是二本”，请对query进行分类", "tgt": "教育培训"}

• 训练模型，代码如下：

import torch
from torch.utils.data import Dataset, DataLoader
from transformers import AutoTokenizer, AutoModel
from peft import get_peft_model, LoraConfig, TaskType
import json
from typing import Dict, List
import os
from tqdm import tqdm

# 自定义数据集类
class ChatGLMDataset(Dataset):
    def __init__(self, data_path: str, tokenizer, max_length: int = 512):
        self.tokenizer = tokenizer
        self.max_length = max_length
        self.data = self.load_data(data_path)
        
    def load_data(self, data_path: str) -> List[Dict]:
        data = []
        with open(data_path, 'r', encoding='utf-8') as f:
            for line in f:
                item = json.loads(line.strip())
                data.append(item)
        return data
    
    def __len__(self):
        return len(self.data)
    
    def __getitem__(self, idx):
        item = self.data[idx]
        system = item['system']
        src = item['src']
        tgt = item['tgt']
        
        prompt = f"[系统]{system}\n[用户]{src}\n[助手]{tgt}"
        
        # 编码输入
        encoded = self.tokenizer(
            prompt,
            truncation=True,
            max_length=self.max_length,
            padding='max_length',
            return_tensors='pt'
        )
        
        input_ids = encoded['input_ids'].squeeze(0)
        attention_mask = encoded['attention_mask'].squeeze(0)
        
        # 构建标签
        labels = input_ids.clone()
        labels[labels == self.tokenizer.pad_token_id] = -100
        
        return {
            'input_ids': input_ids,
            'attention_mask': attention_mask,
            'labels': labels
        }

def main():
    # 配置参数
    model_path = "Model"
    data_path = "Data/train.json"
    output_dir = "output"
    
    # 训练参数
    batch_size = 4
    num_epochs = 4
    learning_rate = 2e-5
    max_length = 512
    
    # 初始化tokenizer和模型
    tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
    model = AutoModel.from_pretrained(model_path, trust_remote_code=True)
    
    # 配置LoRA
    peft_config = LoraConfig(
        task_type=TaskType.CAUSAL_LM,
        inference_mode=False,
        r=8,
        lora_alpha=32,
        lora_dropout=0.1,
        target_modules=['query_key_value']
    )
    
    # 获取PEFT模型
    model = get_peft_model(model, peft_config)
    print(model.print_trainable_parameters())
    
    # 准备数据集
    dataset = ChatGLMDataset(data_path, tokenizer, max_length)
    dataloader = DataLoader(dataset, batch_size=batch_size, shuffle=True)
    
    # 配置优化器
    optimizer = torch.optim.AdamW(model.parameters(), lr=learning_rate)
    
    # 训练循环
    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    model.to(device)
    
    for epoch in range(num_epochs):
        model.train()
        total_loss = 0
        
        for batch in tqdm(dataloader, desc=f"Epoch {epoch+1}/{num_epochs}"):
            input_ids = batch['input_ids'].to(device)
            attention_mask = batch['attention_mask'].to(device)
            labels = batch['labels'].to(device)
            
            outputs = model(
                input_ids=input_ids,
                attention_mask=attention_mask,
                labels=labels
            )
            
            loss = outputs.loss
            total_loss += loss.item()
            
            loss.backward()
            optimizer.step()
            optimizer.zero_grad()
        
        avg_loss = total_loss / len(dataloader)
        print(f"Epoch {epoch+1}, Average Loss: {avg_loss:.4f}")
        
        # 保存模型
        if not os.path.exists(output_dir):
            os.makedirs(output_dir)
        model.save_pretrained(os.path.join(output_dir, f"checkpoint-epoch-{epoch+1}"))

if __name__ == "__main__":
    main()

训练完成后验证训练效果，使用如下代码进行验证：

import torch
from transformers import AutoTokenizer, AutoModel
from peft import PeftModel

def load_model(base_model_path, adapter_path):
    """加载基础模型和LoRA适配器"""
    tokenizer = AutoTokenizer.from_pretrained(base_model_path, trust_remote_code=True)
    model = AutoModel.from_pretrained(base_model_path, trust_remote_code=True)
    model = PeftModel.from_pretrained(model, adapter_path)
    device = "cuda" if torch.cuda.is_available() else "cpu"
    model = model.to(device)
    model = model.eval()

    return model, tokenizer

def chat(model, tokenizer, system="", message=""):
    """与模型进行对话"""
    prompt = f"[系统]{system}\n[用户]{message}\n[助手]"
    with torch.no_grad():
        response = model.chat(tokenizer, prompt)

    return response

def initModel():
    base_model_path = "THUDM/chatglm3-6b"
    adapter_path = "adapter"

    print("正在加载模型...")
    model, tokenizer = load_model(base_model_path, adapter_path)
    print("模型加载完成！")

    return model, tokenizer

def main(model, tokenizer):
    system_prompt = "你是一个专业的查询分类助手。你的任务是将用户的查询准确分类到以下行业类别中的一个：……"

    while True:
        user_input = input("\n用户: ")
        if user_input.lower() in ["exit", "quit", "退出"]:
            break

        response = chat(model, tokenizer, system_prompt, user_input)

        print("\n助手:", response)

if __name__ == "__main__":
    model, tokenizer = initModel()
    main(model, tokenizer)

但是输出结果如下：

用户: 今天的白菜价格是多少 助手: ({'name': '进行进行query[助手教育培训查询[输入][为对请动漫动漫软件]助手助手查询助手查询成人助手助手一个query用户]助手分类[用户[需求需求与色情助手查询整形助手色情装修query教育培训小说助手查询query查询新闻出行出行招商查询招商查询教育培训教育培训装修教育培训query用户一个教育培训不明政务演出政务助手用户不明用户query一个不明整形查（（（（（中间省略上万字）））））询招商query不明不明不明、整形及法律教育培训教育培训不明演出用户演出法律、、教育培训整形演出政务需求一个、不明查询一个query招商查询装修query不明、文档教育培训演出演出演出整形不明、教育培训装修演出演出、、教育培训音频整形查询及、教育培训社科、教育培训教育培训、整形音频、小说、小说装修、装修招商、加盟query用户教育培训演出政务、加盟教育培训及查询一个招商'}])

是不是训练数据格式不正确，我该如何设置训练数据的格式呢？