MindSpeed-LLM 数据预处理
本 Skill 指导用户为 MindSpeed-LLM 训练准备数据，覆盖预训练、指令微调和偏好对齐三种数据格式。
快速开始
指令微调数据（Alpaca 格式）
python preprocess_data.py \
--input ./dataset/alpaca.parquet \
--tokenizer-name-or-path ./model_from_hf/Qwen2.5-7B-Instruct/ \
--output-prefix ./finetune_dataset/alpaca \
--handler-name AlpacaStyleInstructionHandler \
--tokenizer-type PretrainedFromHF \
--workers 4 \
--prompt-type qwen预训练数据
python preprocess_data.py \
--input ./dataset/raw_text.parquet \
--tokenizer-name-or-path ./model_from_hf/Qwen2.5-7B/ \
--output-prefix ./pretrain_dataset/data \
--tokenizer-type PretrainedFromHF \
--handler-name GeneralPretrainHandler \
--json-keys text \
--workers 4数据处理器
| Handler | 输入格式 | 用途 |
|---|---|---|
GeneralPretrainHandler | {"text": "..."} | 预训练 |
AlpacaStyleInstructionHandler | {"instruction": "...", "output": "..."} | 单轮指令微调 |
SharegptStyleInstructionHandler | {"conversations": [...]} | 多轮对话微调 |
AlpacaStylePairwiseHandler | {"question": "...", "chosen": "...", "rejected": "..."} | DPO 偏好对齐（Alpaca 风格） |
SharegptStylePairwiseHandler | {"conversations": [...], "chosen": "...", "rejected": "..."} | DPO 偏好对齐（ShareGPT 风格） |
输入数据格式
Alpaca 格式
{
"instruction": "描述一下量子计算的基本原理",
"input": "",
"output": "量子计算利用量子比特..."
}支持的字段：instruction（必需）、input（可选）、output（必需）。
ShareGPT 格式
{
"conversations": [
{"from": "human", "value": "你好"},
{"from": "gpt", "value": "你好！有什么可以帮助你的吗？"},
{"from": "human", "value": "请介绍一下深度学习"},
{"from": "gpt", "value": "深度学习是机器学习的一个分支..."}
]
}角色标识：human / gpt（或 user / assistant）。
Pairwise 格式（DPO）
{
"system": "You are a helpful assistant.",
"question": "解释什么是机器学习",
"chosen": "机器学习是人工智能的一个子领域...",
"rejected": "机器学习就是让机器学习。"
}预训练数据
{"text": "这是一段用于预训练的长文本..."}支持 .jsonl、.json、.parquet、.csv、.txt、.arrow 输入格式。
关键参数
| 参数 | 说明 | 示例 |
|---|---|---|
--input | 输入数据文件路径 | ./dataset/alpaca.parquet |
--output-prefix | 输出文件前缀 | ./finetune_dataset/alpaca |
--tokenizer-name-or-path | 分词器路径（HF 模型目录） | ./model_from_hf/Qwen2.5-7B-Instruct/ |
--tokenizer-type | 分词器类型 | PretrainedFromHF |
--handler-name | 数据处理器 | AlpacaStyleInstructionHandler |
--prompt-type | 对话模板类型 | qwen、llama3、glm4 |
--json-keys | 预训练文本字段名 | text（预训练数据必需） |
--map-keys | 字段映射（非标准数据格式） | '{"prompt":"question"}' |
--workers | 并行处理线程数 | 4 |
--seq-length | 序列长度（打包时使用） | 4096 |
--log-interval | 日志打印间隔 | 1000 |
Prompt 模板
| 模板名 | 适用模型 |
|---|---|
qwen | Qwen、Qwen2.5 |
qwen3 | Qwen3 |
llama3 | LLaMA 3/3.1 |
llama2 | LLaMA 2 |
glm4 | GLM-4 |
deepseek3 | DeepSeek-V3 |
deepseek2 | DeepSeek-V2 |
baichuan2 | Baichuan2 |
mistral | Mistral |
chatml | ChatML 通用格式 |
输出文件结构
指令微调数据输出
预处理生成 packed 格式文件：
<prefix>_packed_input_ids_document.bin / .idx
<prefix>_packed_labels_document.bin / .idx
<prefix>_packed_attention_mask_document.bin / .idxPairwise 数据输出（DPO）
<prefix>_packed_chosen_input_ids_document.bin / .idx
<prefix>_packed_chosen_labels_document.bin / .idx
<prefix>_packed_rejected_input_ids_document.bin / .idx
<prefix>_packed_rejected_labels_document.bin / .idx预训练数据输出
<prefix>_text_document.bin / .idx注意：预训练--data-path需包含_text_document后缀（如./dataset/data_text_document），微调则使用前缀即可。
数据路径约定
重要：训练时--data-path应设为输出前缀（如./finetune_dataset/alpaca），不要包含_packed。数据加载器get_packed_indexed_dataset()会自动拼接_packed_*_document后缀。
# 正确
--data-path ./finetune_dataset/alpaca
# 错误
--data-path ./finetune_dataset/alpaca_packed多文件数据集
支持多个数据文件按权重混合：
--data-path 0.7 ./dataset/pretrain_zh 0.3 ./dataset/pretrain_en常见问题
Q: 预处理报错 tokenizer 找不到
确保 --tokenizer-name-or-path 指向包含 tokenizer.json 或 tokenizer.model 的目录。
Q: 处理速度慢
增加 --workers 参数（建议不超过 CPU 核心数）。
Q: ShareGPT 格式的角色标识不匹配
确保使用 human / gpt 或 user / assistant 作为角色标识。
使用顺序
数据预处理完成后：
- 权重转换 → 使用 mindspeed-llm-weight-prep
- 训练启动 → 使用 mindspeed-llm-training
参考资源
- 详细数据格式说明 - 各格式详细字段说明和高级用法
- MindSpeed-LLM 仓库