DeepSeek满血微调秘籍，全网首发打破低价内卷！解锁升级版全家桶

2025-08-1302ai门户网

编辑：编辑部HYZ

【本站导读】全网首发！DeepSeekV3/R1满血版低成本监督微调秘籍来了，让高达6710亿参数AI巨兽释放最强性能。

DeepSeekV3/R1火爆全网，基于原始模型的解决方案和API服务已随处可见，陷入低价和免费内卷。

如何站在巨人肩膀上，通过后训练（post-training）结合专业领域数据，低成本打造高质量私有模型，提升业务竞争力与价值？

已收获近4万GitHubStar的Colossal-AI，发布开源大模型后训练工具箱，包含：

DeepSeekV3/R1满血671BLoRA低成本SFT微调

完整的强化学习工具链PPO，GRPO，DPO，SimPO等

无缝适配DeepSeek系列蒸馏模型在内的HuggingFace开源模型

兼容支持英伟达GPU、华为昇腾NPU等多种硬件

支持混合精度训练，gradientcheckpoint等训练加速降低成本

灵活的训练配置接口，支持自定义奖励函数、损失函数等

提供灵活的并行策略配置接口，包括数据并行、模型并行、专家并行、ZeRO和Offload等，以适应不同硬件规模

开源地址：https://github.com/hpcaitech/ColossalAI

低成本监督微调满血版DeepSeekV3/R1671B

DeepSeekV3/R1满血版参数高达6710亿，如何低成本进行低成本微调呢？仅需以下几个步骤，即可快速完成。

数据集准备

该脚本接收JSONL格式的文件作为输入数据集，例如：

https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/examples/training_scripts/lora_sft_data.jsonl

数据集的每一行应为一个聊天对话列表。例如：

[{"role":"user","content":"你好，最近怎么样？"},{"role":"assistant","content":"我很好。今天有什么可以帮你的吗？"}][{"role":"user","content":"火烧赤壁曹操为何不拨打119求救？"},{"role":"assistant","content":"因为在三国时期，还没有电话和现代的消防系统，所以曹操无法拨打119求救。"}]

该数据格式，兼容Huggingfacechattemplate，支持自定义systemprompt，因此可灵活按需配置。

模型权重准备

为保证更好的微调效果，使用BF16权重进行微调。

如果已下载了FP8的DeepSeekV3/R1权重，可以使用DeepSeek官方脚本https://github.com/deepseek-ai/DeepSeek-V3/blob/main/inference/fp8_cast_bf16.py通过GPU将权重转换为BF16。

对于使用国产华为昇腾算力，可以下载https://gitee.com/ascend/ModelZoo-PyTorch/blob/master/MindIE/LLM/DeepSeek/DeepSeek-V2/NPU_inference/fp8_cast_bf16.py脚本转换权重。

使用方法

在准备好数据集和模型权重后，可使用Colossal-AI提供的一键启动脚本：

https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/examples/training_scripts/lora_finetune.py

该脚本与常见SFT脚本类似，且完全兼容HuggingFacePEFT，启动命令：

colossalairun--hostfilepath-to-host-file--nproc_per_node8lora_finetune.py--pretrainedpath-to-DeepSeek-R1-bf16--datasetpath-to-dataset.jsonl--pluginmoe--lr2e-5--max_length256-g--ep8--pp3--batch_size24--lora_rank8--lora_alpha16--num_epochs2--warmup_steps8--tensorboard_dirlogs--save_dirDeepSeek-R1-bf16-lora

有关每个参数的更多详细信息，可以运行pythonlora_finetune.py–help查看。

该脚本可通过tensorboard记录学习率、loss、gradnorm信息，方便对训练进行监控。