10美元成功复现DeepSeek，3B模型爆发超强推理！微软论文反驳涌现

奖励建模

研究人员把奖励机制设计得很简单易懂，对于策略模型：

答案错误时，给予负奖励-1

答案正确时，给予正奖励+1

训练设置

接下来，研究人员使用Reinforce-Lite算法，在RTXA6000显卡上训练了3B模型，训练时间为12小时，并采用大小为10的分组。

在训练初期，可以观察到：模型不断尝试增加输出序列/输出token的长度，但会经常遇到内存溢出（OOM）问题，这就限制了模型尝试更长的推理过程，并从中有效学习。

奖励图表展示的是分组响应的平均得分。理想情况下，平均值越接近1，表示模型在大多数采样响应中的准确率越高。

在这次实验中，研究人员只训练了数百次迭代，可以观察到当策略模型尝试不同策略时，得分会出现一定波动。

这种波动可以通过熵正则化来平衡探索与利用之间的关系，这是他们未来探索的一个方向。

对比测试Reinforce-Lite和Instruct模型

研究在GSM8K数据集上评估了Reinforce-Lite，发现在有限训练时间内，Reinforce-Lite相比指令模型在得分上实现了小幅提升。

具体来说，MetaLlama3.2模型提升了2.0％（从70.5提升至72.5），而在FP16格式下运行的Phi3.5Instruct则提升了0.6％（从83.4提升至84.0）。

推理轨迹分析

观察一些推理轨迹后可以发现，经过Reinforce-Lite微调的模型展现出了多种推理能力，包括：

逻辑思维

搜索策略

结果验证

通过表格进行中间计算

试错方法等

注意！这些推理轨迹，在常规的指令模型中均未观察到。

比如在下图中，模型展现出了基本的数学推理能力。它能够通过代数表达式设立问题，并通过解方程来求解。

过程中，它能识别出不合理的解，在原方案不可行时选择调整解决方案，最终还能通过比较不同选择的成本，来做出最优决策。

在这道题中，模型表现出的处理包含条件推理和纠错的能力，也令人印象深刻。

它首先设定了问题背景，计算派对开始时的总人数。然后根据已知条件（总共40人，1/4人离开），计算出有10人离开派对。

然而，在计算离开的女性人数时，模型居然得出了一个负数，它意识到了自己的推理中，一定出现了逻辑错误。

为此，它重新审视了情况，修正了自己的推理，正确计算出派对上剩下了8名女性，从而得出正确答案。

这道题中，模型设定初始绷带数量为x，根据给定条件将绷带数量的变化转换为代数方程，但解出的方程结果是x=-6。

它意识到自己的错误后，回顾了之前的步骤，识别出自己在计算第三天的绷带使用量时犯了错。修正方程后，它重新计算出了正确结果。

整个过程中，它展现出了较强的自我纠错和逻辑推理能力，能在复杂计算过程中发现并修正问题。

关键要点总结

总结来说，这项研究主要有以下发现。

结构化推理能力提升

从生成的序列中可以观察到，经过RL微调的模型在评估得分上实现了小幅提升。

简化算法复杂度，无需PPO的复杂性

研究表明，对LLM进行微调只需要一个策略网络即可，无需采用PPO的复杂机制。

优化计算效率

Reinforce-Lite作为一个计算友好型算法，支持端到端的RL训练，同时显著降低了训练复杂度。

增强模型自主性

算法成功地赋予了LLM自主能力，让模型会通过尝试不同策略来获取奖励。

更长的推理回合，需要更多内存

随着训练的进行，可以发现模型倾向于进行更长的推理过程，但在使用48GBGPU训练3GB模型（FP16）时，如果超过1024个token，就会频繁出现内存溢出问题。

在没有KL散度的情况下确保稳定性

研究人员发现，使用简单的梯度裁剪就能有效替代KL散度计算，这是一种高效的替代方案，用于防止策略偏离。在整个训练过程中，模型策略保持稳定，未出现剧烈波动。

DeepSeek-R1启发，7B模型实现高级推理技能

巧的是，最近来自微软亚洲研究院的一项工作，也证明了RL的巨大潜力——通过有效且稳定的RL训练后，一个7B模型，居然就发展出了反思、验证和总结的高级推理技能！

而这些技能，在逻辑语料库中是完全缺失的。

受DeepSeek-R1成功的启发，研究团队探索了基于规则的强化学习（RL）在大规模推理模型中的潜力。

论文地址：https://arxiv.org/abs/2502.14768

为了分析推理机制，他们选择了具有可控复杂度和直接答案验证方式的「合成逻辑谜题」作为训练数据。

在此过程中，团队取得了一些关键性的技术突破，并促成了有效且稳定的RL训练：

一个着重强调思考和回答过程的systemprompt

一个用于惩罚取巧输出的严格格式奖励函数

一个能实现稳定收敛的简单训练方案

其中，训练框架采用REINFORCE++算法和来自DeepSeek-R1的奖励设计进行后训练。

随着RL训练的进行，可以观察到模型自然地分配更多的训练步骤用于推理。这种计算扩展从生成数百个token扩展到数千个token，使其能够更深入地探索和完善其思维过程。

结果显示，只有70亿参数的Qwen2.5-7B，在经过5K个逻辑问题的训练后，就发展出了一些在逻辑语料库中原本不存在的高级推理技能——如反思、验证和总结能力。

研究中，考验模型的这道逻辑题是这样的。

问题：一个非常特殊的岛屿上只住着骑士和**。骑士总是说真话，**总是说谎。你遇到两位岛民：Zoey和Oliver。Zoey说：「Oliver不是骑士。」Oliver说：「Oliver是骑士且Zoey是**。」请问，谁是骑士，谁是**？

正确答案：（1）Zoey是**；（2）Oliver是骑士。

这个「骑士与**」谜题，因其合成设计和逻辑精确性而非常适合进一步分析。

首先，谜题对于模型来说都是未见过大数据，非常适合用来测试泛化能力。

其次，通过改变字符数量（2到8个）和逻辑运算的复杂性（1到4种布尔运算符组合），可以调节难度。

而且，每个谜题都有一个单一、明确的正确答案，正确性由生成算法保证。解答需要严格的演绎推理，因此减少了奖励作弊的风险。

总之，每个谜题都遵循正式规则构建，能确保每个问题都有一个独特的解决方案，并可以确定性地验证。这消除了自然语言任务中常见的模糊性，使我们能够清晰地区分真正的推理能力和表面上的记忆。

在奖励建模中，研究在模型输出中不断检测作弊行为，并不断改进奖励设计。

最终，他们设计出了一种几乎无法作弊的基于规则的奖励系统，仅包含两种奖励类型：格式奖励和答案奖励。

以下就是不同的推理模型和通用模型在不同难度的K&K逻辑谜题上的表现。

在RL训练后，可以在模型中观察到以下涌现的行为。

1.会出现犹豫和自我验证

在思考环节，模型会不时使用「我不是完全确定，让我们重新检查这一步」这类反思性表达。

这种自我审视的行为特征在预训练阶段是完全不存在的，而是通过奖励正确答案、惩罚错误答案的强化学习机制逐步培养形成的。

2.多轮径探索和回溯

经过RL训练后，模型会主动提出多个解决方案（「让我们测试两种可能性」），并通过回溯来检查解决方案的一致性。

3.应用公式

尽管训练数据集中并未包含，但模型不仅能够通过系统性试错方法解决谜题，还自主整合了形式逻辑推理能力（比如运用「如果P，则Q」的逻辑蕴含公式），这种推理模式与人类的问题解决方式高度相似。

4.忽然开始说中文

模型在分析问题陈述时会临时插入中文表达，随后又能自然地转换为英语来提供解决方案。

这一现象表明，模型正在使用语言混合机制作为一种潜在的备选处理策略，或是形成了某种特殊的内部表征模式。

在具有挑战性的数学基准测试AIME和AMC上，模型展现出了卓越的泛化能力——成绩分别提高了125%和38%。

这种跨领域泛化能力表明，RL训练的推理启发式方法发展出了抽象的问题解决模式，而不是依赖于特定领域的模式匹配。

所以，这项研究的训练期间，也出现「顿悟时刻」了吗？

换句话说就是，在强化学习过程中，模型的推理能力是否会发生显著的飞跃，出现多步验证或反思，而且这些行为不是在训练语料中明确植入的，而是模型与RL环境的互动所自然产生的？

研究人员发现，模型并没有出现「等一下，等一下」这样特定的语言表述，但图4显示出，它在第10步时表现出了一些复杂的推理行为（例如自我反思、探索、验证、总结）。

由此，研究人员的结论是，RL学习过程可能没有突如其来的「顿悟时刻」——复杂的推理行为并不是在某个特定的训练步骤中突然出现的。

1.反思性词汇（如「检查」和「验证」）的频率缓慢增加（a）-（c）；2.会话性短语（例如「让我们」）和谨慎词汇（例如「还」）变得更加频繁（d）-（e）；3.中文词汇开始出现在英文回复中（f）。所有这些词汇的频率都在稳步发展，没有突然的跳跃，表明可能不存在明显的「顿悟时刻」

除了上述技术贡献外，研究还有几个有趣的发现：

更长的回答并不能保证更好的推理。长度本身不是评估训练时间的有效指标。最有效的推理来自最短路径。

语言混合会阻碍推理。这一观察强调了在奖励建模中需要语言一致性惩罚。

增加「思考」token确实有帮助。RL训练自然地提高了与反思相关词汇的频率，表明某些token频率与性能之间存在相关性。

监督微调（SFT）依赖记忆；RL实现泛化。SFT严重依赖记忆，往往导致表面的捷径学习，而RL则在最小依赖数据集结构的情况下自我演化。

冷启动是一个优势，但非必需。无论是从基础模型还是指令模型开始，训练动态都保持惊人的相似性，尽管后者表现略好。

课程学习仍然重要。在固定的数据筛选比例下，精心设计的课程学习方法总是优于随机打乱。