不需要想的思考 - Recurrent Depth
2026-09-02
技术的演进历史
* 2025年2月：Jonas Geiping 与 Sean McLeish 等研究者发表了论文《Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach》，从理论上证明了一件事：不需要堆叠更多层，只要让数据在同一层里反复“循环计算”，模型就能在后台完成高难度的逻辑推导。
* 2025年10月：字节跳动发布了 Ouro 模型，成为第一个把这项技术真正做出来的团队。他们用这种循环结构加上参数共享，让一个只有 26 亿参数（2.6B）的小模型，在逻辑推理上直接达到了 80 亿参数（8B）常规大模型的水平。
* 2026年9月：行业消息显示，OpenAI 的新一代模型 Astra 也正式采用了循环深度架构，彻底让这种技术成为了主流。
什么是“循环深度”？
以前我们让大模型解决复杂问题，靠的是思维链（Chain of Thought）——模型必须把自己“思考”的每一步都变成文字打印在屏幕上，一边写一边推导下一句。
[Interactive figure: Recurrent Block Information Flow]
Step through a simplified Transformer-style recurrent block and compare one-round processing with repeated internal passes.
而循环深度（Recurrent Depth） 彻底变了。它不把思考过程变成字吐出来，而是让这串代表语义的数字（也就是特征向量）在模型的内部层里不断循环打转。它是在不可见的内部空间（也就是隐藏层/隐空间）里默默把逻辑算通了，最后直接把最终答案输出给你。
架构上到底改了什么？
标准的 Transformer 架构主要包含三个部分：
* 输入端（Prelude）：把人类的文字转换成计算机能懂的一串数字（嵌入向量）。
* 核心处理区（Core）：模型真正做计算、找规律的地方。
* 输出端（Coda）：把处理好的数字再翻译回人类的文字。
在普通的模型里，中间的核心处理区就像一栋上百层的高楼，每一层都是完全独立的新结构，拥有独立的一套参数。数据只能像爬楼梯一样，从第 1 层老老实实穿到第 100 层。
而循环深度把这几十上百层直接砍掉了，换成了一个循环块（Recurrent Block）。数据进入这个块之后，算完一遍不走，而是被拉回入口再算一遍，不断自我循环。而且每一次循环，用的都是完全相同的一套参数。
如果我们把这个循环块拆开来看，它里面其实完全没有新花样，依然是大家最熟悉的 Transformer 标准零件——负责找关联的多头注意力机制（Multi-Head Attention）和负责处理特征的前馈神经网络（Feed-Forward Network）。架构的核心改变不在于发明了新算法，而在于改变了数据的流动路线。
它在数学上是怎样“思考”的？
为什么一堆数字在里面转圈就能解决问题？
如果你用传统的思维链，面对一道题，你得把“解法A”、“解法B”、“解法C”一条条写下来，逐个排除。
但在循环深度的内部空间里，这些数字向量的维度非常大（通常有上千个维度），这意味着它不需要一条一条列出来，而是可以把解法A、B、C所有的可能性同时打包在这串数字里。
这时候，那个不断循环的模块就像一个过滤器：
* 第一圈循环：注意力机制扫描一遍，发现解法A漏洞百出，于是直接削弱代表解法A的那部分数值；
* 第二圈循环：它发现解法B也有问题，继续压低它的数值，同时放大符合逻辑的解法C的数值。
从数学角度说，这个过程就像在做算法优化——模型一直在朝着那个最合理的临界点（也就是最终答案） 去逼近。每一圈循环，都在过滤掉不确定的噪声，最终把数据收敛到那个正确的特征结构（低维流形）上。如果是简单的题，转两三圈就锁定了答案；如果是极其复杂的题，它就需要循环几十圈，才能把那个复杂的正确解彻底算出来。
它的局限性：为什么容易走极端？
这种靠循环逼近答案的做法，在规则极其严格的领域（比如解数学题、写代码）非常管用，因为这类问题对就是对、错就是错，数学特征非常明显。但一旦遇到复杂、开放、没有绝对标准的问题，它就会暴露严重的问题，也就是捷径学习（Shortcut Learning）。
[Interactive figure: Shallow and Deep Minima]
A ball descends across a flat loss map with one shallow local minimum and one deeper global minimum. Adjust its starting position and step size, then use Step or Play to see which basin captures it.
在数学优化中，最优答案往往在最深的谷底（全局最优解）。但复杂的现实问题往往有很多“看起来挺像那么回事、但其实不严谨”的浅坑（局部最优解）。因为这个循环只负责机械地往下收敛，如果一个表面看似合理、实则是偷懒的浅坑距离更近，数据就会直接滑进这个坑里停下来，导致模型以为自己找到了正确答案，把真正的深层解答彻底漏掉。
更要命的是，因为它没有像思维链那样把思考过程白纸黑字地写出来，它在内部是没有“回退检查”机制的。如果转的圈数太多，里面的特征数字很容易被反复的乘法计算“磨平”，不同解法之间的边界彻底糊掉。最终，模型不仅没想明白，反而会自信地输出一个看起来很顺眼、但其实完全错误的捷径答案。这也是为什么面对发散的大问题，把思考步骤老老实实写出来依然必不可少。
评论