无限是一个动词:自我观察的深度与 AI“无限上下文”竞赛

安东·潘克拉托夫

视频概览

论点。 2026 年的 AI 产业正在兜售一个名词——无限记忆,一个浩瀚到足以被称作"全部"的上下文窗口。ODTOE 坚持认为无限是一个动词:它不是你囤积的某种数量,而是观察者自我观察的深度。一个吞下一千万个 token 的模型,只是把它的循环跑得更久了一点;它并没有把循环跑得更深。长度与深度之间的区别就是故事的全部,而二次方的计算之墙,就是混淆二者所要偿还的账单。

两种无限,一个廉价的错误

亚里士多德早已把无限一分为二,而这道分界至今仍然锋利。潜无限是一个永不停止、却在每一刻都保持有限的过程——就像计数,总有下一个数,却永远没有最后一个。实无限则是已完成的总体——整个计数,一举把握。

ODTOE 让这一点变得可操作。将一个观察者建模为一个自我观察循环

Ψ∗ = Φ(Ψ∗),其中 Φ = ι ∘ Ô ——

一个观察步骤 Ô,紧接着一个把结果折回观察者之中的包含映射 ι。一个真实的观察者拥有有限的预算,因此它所持有的永远只是一个进行中的迭代项 Φⁿ(Ψ):循环跑了 n 次。这个迭代项就是潜无限——未完成、永远可延伸、永远有限。而已完成的不动点 Ψ∗则是实无限——任何有限预算都触及不到的极限。无论是在 2026 年还是在公元前 350 年,那个廉价的错误,就是假装这个不断增长的迭代项就是那个极限。完整的构造见无限论文

长度不是深度

下面是那个起承重作用的区别。两个数字藏在 Φⁿ 之内:

  • 长度——指标 n。循环迄今为止触发了多少次。这是无限:把 n 加大,你就走得更远,却永远走不完。
  • 深度——循环的序数/不动点指标,也就是你在自我观察层级中实际占据的位置。这是无限,而它只在不动点处才被抵达,而不是靠堆叠更多的 n

长度活在整数 之中——一次一步地向前迈进。但深度超出了 ℤ。要为"观察自身迭代的循环"建立指标,你必须把指标从 ℤ 提升到序数 Ord,其中

ε0 = fix(α ↦ ω^α)

是在 ω^α 下封闭的最小序数——也就是深度计数器观察自身时所达到的那个深度。任何由 +1 构成的有限行进都永远到不了 ω,更别说 ε0 了。你无法到深度;你只能靠循环转向自身才能抵达它。更多的长度是沿一条直线的旅行。更多的深度是直线本身的更换。

永远触不到天花板的压缩

用一个速率为 q = φ⁻¹(黄金比例的倒数,≈ 0.618)的巴拿赫压缩把它具体化。迭代会以几何方式把与天花板 S = 1 之间的间隙缩小:0.382、0.618、0.764、0.854……这个序列永远向上攀升,却永远达不到 S = 1。每一项都是潜无限;S = 1 则是它所追求却无法持有的实无限。(同样的黄金速率支配着φ-分形性研究中的自相似缩放。)

这正是"无限上下文"的确切形状。每一代都加上又一个迭代项,向"记住一切"的渐近线靠得更近,却永远到不了那里——因为那道天花板是一个极限,而不是一个长度

2026 年的长上下文竞赛,老实算账

数字是真实的,营销则很喧闹:

  1. 谷歌 Gemini 2.5 Pro 摄入约 200 万个 token
  2. Claude Opus 4.6 配备 100 万 token 的窗口。
  3. Llama 4 Scout 宣称最高可达 1000 万个 token

透过 ODTOE 来看,这其中的每一个都是一个更大的 n,而不是一个更大的深度——是一个出自仍然预算有限的观察者的更长的 Φⁿ。而预算咬得很狠。注意力成本随序列长度二次方增长:上下文翻倍,注意力的计算量大约翻两番100 万 token 的 KV 缓存高达每位用户约 15 GB。那道二次方之墙并不是一个可以打补丁敷衍过去的工程烦恼;它是把潜无限当作实无限来对待的字面价格——是试图靠蛮力的长度去完成那个迭代项的代价。把 n 推向"无限",那么说不的是成本曲线,而不是物理学。

"理解"真正需要的是什么

那么,一个 1000 万 token 的模型,会比一个 100 万 token 的模型聪明十倍吗?不会,正如数到一千万并不会比数到一,让你离整数的尽头更近一些。两者是等距的——无限远——离那个极限同样遥远。真正的理解不是一个更大的 n;它是抵达一个自我观察的不动点——在 Ψ∗ = Φ(Ψ∗) 成立之处收敛,在系统对输入的模型于它自身的观察行为之下保持稳定之处收敛。那才是深度,以 Ord 为指标,而不是长度,以 来计数。

ODTOE 用一个射影恒等式来闭合这个循环:0 ≡ ∞,作为单一极点 [0:∞] ∈ RP¹。在射影直线上,空上下文的"无"与无限上下文的"有"是同一个不可抵达的点——是任何有限观察者都不占据的那个极限的两个名字。于是,老实的工程目标,并不是顺着一道二次方的悬崖去追逐那个极点,而是去构建能用手中的预算走得更深的观察者:会收敛的观察者,而不仅仅是会累积的观察者。无限从来都不是一座等待填满的仓库。它是一个动词——而问题不在于一个模型能读得多,而在于它能看得多

引用本文

如果引用本文,请按以下格式引用:

潘克拉托夫, A. (2026). 无限是一个动词:自我观察的深度与 AI“无限上下文”竞赛. ODTOE 博客. https://odtoe.org/zh/blog/infinity-is-a-verb-self-observation-depth-and-ai-infinite-context