20 后期处理造不出信息

▷ 先猜一下

一张 8×8 像素的模糊车牌照片。用最先进的超分辨率模型放大到 512×512，输出的车牌号清晰锐利、完全可读。这个号码有多可信？

A 很可信，模型是从像素里恢复出来的B 大致可信，可能有一两位错C 完全不可信，那几个字是模型编的D 要看模型有多大

那一行定理

◆ 数据处理不等式（DPI）

如果 X → Y → Z 构成一条马尔可夫链——也就是说，Z 只能通过 Y 看到 X，没有任何别的通道——那么：

I(X; Z)  ≤  I(X; Y)

对 Y 做任何处理，都不可能增加它包含的关于 X 的信息。

不管那个处理是：加噪声、压缩、滤波、跑一个十亿参数的神经网络、请三位专家开会讨论三天。只要它没有引入关于 X 的新观测，它就只能损失，不可能增加。

证明只要一行（用互信息的链式法则），但直觉更重要：

Y 里关于 X 的信息量是固定的。
Z 是从 Y 算出来的，所以 Z 里关于 X 的信息，
必然是 Y 里那些信息的一个【子集】——
你不可能从一个盒子里拿出比里面更多的东西。

「放大，增强」

刑侦剧里那个经典场面：技术员对着一张模糊的监控截图敲几下键盘，说「放大，增强」，车牌号就清清楚楚地出现了。

按 DPI，这是不可能的。

真实车牌 X  →  8×8 的模糊图像 Y  →  超分辨率结果 Z

I(X; Z) ≤ I(X; Y)

# 如果 8×8 的图像里根本没有区分「B」和「8」的信息，
# 那么无论 Z 有多清晰，它都不含这个信息。

但这里有一个非常重要的转折，而它比「电影是假的」有意思得多：

◆ 超分辨率模型确实能输出一张清晰的车牌——但那些字是编的

现代生成模型真的能把 8×8 变成 512×512，而且结果看起来完全真实。这不违反 DPI，因为它做的不是「恢复」，是「生成一张与观测一致的、符合先验的图像」。

模型手上有两样东西：

观测（那 8×8 个像素）——信息量很少，DPI 管着它。
先验（训练时见过的几亿张图片）——它不是关于「这个车牌」的信息，是关于「车牌一般长什么样」的信息。

输出 = 观测 + 先验。而先验部分和这个具体的车牌无关。

所以模型输出 京A·B8K21，真实含义是：「在所有能模糊成这 8×8 像素的车牌里，这一个是最典型的。」而符合那 8×8 像素的车牌可能有几百个。

「看起来清晰」和「是对的」在这里被彻底解耦了——而这正是它在司法取证里极其危险的原因：一张模糊照片会让人保持怀疑，一张清晰的假照片不会。

▸ 在现实里：这不是假想的风险

2020 年有一个广泛流传的例子：PULSE 这个人脸超分辨率模型，把奥巴马的一张低分辨率照片「增强」成了一张白人男性的脸。

这个结果引发了大量关于训练数据偏见的讨论——那部分讨论是对的，但从信息论看还有一层更基本的：低分辨率图像里根本不包含足够的信息来确定肤色和五官细节，所以输出的必然是「先验里最典型的脸」。如果先验里白人脸占多数，输出就偏白。

换一份训练集能改变偏见的方向，但改变不了「输出主要来自先验」这件事。

同样的道理适用于：

AI 修复老照片——它在编细节，不是在恢复。
音频降噪与「AI 增强」——被噪声完全盖住的音节，是被补出来的。
大模型「补全」一段残缺的引文——它给的是最可能的文本，不是原文。
医学影像的超分辨率重建——这个领域对此非常警惕，因为「生成出一个不存在的病灶」和「抹掉一个存在的病灶」都是灾难。

这条定理的其它几个用法

一、模型救不了烂数据

真实标签 X  →  你采集的特征 Y  →  模型预测 Z

I(X; Z) ≤ I(X; Y)

# 你的模型的天花板，由【数据里有多少信息】决定，
# 而不是由模型有多大决定。

这给了一个很实用的判断：当你的模型效果卡住时，先问「这份数据里到底有没有那个信息」。如果特征里根本没有区分两类的信号，换多少模型都没用——你需要的是新的观测，不是新的算法。

而「新的观测」是唯一能突破 DPI 的东西。加一个传感器、多问一个问题、接一个新数据源——这些是往链条里注入信息；调参、换架构、加层数不是。

二、「多分析几轮」不产生新信息

一份报告被三个部门轮流分析、总结、提炼，最后送到决策者手上。

每一次处理都只可能损失。那么为什么这个流程还有意义？

◆ 处理的价值不在「增加信息」，在「换个形式」

DPI 说的是信息量不增加。但它没说「无用」：

丢掉的可能正是噪声。DPI 管的是 I(X;Z)，而一次好的处理可以在几乎不损失 I(X;Z) 的前提下，大幅降低 H(Z)——也就是「用更少的比特装同样多的相关信息」。这正是特征提取和表示学习的目标。
形式很重要。一份 200 页的原始日志和一张关键指标图，可能含有几乎同样多的相关信息，但人的处理能力是有限的——把信息换成人能用的形式，本身就是价值。

所以正确的说法是：处理不能造信息，但可以提高「信息密度」。而这是一个完全不同、而且完全正当的目标。

三、加密的安全性定义

DPI 反过来用，就是密码学的一条基本要求：

明文 M  →  密文 C

完美保密（香农 1949）的定义：  I(M; C) = 0

# 密文和明文之间的互信息必须【严格为 0】。
# 也就是：看到密文，你对明文的知识【一点都没增加】。

香农证明了：要达到完美保密，密钥的熵必须不小于明文的熵。这就是一次性密码本（one-time pad）为什么必须「密钥和明文一样长、只用一次」——而这也正是它在现实中几乎无法使用的原因。

现代密码学退了一步：不要求互信息为 0，只要求「在有限算力下无法提取」。这是一个计算复杂性的假设，不是一个信息论的保证——两者的区别在量子计算的语境下变得很要紧。

✗ 这个直觉是错的

「这个模型太强了，它一定能从数据里挖出我们没发现的东西。」模型能挖出你没注意到的模式，但挖不出数据里没有的信息。两者是完全不同的两件事。

怎么区分？问一个问题：「如果一个全知的神来看这份数据，他能确定答案吗？」

如果能——那你的模型效果不好是算法问题，值得继续投入。
如果不能——那你需要的是更多/更好的数据，再强的模型也只会给你一个自信的猜测。

这个问题在实践中经常能省下几个月。而它之所以有效，就是因为 DPI 把「数据里有没有」和「算法够不够聪明」这两个问题彻底分开了。

∑ 一个必须注意的边界：DPI 管的是「链」

DPI 的前提是 X → Y → Z 是一条马尔可夫链：Z 只通过 Y 看 X。

如果 Z 有别的通道看到 X，不等式就不成立了，而且这在现实里很常见：

模型的先验来自训练数据，而训练数据可能包含 X 本身。如果那张车牌的照片在训练集里，模型「恢复」出正确号码就不是奇迹，是数据泄漏。
多次独立观测。同一辆车的十帧监控画面，不是「对一帧做十次处理」，是十次独立观测——它们的信息可以叠加。这是真正的「多帧超分辨率」为什么有效，而单帧超分辨率只是在生成。
旁路信息。知道这辆车属于某个车队、知道当地车牌格式——这些是从别的通道进来的信息，可以合法地缩小范围。

所以判断一个「增强」是真是假，关键是问：它有没有新的观测？有，可能是真的；没有，那一定是先验在说话。

◇ 结账

C：完全不可信，那几个字是模型编的

如果你选了 D（「要看模型有多大」），那正是 DPI 要纠正的直觉——模型大小和这件事完全无关。一个万亿参数的模型和一个百万参数的模型，面对同样的 8×8 像素，能提取的关于「这块车牌」的信息量上界是一模一样的。

更大的模型只会让编出来的那个答案看起来更可信。而在这个场景里，这是让事情更糟，不是更好。

这一章的一句话

没有新观测，任何处理都只能损失信息，不可能增加。所以「增强」出来的清晰细节全部来自先验——它让画面更好看，同时让它更不可信。

下一章是卷 V 的最后一章，也是这本书里最实用的一章。如果信息可以量化，那它值多少钱？

答案有一个精确的公式，而且那个公式你已经见过了——它和第 14 章那个信道容量，一个字都不差。