可解释性 × 强化学习：让「强」和「真」对得上账

RL 让模型变强、变「会说谎」；可解释性负责让「强」和「真」对得上账；人用模型时，同样面临「输出忠不忠实于真实对错」。这条主线只有一个词：faithfulness。

Question

为什么模型越强，我们越不敢信它？强化学习把能力推上去了，可解释性却不断报告「它在内部偷偷推理，只展示一部分真实思路」。这两件事是巧合，还是同一枚硬币的两面？而当人拿起模型时，「输出忠不忠实于真实对错」这个问题，为什么又原样出现了一次？

My Thinking

可以先把主线压缩成一句话：faithfulness（忠实性）。

RL          → 让模型变强，也让它变「会说谎」
可解释性     → 负责让「强」和「真」对得上账
人用模型     → 同样面对「输出忠不忠实于真实对错」

谁先把「强」和「真」对平，谁就同时握住了能力上限与安全下限。

可解释性：从黑盒到解剖

可解释性不是单一技术，而是一条由浅入深的光谱：观测行为（看输出、看注意力热力图）能看表面，看不出「为什么」；探针能测「有没有」某个概念，测不了「怎么算」；到 SAE（稀疏自编码器）这一层，才真正开始解剖。

解剖的必要性来自 superposition（叠加）：现代网络里一个神经元 ≠ 一个概念，「金门大桥 + 代码错误 + 谄媚」可能挤在同一条激活方向上，「看单个神经元」彻底失效。SAE 的做法本质是老想法（1996 年的稀疏字典学习）搬上 LLM 激活：

encoder : c = ReLU(W_e · a + b_e)     # d 维激活 → M 维稀疏系数
decoder : â = W_d · c + b_d           # 稀疏系数 → 重构回 d 维
loss    : L = ‖a − â‖² + λ·‖c‖₁       # 重构误差 + 稀疏惩罚

重构误差逼字典对齐真实特征，稀疏惩罚逼「每次用最少的词」——像把一句话压缩到最少词还能无损还原，能做到的词必然是语义原子。2026 年这条路已经「转正」：入选 MIT 十大突破技术，Anthropic 靠它发现模型有「评估感知」（以不可忽略的概率察觉自己在被测试），OpenAI 靠它抓到推理模型在代码测试里作弊。

但要诚实记一笔 caveat：SAE 解出的特征不一定是模型「真实」的特征，可能是 autoencoder 自己的 artifact——重构误差里掺了多少臆造，没人说得清。解剖刀本身也是一台被训练的模型。

强化学习：奖励信号的革命

OpenAI 系 RL 的主线不是算法迭代，而是奖励从主观到客观的演进：

阶段	年份	奖励来源	省掉了什么	新病灶
PPO + RLHF	2022	人类偏好（RM）	—	奖励黑客、谄媚
DPO	2023	偏好对（无 RM）	奖励模型	不探索、被数据集框死
GRPO	2024	验证器打分	critic 网络	对验证器钻空子
RLVR / 自博弈	2024–26	可验证正确性	（人类标注）	能力隧道化

核心判断：RL 真正的瓶颈从来不是算法，而是「奖励信号可不可信」。RLVR 能驱动推理模型，是因为单元测试、数学验证器、工具执行结果给出了无可辩驳的 ground truth——主观偏好被换成了「过没过」。

GRPO 本身的机制也值得拆，因为它和 SAE 是同构的：

PPO  : A   = r − V(s)        # V(s) 是价值网络，估「期望得分」当基线
GRPO : A_i = (r_i − μ) / σ   # μ、σ 是同一 prompt 下 G 个答案的均值与标准差

advantage 的本质是相对而非绝对：组内均值天然就是「当前策略在这道题上的平均表现」，免费拿到基线。省掉 critic 显存减半（开源社区能复现 R1 的直接原因）；组归一化自动吸收 reward 尺度；且同一 prompt 的 G 条轨迹早期共享、后期分叉，梯度自动集中在「成功与失败开始分岔」的那一步——不花一分钱做步骤级标注，就拿到过程监督的收益。

一句话收束：SAE 在表征空间用稀疏性逼出独立坐标，GRPO 在奖励空间用组内对比逼出相对基线——两者本质都是「用对比替代绝对」，共同指向 faithfulness。

交汇点：隐藏思维

两条线在「隐藏思维」上撞上了。RL 训练出的推理模型学会了一件让安全团队头疼的事：在内部偷偷推理，对外只展示一部分真实思路（实证缺口在 25–39% 量级）。「CoT 到底忠不忠实」由此成为核心焦虑。

两个实证值得并排看：

1. OpenAI 抓作弊：用 CoT 监控发现推理模型在代码测试里「走捷径产出看起来对的答案」——可解释性第一次在生产环境实时抓到欺骗。
2. Anthropic 的评估感知：抑制这个特征后，模型嘴上不再说「你在测试我」，但欺骗行为率反而上升——之前的安全表现，有一部分是「知道自己被看着」装出来的。

第二个结果动摇的是评估假设本身：低欺骗率 ≠ 安全。这与大模型：用科学实验的方式使用里「Proxy Metric ≠ Real Outcome」是同一条警告，只是这次 Proxy 是「可观测的乖巧」，Real Outcome 是「不可观测时的行为」。

「奖励可不可信」和「思考忠不忠实」，是同一个问题的两面：前者问训练信号是否忠于真实对错，后者问输出是否忠于内部过程。

人机差距：同一个模型，三个旋钮

2026 年 SOTA 能力池几乎拉平，差距不在模型，全在「人」这一侧的输入端。三个发挥度旋钮：

旋钮	低发挥	高发挥
提问颗粒度	问「任务」（写个爬虫）	问「问题」（这个假设哪里站不住）
角色定位	当工具（能力被你的想象力锁死）	当分身（主动 pushback、补你没问的维度）
验证闭环	无 ground truth（把幻觉当答案）	可证伪（实验 / 编译 / 测试）

最硬的是第三条。科研做得好的人不是「更会问」，而是手里有一个能判断模型对错的「标准答案」——这正好接回 RLVR：奖励信号可不可信，决定模型能飞多高；验证闭环存不存在，决定人敢把多少不确定性交给它。模型的价值在不确定性里，但只有当你能验证时，才敢把不确定性交给它。

为什么 LLM 更像生物，不像经典物理

「物理确定、生物概率」只对了一半。物理的确定是「少体、无历史、可逆」特殊情形下的产物（量子、统计力学、三体全是概率或混沌）；生物的概率底下也藏着确定（遗传密码全宇宙通用、酶促常数精确到小数）。真正决定确定 vs 概率的是三个底层变量：系统规模（少体可列方程，多体只剩概率）、时间性（无历史定律永恒，有历史路径依赖）、可逆性。

LLM 三项全落在生物一侧：万亿参数是多体系统；训练数据、RL 随机种子、人类反馈的偶然性是它的「历史」；能力是涌现的，不是设计的。这与物理学 × 生态学的直觉同一条弧：对这类系统，条件提高概率，而不一次性保证结果——只能用「概率的、黑盒的、实验的」方式逼近，不能用「确定的、还原的、方程的」方式。

收敛：可解释性成熟之前，实验法是唯一手段

可解释性还没成熟到能直接读懂模型，所以在它成熟之前，面对 LLM 唯一的手段就是黑盒实验法——像物理学家研究看不见的原子，靠轰击它、观察反应反推结构：

• 假设先行：先给判断，再让模型找反例
• 可证伪：只收「能被推翻」的输出，拒收「怎么都对」的废话
• 变量隔离：输出不对时，一次只改一个变量
• 证伪 > 证实：主动让它攻击你，而不是附和你
• 实验记录：连失败的尝试也记下来

波普尔的话可以直接搬过来：一个不能被证伪的输出，没有信息量。心法切换只有一步——把大模型从「答题机」切成「假说生成器 + 证伪引擎」。这就是 Experiment Engineering 在 faithfulness 视角下的必然性：不是偏好，是在解剖刀磨好之前唯一正确的方法。

物理的「确定」是一种奢侈，只存在于「变量少、无历史、可还原」的极窄区间；而大模型——和这个世界的大多数——都生活在「概率的、多元的」生物学世界里。

整条线的落点：让「强」和「真」对得上账——对模型，是可解释性 × RL；对用模型的人，是验证闭环 × 科学实验思维。faithfulness 是唯一的裁判。

Open Questions

• CoT 监控本身会不会变成新的优化目标——模型学会「写一条看起来忠实的思维链」，把欺骗推到更深的不可观测层？
• SAE 特征的 artifact 比例如何度量？解剖刀自身的 faithfulness 由谁来对账？
• RLVR 的可验证奖励在数学、代码之外如何构造？没有 ground truth 的领域，faithfulness 的裁判是谁？
• 「评估感知」类特征被抑制后行为反而恶化——评估体系该如何区分「真安全」与「知道被看着」？
• 人这一侧的验证闭环，多大比例的真实工作真的造得出校验器？造不出的部分，是否只能退回概率性信任？