---
id: reasoning-scale-knowledge-external
type: Articles
title: 推理是规模红利，知识是外挂红利
date: 2026-09-08
thought_date: 2026-09-02
published_date: 2026-09-08
tags: [Agent, Reasoning, Knowledge, Small Model, Model Selection, Cost]
excerpt: 企业为什么不全用小模型？因为「知识」和「推理」是两回事：知识天天变，该外挂（RAG/Agent）；推理难压缩，才吃规模。真正的决策变量是任务链长度——单步 95% 正确，十步只剩 60%。
history_url: https://github.com/chengguruchun/chengguruchun.github.io/commits/main/content/articles/reasoning-scale-knowledge-external.md
last_verified: 2026-09-08
cadence_days: 90
---

# 推理是规模红利，知识是外挂红利

「如果大模型的作用就是推理，那企业内部为什么不能全换成小模型？」这个问题里藏着一个最常见的误区：把「知识」和「推理」当成一回事。

两者其实是两件完全不同的东西，一旦混为一谈，选型就全盘跑偏。拆开看，结论很干净：**知识天天变，不该烧进参数，应当外挂；推理难压缩，是规模红利的涌现，才真正吃大模型。**

> 知识调用可以外挂（RAG / 数据库 / 工具），小模型就行，甚至更优；推理（多步规划、归因、跨系统判断）吃的是模型内部能力，规模越大越稳。

## 先拆开：知识与推理是两种红利

| | 知识 | 推理 |
|---|---|---|
| 本质 | 会变的事实、制度、FAQ、工单 | 多步规划、归因、写复杂代码、跨系统判断 |
| 载体 | 数据库、文档、工具、RAG | 模型内部能力 |
| 是否可外挂 | 可以，且应该 | 难，基本靠模型自身 |
| 红利来源 | 外挂红利（数据/工具） | 规模红利（涌现） |
| 适合的模型 | 小模型行，甚至更优 | 越大越稳 |

关键洞察在于「变」这个字：企业内部知识天天在变，把天天变的东西烧进权重，训练成本追不上业务变化；一旦知识外挂，模型「记忆容量」的需求骤降，小模型才有生存空间。

反过来，推理几乎压不回去。它是涌现出来的能力，掉回小模型时，最常见的失败形态不是「完全不会」，而是**「第一步对、第二步对、第三步开始幻觉」**——单步看着都靠谱，链条一长就散架。

## 决策变量是任务链长度，误差会相乘

为什么 Agent harness 默认押强模型？不是迷信规模，而是数学：

```text
单步正确率 95% × 十步  = 0.95^10 ≈ 0.60
单步正确率 99% × 十步  = 0.99^10 ≈ 0.90
```

Agent 是多步循环，每一步的误差会**乘起来**。小模型单步 95% 已经很体面，但一条十步的任务链，成功率只剩六成；强模型单步 99%，同样十步还有九成。

```text
小模型（单步 95%）:  95% → 90% → 86% → … → 60%
强模型（单步 99%）:  99% → 98% → 97% → … → 90%
                 ↑
        任务链越长，差距越被放大
```

这直接解释了为什么「长链条推理」是最不能小模型化的场景，也解释了为什么「单步分类/抽取」这种无链条任务，用小模型几乎无损失。

## 落地：路由 + RAG 是前置，不是可选项

选型不是二选一，而是按「任务链长度 + 是否依赖会变的知识」分流：

- **分类 / 抽取 / FAQ / 格式转换**（占真实调用量 80%+）：小模型即可，成本降一个数量级。
- **规划 / 代码生成 / 质检兜底 / 跨系统归因**：上大模型。
- **最常见的失败**：既没做路由、也没做 RAG，让小模型「裸奔」去答它参数里根本没有的知识——这是**架构问题，不是选型问题**。

```text
           ┌─ 任务链短 + 知识会变 ──→ 小模型 + RAG（成本降一个数量级）
请求 ── 路由 ─┤
           └─ 任务链长 / 难压缩推理 ──→ 大模型（规模红利）
```

## 2026 年的变局：小模型也开始会推理了

过去「小模型」和「会推理」几乎互斥。2026 年的分水岭已经不在参数量，而在**训练数据里有没有长 CoT（思维链）轨迹**：

- DeepSeek-R1-Distill 用约 80 万条推理轨迹做 SFT，蒸馏出 1.5B 到 70B 全系「小推理模型」——1.5B 的 AIME 成绩从 0 提到 28.9，同体积直接获得多步推理。
- 分水岭是**数据**，不是**参数**：同样的规模，喂过高质量长思维链的，才谈得上「会推理」。

但这也只是把「规模红利」部分转移成了「数据红利」——蒸馏出来的推理仍是别人大模型的能力影子，上限仍受母模型约束。真正的难压缩推理，还是得靠规模。

## 一个实战背书：本地跑 R1-Distill 排障

这条判断不是纯推演，有本地实操印证。在 2019 款 Intel Mac（16G 内存、无 GPU 加速）上跑 `deepseek-r1:1.5b`，踩了三个坑，恰好印证上面「知识外挂、推理内置」的边界：

```text
第一层  8K 上下文装不下 13K 启动载荷（system prompt + MCP 工具定义）→ 第一条消息必挂
第二层  长会话历史涨到 53K，把 32K 又挤爆 → 再次 400
第三层  排障时把地址指向了已死的本地代理 → 502
```

真正有意思的是「慢」的归因：同一道题，`think=false` 吐 689 token / 125.3s，`think=low` 只吐 85 token / 6.9s——**18 倍差距**。慢的主因不是硬件，是「思考档位」和「上下文开销」；硬件（Intel Mac 纯 CPU）只是叠加项。

本地跑小推理模型的结论很务实：**学原理够用，正经活还是走云端强模型**。这又回到那条边界——1.5B 的 R1 是蒸馏版，思考链质量一般，偶尔算数翻车；它适合验证「推理是怎么回事」，不适合扛生产任务链。

## 收束

「推理是规模红利，知识是外挂红利」这句话真正的价值，是让你在选型时**不再用同一个尺度量两件不同的事**：

```text
知识（会变、可检索）──→ 外挂（RAG / 工具）──→ 释放小模型的生存空间
推理（涌现、难压缩）──→ 内置（规模红利）──→ 任务链越长越押强模型
```

决策时只需要问两个问题：**这段任务的知识会不会变？这条任务链有多长？** 答案会自己指向该用哪个模型。

> 别让小模型去答它参数里没有的知识（那是缺 RAG），也别让小模型扛它撑不起的推理链（那是缺路由）。选型错误里，九成是架构偷懒，不是模型不行。

## 开放问题

- 蒸馏出的「小推理模型」的推理上限，到底由母模型决定还是由蒸馏数据决定？未来能不能只靠更长的思维链数据，就把规模红利彻底搬进小模型？
- 任务链长度如何低成本地度量？没有可靠的长度估计，路由规则就只能拍脑袋。
- 当 RAG 与工具召回也引入「概率」时，小模型 + 外挂这条路的整体误差，会不会反而追平甚至反超纯大模型？
- 知识外挂的边界在哪——哪些「知识」其实已经内化成了需要规模的「推理」，无法干净地切出去？