Articles

推理是规模红利，知识是外挂红利

企业为什么不全用小模型？因为「知识」和「推理」是两回事：知识天天变，该外挂；推理难压缩，才吃规模。

思路 2026-09-02发表 2026-09-08作者 chengguruchunAgent Reasoning Knowledge Small Model Model Selection Cost

「如果大模型的作用就是推理，那企业内部为什么不能全换成小模型？」这个问题里藏着一个最常见的误区：把「知识」和「推理」当成一回事。

两者其实是两件完全不同的东西，一旦混为一谈，选型就全盘跑偏。拆开看，结论很干净：知识天天变，不该烧进参数，应当外挂；推理难压缩，是规模红利的涌现，才真正吃大模型。

知识调用可以外挂（RAG / 数据库 / 工具），小模型就行，甚至更优；推理（多步规划、归因、跨系统判断）吃的是模型内部能力，规模越大越稳。

先拆开：知识与推理是两种红利

关键洞察在于「变」这个字：企业内部知识天天在变，把天天变的东西烧进权重，训练成本追不上业务变化；一旦知识外挂，模型「记忆容量」的需求骤降，小模型才有生存空间。

反过来，推理几乎压不回去。它是涌现出来的能力，掉回小模型时，最常见的失败形态不是「完全不会」，而是「第一步对、第二步对、第三步开始幻觉」——单步看着都靠谱，链条一长就散架。

为什么 Agent harness 默认押强模型？不是迷信规模，而是数学：

单步正确率 95% × 十步  = 0.95^10 ≈ 0.60
单步正确率 99% × 十步  = 0.99^10 ≈ 0.90

Agent 是多步循环，每一步的误差会乘起来。小模型单步 95% 已经很体面，但一条十步的任务链，成功率只剩六成；强模型单步 99%，同样十步还有九成。

小模型（单步 95%）:  95% → 90% → 86% → … → 60%
强模型（单步 99%）:  99% → 98% → 97% → … → 90%
                 ↑
        任务链越长，差距越被放大

这直接解释了为什么「长链条推理」是最不能小模型化的场景，也解释了为什么「单步分类/抽取」这种无链条任务，用小模型几乎无损失。

选型不是二选一，而是按「任务链长度 + 是否依赖会变的知识」分流：

           ┌─ 任务链短 + 知识会变 ──→ 小模型 + RAG（成本降一个数量级）
请求 ── 路由 ─┤
           └─ 任务链长 / 难压缩推理 ──→ 大模型（规模红利）

过去「小模型」和「会推理」几乎互斥。2026 年的分水岭已经不在参数量，而在训练数据里有没有长 CoT（思维链）轨迹：

DeepSeek-R1-Distill 用约 80 万条推理轨迹做 SFT，蒸馏出 1.5B 到 70B 全系「小推理模型」——1.5B 的 AIME 成绩从 0 提到 28.9，同体积直接获得多步推理。
分水岭是数据，不是参数：同样的规模，喂过高质量长思维链的，才谈得上「会推理」。

但这也只是把「规模红利」部分转移成了「数据红利」——蒸馏出来的推理仍是别人大模型的能力影子，上限仍受母模型约束。真正的难压缩推理，还是得靠规模。

这条判断不是纯推演，有本地实操印证。在 2019 款 Intel Mac（16G 内存、无 GPU 加速）上跑 deepseek-r1:1.5b，踩了三个坑，恰好印证上面「知识外挂、推理内置」的边界：

第一层  8K 上下文装不下 13K 启动载荷（system prompt + MCP 工具定义）→ 第一条消息必挂
第二层  长会话历史涨到 53K，把 32K 又挤爆 → 再次 400
第三层  排障时把地址指向了已死的本地代理 → 502

真正有意思的是「慢」的归因：同一道题，think=false 吐 689 token / 125.3s，think=low 只吐 85 token / 6.9s——18 倍差距。慢的主因不是硬件，是「思考档位」和「上下文开销」；硬件（Intel Mac 纯 CPU）只是叠加项。

本地跑小推理模型的结论很务实：学原理够用，正经活还是走云端强模型。这又回到那条边界——1.5B 的 R1 是蒸馏版，思考链质量一般，偶尔算数翻车；它适合验证「推理是怎么回事」，不适合扛生产任务链。

「推理是规模红利，知识是外挂红利」这句话真正的价值，是让你在选型时不再用同一个尺度量两件不同的事：

知识（会变、可检索）──→ 外挂（RAG / 工具）──→ 释放小模型的生存空间
推理（涌现、难压缩）──→ 内置（规模红利）──→ 任务链越长越押强模型

决策时只需要问两个问题：这段任务的知识会不会变？这条任务链有多长？ 答案会自己指向该用哪个模型。

别让小模型去答它参数里没有的知识（那是缺 RAG），也别让小模型扛它撑不起的推理链（那是缺路由）。选型错误里，九成是架构偷懒，不是模型不行。