Transformer
以 attention 为核心的架构范式，成为现代大语言模型的基础。
ArchitectureKnowledge
知识底座
经典论文、模型与核心概念。不是资料收藏，而是理解 AI Agents 与基础设施时可以反复回到的知识坐标。
Papers · 经典论文
从 Transformer、预训练到推理、工具调用与 Agent，记录改变技术路径的代表性工作。
Attention Is All You Need
Transformer 的起点。用 self-attention 重新组织序列建模。
Transformer · 2017BERT
双向 Transformer 预训练的经典工作，影响了后续大量语言模型设计。
Pre-training · 2018DistilBERT
知识蒸馏的代表案例：在更小的模型中保留较大模型的语言能力。
Distillation · 2019Language Models are Few-Shot Learners
GPT-3 展示规模化语言模型的 in-context learning 能力。
Scaling · 2020Retrieval-Augmented Generation
把参数化模型与外部知识检索连接起来，成为 RAG 系统的重要基础。
RAG · 2020Chain-of-Thought Prompting
展示中间推理步骤如何帮助大语言模型处理复杂推理任务。
Reasoning · 2022ReAct
把 reasoning 与 acting 交织起来，是现代 Tool-using Agent 的重要思想来源。
Agent · 2022Toolformer
探索语言模型学习调用外部工具，把模型推理与外部能力连接起来。
Tool Use · 2023Models · 经典模型
关注模型为什么出现、解决了什么问题，以及它们如何逐步走向 Agent。
BERT
Encoder-only 路线的代表模型，建立了预训练语言表示的重要范式。
EncoderDistilBERT
BERT 的轻量化路线。它也提示了 Agent Runtime 中小模型作为专用组件的可能性。
Small ModelGPT
Decoder-only 自回归语言模型路线，逐渐从文本生成走向通用任务执行。
DecoderT5
把不同 NLP 任务统一为 text-to-text，为任务统一建模提供了经典范式。
Unified ModelingLlama
开放权重语言模型生态的重要组成部分，推动了本地模型与 Agent 工程实践。
Open ModelsDeepSeek
关注高效训练、推理与 reasoning 路线的模型系列，也是当前 Agent 工程的重要模型基础。
ReasoningCLIP
图文对齐的经典模型，代表多模态模型从单一语言空间走向共享语义空间。
MultimodalConcepts · 核心概念
比具体模型更稳定的抽象：从模型能力、上下文与工具协议，一直到 Agent Runtime 的系统边界。
Attention
让模型根据上下文动态决定信息之间的关联强度。
Knowledge Distillation
把 teacher model 的行为或知识迁移给更小的 student model。
In-context Learning
不更新模型参数，仅通过上下文示例改变当前任务表现。
RLHF
利用人类偏好信号对语言模型行为进行对齐。
RAG
把模型与外部可检索知识连接，降低纯参数记忆的限制。
Tool Use
让模型调用搜索、代码、数据库、API 等外部能力，而不局限于生成文本。
MCP · Model Context Protocol
面向 Agent 的通用工具与上下文连接协议，把模型运行时与外部工具、资源、提示能力标准化连接起来。
Agent ProtocolHMS · Model Hardware Standard
从软件工具接口进一步走向物理世界：用统一的能力与设备接口描述硬件，让 Agent 能理解、调用并组合真实世界的执行能力。
Physical AIAgent Skills
把可复用的任务能力、工具组合、工作规范与执行经验封装成 Agent 可以发现和调用的能力单元。
SkillContext Engineering
围绕模型当前状态组织信息、历史、工具结果与约束，让下一步生成更可靠。
Tool Gateway
在 Agent 与底层工具、Provider、租户权限之间增加统一的治理层，负责路由、鉴权、隔离与能力抽象。
RuntimeTest-time Compute
把更多计算预算放在推理阶段，通过搜索、验证或多次采样提升任务表现。
Memory
保存任务轨迹、长期知识、中间状态与反馈，让 Agent 能从过去的执行结果进入下一轮决策。
Outcome Evaluation
不只判断模型是否完成了某一步，而是验证最终目标是否真正达成，并把结果反馈给下一轮执行。
VerificationAgent
模型从一次性回答走向感知、规划、行动、反馈与迭代。
Agent Runtime
让 Agent 像服务一样被调度、执行、观测、恢复与验证，是这里正在持续研究的系统层。
How Knowledge connects
Knowledge 是底座；Articles 是我的思考；Bench 是验证；Projects 是实践。
我会逐渐把论文、模型与概念和本站已有的文章、实验及项目连接起来，而不是把 Knowledge 做成孤立的百科。