用于智能体系统的 LLM 基础

​

摘要

现代智能体系统依赖大语言模型作为灵活的决策引擎。要理解这些系统如何工作，你不需要了解模型训练的每一个细节。你需要的是一小组概念，用来解释为什么 LLM 擅长指令、规划、工具选择和综合。

​

为什么这很重要

在产品层，LLM 往往被当作魔法。这会导致糟糕的设计决策。

• 有些团队以为模型记得比实际更多
• 有些团队以为模型在进行符号推理，但它其实主要受模式驱动
• 有些团队把上下文当作免费资源，尽管它是主要的运行预算

基础模型素养有助于你设计更好的提示词、检索系统、工具接口和评估循环。

​

心智模型

对大多数智能体工作来说，四个概念就足够了。

• next-token prediction：模型训练的是续写序列，而不是执行符号证明系统。
• tokenization and embeddings：模型处理的是经过分词并映射到向量空间的输入，而不是原始的人类可读文本。
• transformer attention：模型在生成下一步时决定输入的哪些部分重要。
• pretraining plus adaptation：广泛能力来自大规模预训练，而任务表现很大程度上取决于提示词、上下文、工具，以及后续的对齐或调优。

对智能体系统来说，关键含义是：模型擅长模式压缩和灵活的语言控制，但如果没有外部结构，就不擅长保证正确性。

​

架构图

​

工具生态

对智能体最重要的模型属性是实践属性：

• 指令遵循
• 长上下文处理
• 结构化输出可靠性
• 工具调用格式
• 总结与综合质量

这些能力既受基础模型质量影响，也同样受系统设计影响。好的智能体不会要求模型在内部完成所有事情。它们会把模型与工具、记忆、检索和控制逻辑结合起来，弥补模型的弱点。

​

取舍

• 更大的模型可能推理更好，但会提高成本和延迟。
• 更长的上下文窗口会降低一部分检索压力，但不会消除上下文工程的需求。
• 更强的指令遵循有助于工具使用，但不能保证事实正确。
• 预训练先验很广，但它不等于当前的、有来源支撑的知识。

有用的默认做法：

• 把模型视为灵活的规划器和语言引擎
• 对精确数据、计算和系统动作使用外部工具
• 围绕上下文限制设计，而不是假装它们不存在

​

延伸阅读

• 上下文工程
• 评估与可观测性
• 基础概览

​

更新日志

• 2026-04-21：基于导入的参考材料和实验室重写规则，完成初始的仓库原生草稿。