模型基础

大语言模型入门:从 Token、上下文到推理过程

用工程视角理解大语言模型如何处理文本,以及上下文窗口、随机性和幻觉为什么会影响输出。

先说结论

大语言模型不是资料库,也不是传统搜索引擎。它根据已有上下文预测下一段最可能出现的内容。理解这一点,就能更准确地判断模型擅长什么、什么时候需要查证,以及为什么相同问题可能得到不同答案。

QUICK CHECK

开始前,先完成这 4 项检查

01

先明确任务是生成、提取、分类还是推理。

02

确认输入是否包含完成任务所需的背景信息。

03

区分模型记忆、当前上下文与外部知识库。

04

对事实、数字和引用保留独立核验步骤。

SECTION 01

Token 与上下文窗口是什么

模型会把文本拆成 Token,再在有限的上下文窗口内处理这些片段。窗口越长,不代表模型一定理解得越好;无关信息过多反而可能稀释关键条件。

工程实践中,应优先保留目标、约束、必要资料与预期格式,再逐步补充背景,而不是一次性塞入所有文档。

SECTION 02

为什么模型会产生幻觉

模型的目标是生成连贯答案,不是保证每句话都来自可靠来源。当问题缺少资料、要求过细或涉及训练后发生的信息时,模型可能用看似合理的内容补齐空白。

  • 要求标注不确定性
  • 给出可核对的原始资料
  • 把事实检索与内容生成分开
  • 对高风险结论增加人工复核
FAQ

常见问题

参数更大的模型一定更好吗?

不一定。任务匹配、数据质量、响应速度、成本和工具能力都会影响最终效果。

上下文越长,答案就越准确吗?

不一定。结构清晰、相关性高的短上下文,通常比混杂大量无关信息更有效。

继续建立完整知识体系

从相关专题继续深入学习

按模型、数据、工作流、评估和安全逐步扩展自己的 AI 工程方法。

查看全部专题 ↗