这是《AI 产品经理课》的第一课。学完这一课，你能解决三个非常具体的问题：开评审会时听懂工程师嘴里的 Token、上下文、温度到底指什么；接到一个 AI 需求时，快速判断它是”能做”还是”原理上就做不了”；看到 API 账单时，知道钱花在了哪里、还能从哪里省。
不需要任何算法背景。整篇教程只建立一个核心直觉：大模型是一台概率续写机器，不是一个知识数据库。这一句话展开，就是 Token、上下文窗口、训练阶段、温度采样这四块积木。把它们拼起来，你对大模型的绝大多数”怪现象”——一本正经地胡说、聊久了忘事、同一个问题两次答案不同——都会有原理级的解释，而不是停留在”AI 就是不稳定”这种没法写进 PRD 的模糊印象上。更多同主题文章可以在 AI 产品经理专题 里找到。
下一词预测: 所有能力的唯一来源
大模型不是数据库, 是接话茬机器
先破除最常见的误解：很多人把大模型想象成一个巨大的数据库——你提问，它检索，然后把答案”查”出来。这个心智模型是错的，而且会系统性地误导你的产品决策。
大模型（Large Language Model，简称 LLM，即”大语言模型”）做的事情只有一件：给定前面的文字，预测下一个最可能出现的词。你输入”床前明月光”，它计算出下一段最可能是”疑是地上霜”；你输入”帮我写一封请假邮件”，它计算出的”最可能的续写”恰好就是一封请假邮件。它不是”理解了你的请求然后去执行”，而是”你的请求出现之后，语料里通常会跟着什么，它就生成什么”。
这个机制有个术语叫”自回归”——白话说就是：写一个词，把这个词接到句尾，再基于新的句子写下一个词，循环往复。每一个字都是一次概率计算的结果。想看工程视角的拆解，可以读站内这篇Transformer 自回归预测机制与 KV 缓存优化，它把”逐词生成”的内部流程讲得很清楚。
“接话茬机器”这个类比值得反复咀嚼：一个特别会接话的人，接得好不好取决于他读过多少东西、你给他的上文够不够清楚——而不取决于他脑子里有没有一张”标准答案表”。大模型正是如此。
为什么接话茬能接出翻译、写代码、做分析
你可能会问：如果只是续写，它怎么会写代码、会翻译、会做推理？
答案是：规律被压缩进了模型里。支撑这一切的网络结构叫 Transformer，它的核心机制是”注意力”——让模型在预测下一个词时，知道该重点看上文的哪些部分（为什么这个机制如此关键，站内有一篇Self-Attention 为什么成了 Transformer 的核心机制专门讨论）。当训练语料大到覆盖了互联网上绝大多数文本，”预测下一个词”就逼着模型学会语法、事实关联、代码规律、多语言对应关系——因为不掌握这些规律，就预测不准。
举个例子：语料里有海量”英文原文 + 中文译文”成对出现的网页。模型为了在”原文之后预测译文”这件事上做得准，就必须内化两种语言的对应规律——于是”翻译能力”就作为副产品涌现了。写代码同理：GitHub 上的代码和注释就是天然的”上文和续写”。
这套结构影响之大，以至于当年 Transformer 论文的作者们至今仍是行业风向标——比如联合作者 Noam Shazeer 的去向都能成为新闻（见Noam Shazeer 宣布加入 OpenAI）。
对产品经理，这一节的结论是：模型的能力上限由”语料里有没有这种规律”决定。语料里常见的任务（写邮件、总结、翻译）它天然擅长；语料里罕见的任务（你们公司内部的黑话、昨天刚发生的事）它天然不会——这不是调参能解决的，需要外挂知识，第七课讲 RAG 时会展开。
Token: 大模型世界的计量单位
分词器把文字切成积木
模型并不直接读汉字或字母。所有文字进入模型前，会先被一个叫 tokenizer（分词器）的组件切成一个个小块，每个小块叫一个 Token。你可以把 Token 理解成乐高积木：一段话被拆成积木，模型对积木做计算，输出也是一块块积木，最后再拼回文字。
切分的粒度不是”一个词一块”，也不是”一个字一块”，而是介于两者之间：常见的词可能整个是一块，生僻的词会被切成几块。所以 Token 数和字数、词数都不相等。
中文的 Token 账
一个定性的经验值：一个汉字大约对应一到两个 Token（不同模型的分词器差异很大，具体比例不必记，记住”汉字通常比英文单词更费 Token”这个方向就够）。这意味着同样一段意思，中文版本消耗的 Token 往往比英文版本多——做多语言产品的成本测算时，这是一个容易被漏掉的变量。
计费、限长、截断, 全都按 Token 结算
为什么产品经理必须认识 Token？因为大模型世界里三件最影响产品的事，计量单位全是它：
- 计费：API 按 Token 收费，输入（你发给模型的）和输出（模型生成的）分开计价，输出通常更贵。你的”字数预算”其实是”Token 预算”。
- 限长：模型一次能处理的文本上限（下一节的上下文窗口）以 Token 计，不以字数计。
- 截断：超出限长的部分会被砍掉，砍的时候也是按 Token 砍——用户贴进来的长文档”尾巴没了”，根源常在这里。
另外，模型的响应速度也常用”每秒生成多少 Token”来衡量——快慢的感知差异可以大到什么程度，看看极客们的折腾就知道（比如把 Transformer 烧进 FPGA 跑出每秒五万多 Token 这种硬核实验）。而在成本侧，社区已经出现了专门帮你分析和压缩调用开销的工具（如通过本地分析优化大模型调用成本的开源工具 Frugon），侧面说明 Token 账单在真实产品里是一笔需要认真管理的钱。
训练三阶段: 模型的能力从哪里来
理解训练过程不是为了炫技，而是因为每个阶段决定一类能力，出了问题你才知道该找谁、该用什么手段修。整个过程可以类比一个人的成长：先海量读书，再跟老师学规矩，最后在反馈中磨性格。
预训练: 读遍公开语料
第一阶段叫预训练：把海量公开文本（网页、书籍、代码等）喂给模型，让它反复做”预测下一个词”的练习。这个阶段消耗了绝大部分算力和成本，产出的是一个”什么都读过、但不听指挥”的原始模型——它只会续写，你问它问题，它可能反问你三个类似的问题，因为语料里”一个问题后面跟着更多问题”也很常见。
模型的知识边界在这一步就定死了：训练数据截止日之后的事，它一概不知道。这就是”知识截止时间”这个概念的来源。
SFT: 人类示范怎么好好说话
第二阶段叫 SFT（Supervised Fine-Tuning，监督微调）：人类写好大量”问题—理想回答”的示范对，让模型模仿。经过这一步，模型才从”续写机器”变成”对话助手”——你问它答，你让它列清单它就列清单。指令遵循能力主要来自这里。
RLHF: 用偏好反馈校准
第三阶段叫 RLHF（基于人类反馈的强化学习）：让模型对同一个问题生成多个回答，人类标注哪个更好，再用这些偏好数据调整模型。模型的”性格”——礼貌、拒绝有害请求、承认不确定——主要在这一步塑造。你感觉某家的模型”说话舒服”、另一家”爱说教”，多半是这个阶段的功力差异。
三个阶段叠加，才有你看到的聊天产品。想看从模型基座到推理部署的工程全景，可以读构建 AI 智能体全栈指南。而各家模型在这三个阶段投入策略不同，最终能力侧重也不同——比如国产模型近期在推理能力上的进展（见腾讯混元 3 攻克高难度技术基准的实测）和新旗舰的竞争预期（见DeepSeek V4 发布传闻与社区热议）。做模型选型时别只看营销页，多看横向实测，站内 模型对比专题 持续收录这类内容。
对产品经理的意义：行为问题分层修。答不出新知识——那是预训练边界，靠外挂资料解决；不听指令格式跑偏——SFT 层面的事，先试提示词工程（第二课的主题）；语气不合适——RLHF 塑造的性格，换模型往往比调提示词更有效。
上下文窗口: 工作记忆, 不是长期记忆
窗口是一块白板, 不是一个硬盘
上下文窗口（context window）指模型一次调用能”看见”的全部 Token 上限——包括你的系统设定、历史对话、本次提问，加上它即将生成的回答。
最好的类比是工作记忆，或者一块白板：所有要参与本次计算的信息，都必须写在这块白板上；白板写满了，要么擦掉旧的，要么写不进新的。它不是硬盘——对话结束，白板一擦，什么都没留下。
这直接推翻另一个常见误解：”我昨天跟它说过的话，它应该记得。”不，模型本身没有记忆。你感觉产品”记得”你，是因为应用层把历史对话重新塞回了窗口，或者做了专门的记忆系统——那是工程能力，不是模型能力。分清这两者，你才能正确评估一个”有记忆的 AI 产品”的技术方案。
窗口外的内容等于不存在
窗口是硬边界。聊天太长、窗口装不下时，应用通常会悄悄丢弃最早的内容——于是模型”忘了”你开头说的需求，出现前后矛盾。用户体感是”AI 变笨了”，原理上只是白板被擦掉了一角。
不同模型的窗口大小差异巨大，从几千 Token 到上百万 Token 都有，而且还在快速变大。但要注意两点定性规律：窗口越大成本越高（输入 Token 也要计费，塞得越多花得越多）；而且”装得下”不等于”用得好”——超长上下文里，模型对中间部分的信息利用率往往下降。
对产品设计意味着什么
- 需要”记住用户”的功能，必须在应用层设计记忆方案，不能指望模型。
- 需要”读大量资料再回答”的功能，要在”全塞进窗口”和”检索后只塞相关部分”之间做选型——后者就是第七课要讲的 RAG。
- 长对话产品要设计窗口满了之后的策略：截断、摘要压缩还是分段。这是 PRD 该写清楚的边界条件，而不是留给工程师即兴发挥。
温度与采样: 为什么同一个问题两次答案不同
生成的每一步都在掷骰子
前面说模型预测”下一个最可能的词”，更准确的说法是：模型对每一个候选 Token 都算出一个概率，然后按概率抽签决定用哪个。这个抽签过程叫采样。
温度（temperature）就是控制抽签随机程度的旋钮：温度低，几乎总是选概率最高的那个，输出稳定但呆板；温度高，低概率的候选也有机会被抽中，输出多样但容易跑飞。写代码、做数据提取这类任务适合低温度；写文案、头脑风暴适合调高一点。
这就回答了那个经典疑问：同一个问题问两次，为什么答案不一样？因为每一步都在掷骰子，第一个词掷得不同，后面整条路径就分岔了。这不是 bug，是设计。反过来，如果所有人都用默认参数、相似的模型，输出就会趋同——业界已经开始讨论AI 生成内容的同质化正在侵蚀技术体验这个问题。采样策略本身也是活跃的研究方向，比如Liquid AI 用”最终 Token 偏好优化”缓解生成内容的厄运循环，就是在这一层做文章。
幻觉的根源: 概率生成没有事实校验层
现在可以给”幻觉”（hallucination，模型一本正经地编造不存在的事实）一个原理级解释了：模型生成的标准从来不是”这是真的吗”，而是”这看起来像不像语料里会出现的下一句”。一个格式标准、引用规范、编号齐全的假文献，在概率上完全可能比一句”我不知道”更”像”正确答案。整条生成链路上没有任何一个环节在做事实核查。
所以幻觉不可能被彻底根除，只能被工程手段压制：外挂检索让它”看着资料说话”、要求引用来源、对关键输出做校验。甚至有人反向利用这个特性做创作——利用大模型幻觉重构经典小说就是一个有意思的案例：在创意场景里，”编造”恰恰是生产力。
产品经理的判断准则：幻觉后果严重的场景（医疗、法务、财务数据），不能裸用大模型，必须加检索、校验或人工审核层；幻觉无伤大雅甚至是加分项的场景（创意、草稿、灵感），可以放心用。这一条能帮你筛掉一大批不靠谱的需求。
产品经理视角: 把能力边界翻译成产品边界
一张能力边界对照表
把前面四块积木拼起来，你可以得到一张”原理边界 → 产品边界”的翻译表：
- 它是续写不是检索 → 涉及精确事实的功能必须外挂数据源，PRD 里要写明数据从哪来。
- 知识有截止时间 → “问它最新消息”这类需求，没有联网检索就是伪需求。
- 窗口就这么大 → “上传一百个文件让它记住”需要检索方案支撑，不是开箱即得。
- 输出是概率抽样 → 对格式稳定性有硬要求的场景，要设计校验和重试，不能假设每次输出都合格。
- 没有事实校验层 → 高风险场景必须有兜底审核，这是产品责任不是模型责任。
评估外部方案报价时，这张表就是你的测谎仪：对方宣称”我们的模型不会产生幻觉”，你就知道这话在原理上站不住。
成本模型: 输入输出分开算账
大模型产品的边际成本公式很朴素：调用次数 ×（输入 Token 量 × 输入单价 + 输出 Token 量 × 输出单价）。几个实操要点：
- 输入里藏着大头：系统提示词、历史对话、检索回来的资料，每次调用都要重新计费。一个啰嗦的系统提示词，乘以百万次调用就是真金白银。
- 输出单价通常高于输入，让模型”少废话、按格式输出”既是体验优化也是成本优化。
- 不同档位的模型单价差距可以是数量级的。简单任务用小模型、难任务用大模型的分层路由，是最常见的降本手段。
算力成本的压力有多真实？看产业动作就知道——模型厂商已经卷到效仿 OpenAI 自研定制芯片的程度。对我们这个量级的产品来说，管好 Token 用量就是最直接的成本杠杆。顺带一提，重度使用 AI 编程工具的团队对此感受最深——Claude Code 和 Codex 这类工具的账单，本质上就是 Token 消耗的直观教材。
动手小实验: 亲手验证两个结论
纸上得来终觉浅。下面两个实验用任意聊天产品（网页版即可）就能完成，各花五分钟。
实验一: 验证续写本质
把下面这段提示词原样发给模型：
接下来你只做一件事：我每次发给你半句话，你直接接着往下写，
把它续写成完整的一段话。不要解释，不要提问，不要加任何前缀。
第一句：这个季度的用户增长突然放缓，团队排查后发现
模型会流畅地”编”出一个像模像样的归因故事——数据埋点问题、渠道变化、竞品动作……言之凿凿，但全是虚构。多发几个不同领域的半句话，你会直观看到：它不是在回答，是在续写；续得合理不等于内容为真。这就是幻觉的现场演示。
实验二: 验证窗口遗忘
分三步：
第一步：新开一个对话，第一句话发送：
"记住一个暗号：紫色大象 42。稍后我会问你。"
第二步：让它做大量长输出把窗口填满，比如连续多轮发送：
"请写一篇两千字的产品需求文档，主题随意，尽量长。"
重复五到十轮。
第三步：问它："我们最开始约定的暗号是什么？"
在窗口较小或做了历史截断的产品里，模型会答不出来或开始编造——开头的暗号已经被挤出白板。如果你用的产品窗口很大、十轮填不满，这本身也是一个有价值的观察：窗口大小的差异就是产品体验的差异。做这个实验时你其实已经在做最朴素的模型评测了——这正是 AI Agent 专题 里反复出现的主题：能力要靠可复现的实验验证，不靠厂商宣传。
两个实验做完，”续写本质”和”窗口即记忆”就不再是书本概念，而是你亲手戳过的事实。第四课构建最简智能体时，我们还会反复用到这两个直觉。
相关阅读
- 深入解析 Transformer：自回归预测机制与 KV 缓存优化技术
- Self-Attention 为什么成了 Transformer 的核心机制
- 构建 AI 智能体全栈指南：从 Transformer 基座到推理系统部署
- 开源工具 Frugon：通过本地分析优化大模型调用成本
- 利用大模型幻觉重构经典小说：AIGC 长文本创作的架构与细节变奏
FAQ
大模型会记住我跟它说过的话吗?
模型本身没有任何记忆，每次调用都是全新的。你感觉产品”记得”历史，是因为应用把历史对话重新塞进了上下文窗口，或者在应用层做了专门的记忆系统。窗口装不下时，最早的内容会被丢弃，”遗忘”就发生了。
Token 和字数是一回事吗?
不是。Token 是分词器切出来的文本块，一个汉字大约对应一到两个 Token，英文单词的折算比例又不同。计费、上下文限长、截断都按 Token 算，所以估算成本和容量时不能直接用字数，方向上记住”中文比看起来更费 Token”即可。
温度调到最低就不会有幻觉了吗?
不会。温度只控制采样的随机程度，决定输出”稳不稳定”，不决定输出”真不真实”。幻觉的根源是整条生成链路没有事实校验环节，低温度只会让模型稳定地输出同一个错误答案。压制幻觉要靠外挂检索、引用来源和校验层。
产品经理需要看懂 Transformer 的数学吗?
不需要。你需要的是本课这层直觉：续写本质、Token 计量、窗口即工作记忆、采样带来随机性。这足以支撑需求评估、方案判断和成本测算。想再深一层，可以读相关阅读里的两篇 Transformer 拆解，仍然不涉及推导。
上下文窗口越大, 产品体验就越好吗?
不一定。窗口越大，能塞的资料越多，但每次调用的输入计费也越高，而且模型对超长上下文中间部分的利用率会下降。”大窗口硬塞”和”先检索再塞相关片段”是两条路线，多数知识类产品最终会走向后者，第七课会展开。
结语
下一词预测、Token、上下文窗口、温度采样——四块积木拼出你对大模型的第一层直觉。带着它去开下一次评审会，讨论颗粒度会立刻不同。第二课，我们把直觉变成能落地的提示词。
