AI 生成CASE 01
一个 AI 报告生成器为什么仍然需要传统前后端？
用户正在做什么
用户上传销售数据，选择模板并生成经营分析报告。
业务会出什么问题
模型只负责 Inference，账号、文件、任务、权限、计费和历史记录仍需普通软件系统。
技术怎样介入
前端提交任务，后端编排数据与 Model Provider，数据库保存状态，对象存储保存报告。
产品与设计怎样落地
要设计上传、排队、生成、失败、结果历史、用量和权限。
M5 · Chapter 15
AI 应用开发
把 LLM、RAG、Agent 和 MCP 放回完整软件工程中理解。
先看哪些场景
AI 生成、AI 知识库、AI Agent
它是什么
AI 应用是在传统软件系统中加入模型推理、检索、工具调用、评测和安全控制。
为什么需要
模型本身无法承担完整产品，真实应用仍需要界面、后端、数据、权限、任务和运行治理。
位于哪一层
位于业务后端与模型服务之间，并与数据、工具和外部系统相连。
和谁连接
LLM API、Token、Context、Streaming、Structured Output、Embedding、RAG、Tool Calling、MCP、Agent、Memory、Eval 和 Guardrails。
项目里怎么出现
AI 助手、报告生成、知识问答、设计走查和自动化工作流都属于 AI 应用。
Learning Outcomes
学完这一章，你应该能
- 理解模型如何作为 API 进入系统
- 区分 Prompt、Context、Structured Output 和 Streaming
- 理解 RAG、Tool Calling、MCP 与 Agent
- 认识 Eval、Guardrails 和 AI 特有产品状态
15.01
AI 应用依然是一套软件系统
模型只是能力节点，产品仍由前端、后端、数据和基础设施共同完成。
Business Scenario First
先从真实业务问题进入
先看用户动作和业务风险，再理解技术为什么出现，以及它会怎样改变页面、状态和流程。
用户在前端输入任务，后端验证身份、组织上下文、调用模型、保存会话并流式返回。文件可能进入对象存储，知识进入检索系统，长任务进入队列。
企业应用还要控制权限、成本、模型版本、数据隔离、日志和审计。把所有逻辑直接写进一个 Prompt 很难维护。
Client → AI Backend → Model / Retrieval / Tools → Data → Response
System View
用户体验与对话
AI 应用后端
Prompt / Context 编排
模型与检索
工具与业务系统
评测、安全与监控
Designer Lens
AI 界面需要与传统系统状态连接：权限、数据来源、处理中、失败、引用和人工确认。
AI ApplicationInferenceModel Provider
15.02
Prompt、Token 与 Context
模型根据当前上下文中的指令、数据和历史生成结果。
Business Scenario First
先从真实业务问题进入
先看用户动作和业务风险，再理解技术为什么出现，以及它会怎样改变页面、状态和流程。
AI 知识库CASE 01
客服机器人为什么有时忘记前面的对话？
用户正在做什么
用户连续追问退款规则和自己的订单情况。
业务会出什么问题
模型每次只看到被放入 Context Window 的内容，历史过长会被截断，也会增加 Token 成本。
技术怎样介入
系统组织 Prompt，选择必要历史和资料，控制 Token，并在超长对话时摘要或检索。
产品与设计怎样落地
显示当前会话范围、引用资料和“新建对话”，避免让用户误以为模型永久记住一切。
Prompt 包含系统规则、用户任务、示例和输出约束。Token 是模型处理文本的基本计量单位，Context Window 限制一次可读取的信息量。
上下文需要筛选和组织。把全部资料塞入模型会增加成本、延迟和干扰。系统要区分长期数据、当前任务信息和即时工具结果。
System Instruction + User Input + Retrieved Context + Tool Results → Model
System View
系统规则
→
用户请求
→
相关资料
→
工具结果
→
上下文组装
→
模型生成
Designer Lens
对话界面要让用户知道 AI 当前掌握什么、缺少什么以及使用了哪些资料。
PromptTokenContext Window
15.03
Streaming 与 Structured Output
流式输出改善等待体验，结构化输出让程序稳定消费模型结果。
Business Scenario First
先从真实业务问题进入
先看用户动作和业务风险，再理解技术为什么出现，以及它会怎样改变页面、状态和流程。
AI 生成CASE 01
AI 生成合同摘要时，为什么既要流式输出又要固定字段？
用户正在做什么
用户希望立即看到生成进展，系统还要把风险等级、金额和日期写入页面组件。
业务会出什么问题
纯文本等待太久；自由文本又难以被程序稳定解析。
技术怎样介入
Streaming 持续返回内容，Structured Output 按 JSON Schema 返回明确字段。
产品与设计怎样落地
设计生成进度、字段缺失、格式校验、人工修改和重新生成。
模型生成可能持续数秒，Streaming 让内容逐步显示。用户可以更早看到进度，也可以中止生成。
Structured Output 让模型按照 JSON Schema 等结构返回字段，适合创建任务、填写表单、生成设计检查结果。系统仍需验证字段和业务规则。
Model Tokens → Stream → UI；Model Output → Schema Validation → Application
System View
自然语言输出
- 适合阅读与创作
- 格式可能变化
- 需要人工判断
结构化输出
- 固定字段与类型
- 便于程序继续执行
- 仍需校验与容错
Designer Lens
流式文本、工具执行和最终结构结果应使用不同状态，避免用户误把中间内容当作已保存结果。
StreamingStructured OutputJSON Schema
15.04
Embedding、向量数据库与 RAG
RAG 在生成前检索相关资料，把外部知识放入上下文。
Business Scenario First
先从真实业务问题进入
先看用户动作和业务风险，再理解技术为什么出现，以及它会怎样改变页面、状态和流程。
AI 知识库CASE 01
员工问“差旅住宿标准”，AI 怎样从公司制度中找到答案？
用户正在做什么
知识库包含数千份 PDF 和制度文档。
业务会出什么问题
把全部文档塞进提示词成本高且超出上下文，关键词搜索也可能漏掉同义表达。
技术怎样介入
文档切分后生成 Embedding 存入 Vector Database，RAG 检索相关片段，Reranking 重新排序再交给模型。
产品与设计怎样落地
回答要显示引用来源、文档日期、权限和“资料不足”的状态。
文档被切分成 Chunk，Embedding 把文本映射为向量，检索时比较语义相似度。相关片段进入 Prompt，模型基于它们回答。
RAG 质量取决于文档清洗、切分、索引、检索、重排和引用。向量检索也可以与关键词和权限过滤结合。
Documents → Chunk → Embedding → Vector Index → Retrieve → Rerank → Generate
System View
文档
→
切分 Chunk
→
生成 Embedding
→
写入向量索引
→
检索相关片段
→
模型回答并引用
Designer Lens
知识问答要设计来源、引用、找不到答案、资料版本和权限范围。
EmbeddingVector DatabaseRAGReranking
15.05
Tool Calling、MCP 与 Agent
模型可以选择工具执行真实动作，Agent 负责多步决策循环。
Business Scenario First
先从真实业务问题进入
先看用户动作和业务风险，再理解技术为什么出现，以及它会怎样改变页面、状态和流程。
AI AgentCASE 01
AI 怎样真正创建一个项目，而不只给建议？
用户正在做什么
用户说“根据这份需求创建项目、拆任务并邀请成员”。
业务会出什么问题
模型只有文本能力时无法修改真实系统，直接自由调用又有权限和误操作风险。
技术怎样介入
Tool Calling 让模型选择受控 API；MCP 提供统一工具和资源协议；Agent 负责多步计划与执行。
产品与设计怎样落地
每一步展示即将执行的动作，敏感操作需确认，执行后提供结果与撤销入口。
Tool Calling 让模型根据工具 Schema 生成参数，由应用真正执行 API、搜索、计算或写入。模型不直接拥有系统权限。
MCP 提供统一方式连接工具和资源。Agent 通常包含模型、状态、工具和循环：观察、计划、执行、检查，直到完成或达到限制。
Model Chooses Tool → Application Validates → Tool Executes → Result Returns → Model Continues
System View
用户目标
→
模型判断
→
选择 Tool/MCP
→
权限与参数校验
→
系统执行
→
结果回到模型
→
继续或结束
Designer Lens
高风险动作需要确认、权限、预览和撤销。AI 的“决定调用”与系统的“允许执行”必须分开。
常见混淆 · MCP 是否等于 Agent？
MCP 规范化模型与工具/资源的连接；Agent 是使用模型和工具完成多步任务的运行模式。
Tool CallingMCPAgent
15.06
Memory 与状态
AI 记忆需要明确来源、范围、生命周期和用户控制。
Business Scenario First
先从真实业务问题进入
先看用户动作和业务风险，再理解技术为什么出现，以及它会怎样改变页面、状态和流程。
AI AgentCASE 01
AI 助手为什么需要记住项目背景和任务进度？
用户正在做什么
用户连续几天让助手完善同一份项目计划。
业务会出什么问题
每次都从零开始会重复询问；无限保存又可能混淆项目、泄露信息或让状态失控。
技术怎样介入
Short-term Memory 保存当前对话，Long-term Memory 保存经过筛选的偏好与事实，State Machine 管理多步任务阶段。
产品与设计怎样落地
用户要能查看、修改和删除记忆，并清楚知道任务停在哪一步。
短期记忆通常来自当前会话上下文，长期记忆会把稳定偏好或历史事实保存在数据库，并在需要时检索。
工作流状态还包括任务计划、工具结果、草稿和审批。所有内容都放进对话历史会造成上下文膨胀和错误延续。
Conversation State + User Memory + Task State + Business Data
System View
短期上下文
- 当前对话
- 随会话变化
- 支持即时连贯
长期记忆
- 持久保存
- 按需检索
- 需要权限、透明度与删除
Designer Lens
记忆界面应允许查看、修改和删除，并区分“本次会话使用”和“以后继续使用”。
Short-term MemoryLong-term MemoryState Machine
15.07
Eval、Guardrails 与可观测性
AI 系统需要持续评测质量，并限制错误、越权和不安全行为。
Business Scenario First
先从真实业务问题进入
先看用户动作和业务风险，再理解技术为什么出现，以及它会怎样改变页面、状态和流程。
AI 生成CASE 01
AI 客服回答看起来流畅，怎样判断它真的正确？
用户正在做什么
系统准备让 AI 回复退款政策和订单问题。
业务会出什么问题
仅凭主观感觉无法稳定评估，错误答案还可能造成客户损失。
技术怎样介入
Eval 用标准样例测准确率和引用；Guardrails 限制权限与输出；高风险回答进入 Human-in-the-loop。
产品与设计怎样落地
界面要支持引用、置信提示、转人工、反馈和审阅记录。
Eval 使用测试集和指标评估正确性、引用、格式、工具选择和任务完成。线上还要观察成本、延迟、拒绝率和用户修正。
Guardrails 包括输入过滤、输出验证、权限、工具白名单、人工确认和内容安全。Prompt 日志、模型版本和工具链路需要可追踪。
Test Set / Production Traces → Eval → Improve Prompt, Retrieval, Tools, Model
System View
输入与权限控制
上下文和检索质量
模型与工具执行
输出验证
人工确认
日志、评测与迭代
Designer Lens
“看起来不错”不能替代评测。AI 产品要定义可接受错误、人工接管和失败恢复。
EvalGuardrailsHuman-in-the-loop
15.08
AI 产品有哪些特殊状态？
模型概率性、工具耗时和多步执行让状态比普通表单更丰富。
Business Scenario First
先从真实业务问题进入
先看用户动作和业务风险，再理解技术为什么出现，以及它会怎样改变页面、状态和流程。
AI 生成CASE 01
AI 已经输出了一段内容，为什么页面还要标注来源和不确定性？
用户正在做什么
用户用 AI 生成市场报告，其中部分结论来自上传资料，部分是模型推断。
业务会出什么问题
模型可能 Hallucination；缺少 Provenance 时用户无法验证；没有 Grounding 也无法判断依据。
技术怎样介入
系统记录引用片段、工具结果和生成链路，并在证据不足时降低确定性或拒绝生成。
产品与设计怎样落地
设计引用展开、资料不足、生成中断、部分成功、审核和版本对比。
常见状态包括理解中、检索中、调用工具、等待确认、生成中、引用不足、工具失败、部分完成和已停止。
界面要区分模型推理展示与真实系统事实。已经执行的写操作要可追踪，尚未执行的计划要明确标识。
Intent → Plan → Retrieve / Tool → Generate → Validate → Confirm / Save
System View
接收任务
澄清或规划
检索资料
调用工具
生成结果
验证与引用
用户确认
保存或执行
Designer Lens
AI 体验的核心是帮助用户理解系统当前在做什么、依据什么、还能如何控制。
GroundingHallucinationProvenance
Chapter Recap
本章小结
- 01AI 应用仍需要完整前端、后端、数据、权限和运行体系。
- 02Prompt、Context、Streaming 和 Structured Output 解决模型输入输出。
- 03RAG、Tool Calling、MCP 与 Agent 分别连接知识和行动。
- 04Memory、Eval、Guardrails 和特殊状态决定 AI 产品能否可靠使用。
Practice
把认知变成一张图
选择一个 AI 生成报告功能，画出前端、AI 后端、RAG、模型、工具、数据库、队列和人工确认。
Quick Check
随堂检查
QUESTION 01
RAG 在模型生成前主要做什么？
RAG 先检索外部知识，再让模型基于相关上下文生成。
QUESTION 02
Tool Calling 中谁真正执行系统操作？
模型生成调用意图和参数，应用负责授权、校验和执行。