大模型技术全景

给网站增加一个 AI 功能时,你很快会遇到一串名词:LLM、Prompt、RAG、微调、工具调用、Agent。它们解决的问题不同,也不需要一次全部用上。

本节先建立一张技术地图。读完以后,你应该能够把一个业务需求拆成模型能力、数据来源和应用逻辑三个部分。

从语言模型到应用

LLM 是 Large Language Model,即大语言模型。本章主要讨论常见的自回归生成式语言模型:它根据已有内容预测后续 Token,并逐步生成文本。这个过程可以用于回答问题、生成代码、提取信息和改写文章。生成机制说明

模型与应用之间还隔着一层工程实现。以社区问答助手为例:

用户提问
  ↓
应用识别用户、检查权限
  ↓
查找相关文档或业务数据
  ↓
把任务和资料交给模型
  ↓
校验结果、展示来源
  ↓
返回回答

这里的登录、权限、检索、结果校验和界面,都由应用负责。模型只是其中一个组件。即使模型能够流畅地回答问题,也不代表整套功能已经可上线。

模型从哪里来

可以先用三个概念理解模型的生命周期:

概念 发生的事情 应用工程师需要关心什么
预训练 从大量数据中学习语言及其他模式 模型的基础能力和知识覆盖
后训练 进一步训练模型,使它更适合指令、偏好或特定任务 模型是否适合对话、工具使用等场景
推理 使用已经训练好的模型处理一次请求 质量、延迟、资源和调用成本

微调是继续训练模型的一类方法,可以用于后训练或业务适配。不要把“预训练 → 后训练 → 微调”理解为所有模型都必须依次执行的三个独立阶段。训练与微调参考

对多数 Web 应用,起点是调用已经训练好的模型。是否需要自行部署或微调,要由数据要求、质量评估和维护成本决定。

应用层的六种常见手段

下面的分类用于帮助选方案,不代表六个互斥的产品。一个应用可以同时使用其中几项。

Prompt:说明这次任务。 例如要求模型把论坛长帖整理为三个要点,并保持代码块原样。它改变的是当前请求提供的指令和示例,不会直接更新模型参数。

结构化输出:约束结果的形状。 如果程序要读取问题分类,可以让模型按 Schema 返回字段,而不是解析一段自然语言。不过,字段格式正确与字段内容正确,是两件事。

RAG:先查资料,再生成。 例如从课程文档中检索安装说明,把相关段落作为上下文交给模型。它主要解决回答所需知识的获取问题。RAG 论文

工具调用:把模型连接到系统能力。 例如模型提出查询订单的请求,应用校验参数和权限后执行查询,再把结果交给模型解释。工具是否执行成功,要以应用返回的结果为准。

微调:用训练样本调整模型。 例如让模型更稳定地完成某种专业分类。它需要样本、训练和评估,适合在明确的质量缺口出现后考虑。

Agent:让模型根据中间结果选择后续步骤。 例如先检查报错,再找相关文件,再运行测试。与固定流程相比,它给模型更多流程决定权,也增加了执行成本和失败路径。Workflow 与 Agent 的区分

模型类型不是互斥分类

选模型时,可以从能力与使用方式两个方向观察:

观察维度 常见描述 应该实际检查什么
任务能力 通用、代码、推理 是否能完成自己的真实任务
输入输出模态 文本、图像、音频等 具体支持哪些输入和输出
获取方式 托管 API、可下载权重 运维投入与数据处理要求
资源需求 较小模型、较大模型 在目标环境中的质量和速度

一个模型可以同时支持代码、多模态和推理。名称里的标签只能帮助初筛,不能替代测试;能够下载权重,也不等于许可证允许任何用途。

用社区助手串起来

假设用户问:“课程安装失败,提示数据库连接被拒绝,该怎么排查?”

一个可控的初版可以这样设计:从用户输入中提取报错与环境信息,查找对应版本的课程文档,再让模型给出排查顺序,并附上引用。缺少数据库类型或部署环境时,先追问关键条件。

这里需要 Prompt,可能需要结构化输出和 RAG。它还没有自动操作服务器的需求,因此暂时不需要让模型掌握服务器工具,也不必建立 Agent 循环。

本指南后面会逐一实现这些能力。现在先记住一个设计习惯:先明确任务、数据和成功标准,再选择组件。

本节练习

选一个想增加的 AI 功能,用三句话写清楚:它接收什么输入,依赖哪些可靠数据,结果怎样才算正确。如果最后一句只能写成“看起来挺聪明”,就还需要继续收窄任务。

本文章首发在 LearnKu.com 网站上。

上一篇 下一篇
讨论数量: 0
发起讨论 只看当前版本


暂无话题~