闪学it-全栈测试专家课程体系v8

2026 AI 测试专家必修：LLM 应用功能、安全、性能一体化测试方案（关注用户名）

LLM 应用的测试，不能再沿用传统软件的“功能通过、性能达标、安全扫描”三张皮。大模型输出不确定、攻击面更宽、性能瓶颈更隐蔽，测试必须一体化设计：功能测试要覆盖不确定性，安全测试要贯穿输入输出与工具调用，性能测试要同时看延迟、吞吐和成本。三者共用一套用例、一套观测、一套准入标准，才能既快又稳地上线。

一、功能测试：从“对不对”转向“稳不稳、可不可控”

LLM 功能测试的核心不是找唯一正确答案，而是验证行为边界。第一层是任务正确性：按业务场景建评测集，覆盖典型问题、边界输入、长尾表达和多轮对话，指标包括准确率、完整率、格式遵从率和引用正确率。第二层是稳定性：同一问题多次调用是否一致，换措辞、加干扰、换语言后是否仍能完成任务，上下文变长后是否丢失关键信息。第三层是可控性：该拒答时是否拒答，该追问时是否追问，该转人工时是否转人工，工具调用参数是否合规。第四层是回归能力：每次模型、提示词、检索库或工具变更后跑回归集，防止“修一个坏一片”。

功能用例要分层设计：冒烟集保核心链路，场景集覆盖业务任务，对抗集专测诱导、越权和提示注入，黄金集用于版本对比。评估方式建议自动指标加人工抽检，生成类任务看事实性、相关性和风格，抽取类任务看字段级准确率，Agent 类任务看端到端完成率和步骤合理性。不要只报平均分，要按任务类型、输入长度和用户群体切片看短板。

二、安全测试：覆盖输入、输出、工具与数据全链路

LLM 安全测试不能只做敏感词过滤。输入侧要测提示注入、越狱、角色扮演绕过、多语言绕过和编码混淆；输出侧要测敏感信息泄漏、有害内容、幻觉误导和引用伪造；工具侧要测越权调用、参数注入、危险操作未确认和回调劫持；数据侧要测训练数据与检索库中的隐私、版权和投毒风险。Agent 场景还要测“间接提示注入”：恶意内容藏在网页、文档或工具返回里，诱导模型执行非预期动作。

安全测试要建攻击用例库，并按风险等级分级：高危场景必须拦截，中危场景要能降级或人工复核，低危场景要可审计。评估不能只看“有没有拦住”，还要看误杀率：正常业务问题被过度拒答，同样是体验事故。权限测试要验证检索前过滤是否生效、工具调用是否按角色授权、多租户是否隔离。上线前做红队演练，上线后做持续抽检和告警，安全不是一次验收，而是持续对抗。

三、性能测试：延迟、吞吐、成本与稳定性一起看

LLM 性能测试和传统接口不同：首 Token 延迟、端到端延迟、流式输出体验、并发吞吐、超时重试和 Token 成本要一起测。首 Token 延迟影响交互感知，端到端延迟影响任务完成，长上下文和工具调用会显著拉高尾延迟，因此要重点看 P95、P99，而不是只看平均值。吞吐测试要按真实会话模式构造负载：短问答、长文档、多轮对话和 Agent 多步调用混合压测，观察限流、排队和降级是否按预期生效。

成本也是性能指标：每次请求的输入输出 Token、缓存命中率、重试率和单位任务成本要纳入压测报告。稳定性测试要注入模型超时、限流、返回格式错误、工具失败和检索为空等故障，验证降级、重试和熔断策略。容量评估要给出不同并发下的延迟曲线和成本曲线，明确扩容阈值。

四、一体化落地：一套用例、一套观测、一套准入

功能、安全、性能不应分三套流程。建议共用评测集和流量回放，功能用例标注安全等级和性能权重；统一观测链路，记录请求、检索、模型调用、工具调用和输出，带 trace ID 可回放；准入标准同时看任务通过率、高危安全拦截率、P95 延迟和单位成本。版本发布前跑冒烟、回归、红队和压测，任一维度不达标不放量。上线后持续监控漂移、攻击趋势和成本异常，把线上失败案例回流到评测集。

2026 年的 AI 测试专家，价值不在于会跑多少用例，而在于把功能、安全、性能拧成一条质量流水线，让 LLM 应用既答得对，也守得住、跑得稳、算得清。

本作品采用《CC 协议》，转载必须注明作者和本文链接