02｜给你一个新上线的 LLM 知识库问答产品，测试方案怎么设计？

框架一句话：按数据流分三层 + 评测集建设 + 非功能 + 上线闭环。先给全景，面试官才有安全感。

回答思路

第一步：先反问三件事再作答

• 业务场景：谁在用、问什么类型的问题
• 质量目标：准确率要求多高、能接受多少拒答、时延要求
• 上线时间

这步千万别跳——面试官在观察你有没有「先定目标再动手」的职业习惯，直接铺方案会显得莽。

第二步：30 秒讲完框架再逐层展开

框架是「按数据流分三层 + 评测集建设 + 非功能 + 上线闭环」。

数据链路层

文档解析、切分、向量化、索引更新。这层是确定性逻辑，直接用传统方法测：固定输入文档，验证切分结果和索引正确性。

检索层

评召回率和排序：给定问题，标准片段有没有被召回、排在第几位——检索不好后面全白搭。

生成层

评忠实度（答案是否被上下文支撑）、相关性、幻觉率。

评测集单独立项

• 来源：真实日志、专家构造、bad case
• 覆盖：高频、边界、对抗、应拒答
• 规模：50-100 条冷启动起步，滚动长大

非功能补齐

• 性能：并发、首 token 时延、长尾
• 安全红线：注入、越权、有害内容零容忍
• 稳定性：超时降级、流式中断

收尾：讲闭环

上线门禁（核心集通过率阈值）+ 线上 bad case 回流进评测集——方案是活的，不是一份死文档。

考察重点

维度	说明
企业动机	这是企业最常见的真实任务，考察来了能不能直接接活
过线标准	体系化思维还是只会写用例跑用例；会不会先定目标再动手；方案有分层结构、有质量目标意识、不漏非功能和安全
区分度	初级给的是用例清单；资深先问目标、按数据流分层、会做归因（错在检索还是生成）、有闭环思维
加分项	主动说「先和业务方对齐什么叫合格再动手」；讲归因分析；说评测集是持续资产不是一次性交付
减分项	上来就「写测试用例跑用例」，或全程不提安全

来源

整理自知识星球帖《面试情报 01｜大模型测试 20 题》。本题是当前招聘出现率最高的三道题之一，建议准备到能白板讲十分钟。返回题库。