大模型测试面试题
2026/8/30...大约 4 分钟
大模型测试面试题
题目整理自知识星球《面试情报 01｜大模型测试 20 题》，按面试真实展开顺序分为六组：认知体系 → 评测集 → 指标方法 → 幻觉安全 → 性能稳定 → 工程落地。
用法建议：别背答案。每道题先自己口述一遍，再对照回答思路找缺口。回答思路告诉你怎么开口、分几层展开、带什么例子；考察重点帮你读懂面试官要什么——答到点上比答得多重要。
已收录：认知与体系
| 题号 | 题目 | 一句话考点 |
|---|---|---|
| 01 | 大模型测试和传统功能测试，最本质的区别是什么？ | 判「对不对」→ 评「好不好」，断言变度量 |
| 02 | 给你一个新上线的 LLM 知识库问答产品，测试方案怎么设计？ | 先反问目标，按数据流分三层，闭环思维（出现率最高） |
| 03 | 大模型的评测维度，你会怎么划分？ | 三层框架 + 按业务场景取舍 |
| 04 | 测模型本身和测基于模型的应用，分别测什么？ | 边界感：九成岗位在应用层 |
| 05 | 怎么判断一个大模型应用可以上线？门禁怎么定？ | 从业务风险反推阈值，分档 + 一票否决 + 灰度兜底 |
已收录：评测集建设
| 题号 | 题目 | 一句话考点 |
|---|---|---|
| 06 | 评测集怎么建？数据从哪来？ | 五类来源 + 判定标准字段，说不出字段结构的基本没做过 |
| 07 | 评测集越积越大跑不完，怎么维护？ | 分层跑 + 去重淘汰 + 版本管理，资产不是耗材 |
| 08 | 怎么发现评测数据被模型「背过」？ | 数据污染检测三法，私有评测集当机密管 |
已收录：指标与评估方法
| 题号 | 题目 | 一句话考点 |
|---|---|---|
| 09 | 大模型评测常用指标有哪些？各适用什么场景？ | 按任务类型选指标，会讲局限比报菜名值钱 |
| 10 | LLM-as-a-Judge 是什么？有哪些坑？ | 五大偏差坑 + 一致率校准，必考三题之一 |
| 11 | 人工评估怎么设计才靠谱？ | rubric 校准 + 盲评 + Kappa，测量系统思维 |
| 12 | RAG 系统的评测怎么做？ | 检索生成分层评 + 归因，必考三题之一 |
已收录：幻觉与安全
| 题号 | 题目 | 一句话考点 |
|---|---|---|
| 13 | 什么是大模型幻觉？幻觉率怎么测？ | 内在/外在分类 + 三种测法，落到分级指标 |
| 14 | 大模型的安全测试测什么？怎么测？ | 三层攻击面 + 红线零容忍，持续攻防 |
| 15 | 红队测试和传统渗透测试的区别？怎么组织一次红队？ | 三点区别 + 五步组织法 + 四件套产出 |
已收录：性能与稳定性
| 题号 | 题目 | 一句话考点 |
|---|---|---|
| 16 | 大模型应用的性能测试关注什么？和传统性能测试的区别？ | TTFT 与 token 成本核算，老经验迁移 |
| 17 | 流式输出的稳定性怎么测？ | 中断/边界/异常三类，输出节奏也是质量 |
已收录：工程化落地
| 题号 | 题目 | 一句话考点 |
|---|---|---|
| 18 | prompt 改了一版，怎么做回归测试？ | 配置即代码，diff 盯行为漂移 |
| 19 | CI/CD 里怎么集成大模型评测？ | 三层流水线 + 容差区间防抖动 |
| 20 | Agent 类应用（多轮对话 + 工具调用）怎么测试？ | 评测单位从回答变任务，mock 工具环境是关键基建 |
20 题已全部收录，覆盖原帖全部六个分组。
三道必考题提醒：按当前招聘出现频率，02（测试方案设计）、12（RAG 评测）、10（LLM-as-a-Judge）出现率最高，建议优先准备到能白板讲十分钟的程度。
收录标准
- 每题独立一个 Markdown 文件，英文 slug 命名
- 结构固定：一句话定调 → 回答思路（分层展开）→ 考察重点（企业动机 / 过线标准 / 区分度 / 加减分项）
- 欢迎通过 Issue 或 PR 补充你遇到的真实面试题，参见贡献指南