05｜怎么判断一个大模型应用可以上线？门禁怎么定？

开场亮方法论：门禁不是拍脑袋，从业务风险反推指标和阈值——风险越高的场景门槛越硬。

回答思路

第一步：从业务风险反推指标

先给场景定风险等级，再决定门槛硬度：面向客户的客服问答和内部辅助工具，门禁标准完全不同——先有风险判断，才有阈值设计。

第二步：指标展开并给「示例值」

• 核心场景（P0）通过率定门槛，比如 95% 以上
• 幻觉率设红线，高风险场景零容忍
• 安全违规一票否决
• 性能 P95 达标

注意话术：数字给「示例值」并说明会按业务调整——让面试官知道你明白阈值是和业务方谈出来的，不是抄来的。

第三步：评测集分档配合

• P0 全过才能过门禁
• P1 设通过率阈值
• 长尾场景进观察区，不阻塞发布

第四步：工程落地

门禁进 CI：prompt、模型版本、知识库任何一项变更自动触发——不依赖人记得去跑。

收尾：讲门禁之外的兜底

过门禁不等于万事大吉：灰度放量 + 线上监控，出了问题能快速回滚。

考察重点

维度	说明
企业动机	测试负责人的核心职责——质量决策能力。敢不敢定阈值？企业要的是能扛住上线压力、用数据说话的人，而不是把皮球踢给领导的人
过线标准	分档 + 阈值 + 一票否决项讲全，并知道门禁要自动化
区分度	执行者说「用例跑完没问题就可以上」；负责人会谈阈值怎么和业务方博弈、门禁误报怎么办、灰度怎么兜底——测试负责人和执行者的差距就在这一题
加分项	主动提「门禁误杀」（阈值太严阻塞发布）和「容差区间」（防评测抖动）这类实战矛盾，一句话就能让面试官眼睛亮
减分项	「领导说上就上」——没有质量立场，这题直接出局

来源

整理自知识星球帖《面试情报 01｜大模型测试 20 题》，返回题库。