18｜prompt 改了一版，怎么做回归测试？

开场定调：prompt 是配置也是代码，变更要有评审、有回归、有回滚，触发评测流水线——不能一句「改完看着没问题」就上线了。

回答思路

第一步：流程展开

• 变更前：明确改动意图（改语气、修拒答、提准确率？），圈定影响面
• 触发评测：跑核心集 + 历史 bad case 集，对比新旧版本关键指标（通过率、拒答率、格式合规率）
• diff 分析：抽样人工对比新旧输出，重点盯行为漂移——格式悄悄变了、语气突然客气了、拒答率上升了。这类漂移指标不一定掉但体验已经变了，只有 diff 能发现

第二步：版本管理

prompt 进 Git，每次变更关联评测报告——出问题秒回滚。

第三步：讲一个真实痛点做点缀

prompt 没有编译器，写错了不报错，只会「感觉不对」——所以评测流水线就是它的编译器和单测。这个类比面试官会记住你。

收尾

prompt 变更是大模型应用最高频的变更源，管住它就管住了大半线上风险。

考察重点

维度	说明
企业动机	变更管理意识。prompt 变更引发的线上事故是行业普遍痛点——改动五分钟、事故一整天，企业要能把变更管起来的人
过线标准	评审 + 自动回归 + 版本回滚，闭环讲全
区分度	能讲「行为漂移」这种指标不掉但体验变了的现象，是真做过的；只讲跑用例的是没理解 prompt 变更的特殊性
加分项	答出「配置即代码」的成熟度——「评测变更要有流水线兜底」这类认知，体现工程成熟度

来源

整理自知识星球帖《面试情报 01｜大模型测试 20 题》，返回题库。