08｜怎么发现评测数据被模型「背过」？

开场先解释现象和危害，把问题讲清楚本身就得分：模型训练语料里混入了评测题（或公开基准被爬进训练数据），基准分数虚高、线上表现对不上——直接后果是选型决策被误导、供应商 POC 被「跑分」欺骗。

回答思路

第一步：检测方法展开三种

方法	做法	判定
语义改写法	把题目同义改写、保持难度不变，重测	分数骤降，说明背的是字面不是能力
时序切割法	只用模型训练截止日期之后的新事件出题	背无可背
重叠分析	评测样本和公开语料做 n-gram 或语义相似度扫描	量化泄漏程度

第二步：处理策略

• 自建私有评测集并严格不外泄（最重要的防线）
• 定期换题加新题
• 同分布重新采样补充

收尾：点破本质

评测的有效性依赖「模型没见过」，所以评测集要当机密资产管——这是它和传统测试数据在管理上最大的差异：传统测试数据不怕被开发看，评测集怕。

考察重点

维度	说明
企业动机	主动提数据污染问题，说明真的在跟进评测方法论。模型选型、供应商 POC 时企业最怕被跑分骗，需要懂污染问题的人做把关——这个意识在 2026 年的招聘里越来越被看重
过线标准	知道数据污染概念，能说出至少一种检测手段
区分度	这是前沿题，能主动把话题引到「私有评测集保密管理」的候选人极少，会明显加分
减分项	没听过这个概念不致命，硬编概念才致命。不知道就大方承认，然后现场推理「如果模型见过考题会怎样、怎么验证」——推理过程本身就是加分项

来源

整理自知识星球帖《面试情报 01｜大模型测试 20 题》，返回题库。