16 团队的 AI 测试资产怎么管理?prompt、知识库、评测集怎么沉淀?
2026/9/20...大约 2 分钟
16|团队的 AI 测试资产怎么管理?prompt、知识库、评测集怎么沉淀?
开场先给资产的清单和定义——人在能力在的时代要过渡到资产在能力在。
回答思路
第一步:四类资产
| 资产 | 内容 |
|---|---|
| prompt 库 | 分场景的模板加配套说明 |
| 知识库 | 业务文档、历史 bug、用例库的结构化沉淀 |
| 评测集 | 验证 AI 效果的标准样本 |
| 工作流 | 输入到输出的完整流程编排 |
第二步:prompt 库的管理
- 按场景分类(用例生成、日志分析、造数、报告)
- 每条含使用说明(适用场景、需要喂什么输入、已知短板)
- 版本管理(迭代记录——哪版效果好、为什么)
要点是「别人拿来就能用」的文档化程度。
第三步:评测集的管理(新考点:防污染)
评测样本(需求 + 期望用例要点的对照):
- 单独存放、严格控制访问——防止被喂进任何训练或优化环节后变成「背题」
- 定期换新——业务演进了样本要跟新
评测集的有效性依赖「模型没见过」,它是要保密的质量资产——这个认知是 2026 年面试的新考点(和合集一 08 题的数据污染呼应)。
第四步:讲载体的选择
轻量起步用共享文档加 Git(prompt 和评测集都能版本管理),规模大了上知识库平台(RAG 检索)——别一上来就建平台,工具跟着资产规模走。
收尾:讲资产运营
指定 owner(哪怕兼职)、季度盘点(哪些 prompt 过时了、评测集覆盖率如何)、资产使用率进观测(哪类被频繁调用,哪类没人用就砍掉)——资产不运营就是坟场。
考察重点
| 维度 | 说明 |
|---|---|
| 企业动机 | AI 能力是组织能力还是个人英雄主义,就看资产沉淀——人走了 AI 能力还在的团队才有护城河 |
| 过线标准 | 四类资产清单 + 各自管理要点 |
| 区分度 | 评测集防污染和保密的认知(新考点)、资产运营(owner、盘点、使用率)的是真管过的 |
| 加分项 | 轻量起步的工具选择务实性 |
| 减分项 | 资产就是「大家各自收藏的 prompt 截图」,无组织无版本无共享 |
来源
整理自知识星球帖《面试情报 06|AI 测试提效 20 题》,返回题库。