17 流式输出的稳定性怎么测?
2026/9/1...大约 2 分钟
17|流式输出的稳定性怎么测?
开场按故障模型组织答案,显得有章法。
回答思路
第一步:三类故障场景
| 类型 | 场景 | 验证点 |
|---|---|---|
| 中断类 | 网络断开、服务端超时、用户主动取消 | 流正确终止、连接和状态正确回收、无僵尸连接、重试幂等 |
| 边界类 | 空回复、只输出结束符、敏感词中途截断、超长生成 | 内存和前端渲染压力 |
| 异常类 | 上游模型服务 5xx、限流 429 | 降级提示和恢复逻辑 |
第二步:手段
- 弱网模拟:丢包、高延迟、抖动
- 故障注入:直接断上游
- 长时间高并发浸泡
第三步:讲用户体验视角——这是亮点
流式的质量不只看功能对错,还看输出节奏——长时间无输出、一顿一卡、字越蹦越慢,功能上「正确」但体验已经失败。这类要有专门的观察项和阈值。
收尾:定性
流式是线上事故高发区,它把异步、网络、前端状态搅在一起——测试要当独立专项做,不能捎带着测。
考察重点
| 维度 | 说明 |
|---|---|
| 企业动机 | 场景想象力。流式是所有对话产品的标配,也是线上问题最集中的模块,企业要能兜住这块的人——能主动覆盖的是有真实线上经验 |
| 过线标准 | 能系统性列出中断、边界、异常三类场景,而不是想起一个说一个 |
| 区分度 | 主动提「输出节奏也是质量」、提幂等和状态回收的,是有真实线上 scars 的人 |
| 减分项 | 只答「测测会不会断」,暴露对流式复杂性的无知 |
来源
整理自知识星球帖《面试情报 01|大模型测试 20 题》,返回题库。