裕度分析三步法：阈值不是拍脑袋，是可推导的
评审会上最常冷场的一问：”这条验收线为什么定在 0.98，不是 0.95，也不是 0.99？”
如果答案是”经验”“行业惯例”“差不多”——那这条线就是装饰：定松了拦不住退化，定紧了冤杀健康版本。阈值不应该被”选定”，应该被”推导”出来。 推导的方法叫裕度分析（margin analysis），一共三步。
一、先建立画面：刀口放在两个世界之间
测试判定面对的是两个世界：
- 健康世界：没注故障，指标围绕基线波动（有噪声）；
- 退化世界：注入故障，指标下沉（也有噪声）。
阈值 τ 是一把刀口，放在两个世界之间的空隙里。它到两边的距离各有名字：
指标值（如近距召回） 低 ──────────────────────────► 高
0.87 0.98 0.9931
───────●───────────────│─────────────────●────────
退化世界 τ 阈值 健康世界
│◄检测裕度►│◄──健康裕度──►│
- 健康裕度 = 基线 − τ：健康版本离被冤杀有多远；
- 检测裕度 = τ − 退化实测：退化版本离被漏放有多远。
两个裕度都必须显著大于各自世界的噪声，这条线才有意义。
二、三步法（用一个盲区监测场景的真实调参过程演示）
第①步：跑基线。 不注故障，跑若干轮，得到指标基线——注意是一个分布，不是一个数。实测：近距分箱召回 ≈ 0.9931。
第②步：定裕度。 阈值 = 基线 − 可接受退化量。工程论证”业务允许盲区监测在雷达短时丢帧下退化多少”，比如收紧 1.3 个百分点，τ = 0.98。
第③步：双向校验。
- 故障场景（雷达丢帧）实测掉到 0.98 之下 → 该 FAIL 的 FAIL 了 ✓
- 重跑基线仍在 0.98 之上 → 不该 FAIL 的没误杀 ✓
双向校验是和”拍脑袋”的分水岭：只验证”故障会 FAIL”不算完，还必须验证”基线不会误 FAIL”。
三、两个失败方向
| 定线错误 | 后果 | 常见病 |
|---|---|---|
| 太松（如 τ = 0.80，退化到 0.87 也 PASS） | 故障注入测了白测，全绿给你虚假安全感 | 测试沦为合规摆设 |
| 太紧（如 τ = 0.995，基线 0.9931 自己都过不去） | CI 天天红，团队习惯性无视红灯 | alarm fatigue，测试体系死亡 |
黄金位置的经验法则：让”两个裕度各自除以对应噪声”都足够大——基线到 τ 的距离 ≫ 基线逐把波动，退化实测到 τ 的距离 ≫ 退化世界波动。
四、统计学加持：什么时候”根本没有线可画”
基线是抽样得到的，本身有不确定性（用 Wilson 区间框出来，见本专栏第 2 篇）。这给出裕度分析里最重要的一条可行性判据：
健康世界区间下界 > 退化世界区间上界，才存在能把两个世界分开的阈值。 若两个区间重叠 → 任何阈值都无效 → 三条出路：加强故障强度、补样本收紧区间、或诚实承认”这个故障在这个指标上检测不到”。
这和制造业 MSA（测量系统分析）是同一个思想：先问”我的尺子分不分辨得出好件坏件”，再谈检验。判定引擎管尺子（Wilson/SPRT），裕度分析管刻度。
五、隐藏的第四维：窗口相位
调盲区监测场景时踩过一个比数值更微妙的坑：故障窗口必须落在指标真正被决定的相位。合成数据里目标随时间逼近，早期丢帧窗口根本不触及近距分箱——把窗口挪到目标进入近距区间之后，故障才”咬”到指标。
含义：裕度分析不只是定一个数，还包括确认”故障窗口 × 指标分箱 × 场景相位”三者对齐。否则你会把”测试没看见”误读成”系统很鲁棒”——这是最危险的假阴性：不是测试失败，是测试失明。
六、进阶形态：剂量-响应曲线
单一故障强度只给你一个退化点。扫故障强度（丢帧 100ms / 200ms / 500ms……）→ 指标随强度退化 → 得到被测系统的鲁棒性剖面曲线。阈值只是在曲线上选一个点，而曲线本身是安全档案的高级素材：
- “我们表征了 X 类故障下系统的退化曲线，阈值取在拐点之前”——远比”我们拍了 0.98”有证明力；
- 这套思路和标定工程师找爆震边界、lambda 窗口是同源的手艺：在被控对象上找最大裕度的工作点。裕度分析是把同一思维迁移到测试系统——测试系统也是一台需要标定的测量仪器。
七、阈值推导书：把答案写进证据链
评审会上那个冷场问题，有了裕度分析之后这样答：
“基线 0.9931（n 帧，Wilson 下界 0.99）；按业务可接受退化量收紧 1.3 个百分点，τ = 0.98；故障场景实测 0.87，检测裕度 11 个百分点；推导过程见附件。”
这段”阈值推导书”是证据链的一部分，随判定报告一起归档（Cyclone Core 判定引擎与证据链，已支持）。拍脑袋的阈值是装饰，有推导的阈值是证据。
阈值标定也是 POC 里的标准服务项：场景模板直接给，按你的 SUT 基线做基线测量、裕度论证和故障验证——欢迎来聊。
附：名词解释（按出场顺序）
| 名词 | 通俗解释 |
|---|---|
| 裕度（margin） | 阈值到健康世界/退化世界的距离；分健康裕度与检测裕度 |
| 阈值 τ | 判定 PASS/FAIL 的分界线；本文主张它必须可推导 |
| 基线 | 不注故障时指标的参考水平；是一个分布，不是一个数 |
| 可接受退化量 | 业务上允许的性能下降幅度；阈值 = 基线 − 它 |
| 双向校验 | 同时验证”故障必 FAIL”和”基线不误 FAIL”的标定步骤 |
| 可行性判据 | 健康区间下界 > 退化区间上界，才存在有效阈值；否则该故障强度下不可检 |
| MSA（测量系统分析） | 制造业方法：先验证测量系统本身能否分辨好坏，再谈检验 |
| 窗口相位 | 故障注入的时间窗口与指标敏感阶段的对齐关系；错位会导致”测试失明” |
| 剂量-响应曲线 | 扫故障强度得到的退化曲线，即被测系统的鲁棒性剖面 |
| 阈值推导书 | 记录”基线 + 可接受退化量 + 校验结果”的文档，随证据链归档 |
| alarm fatigue | 警报疲劳：红灯太频繁导致团队习惯性无视，测试体系名存实亡 |
| SUT | 被测系统（System Under Test） |
（文中数值来自演示性场景，仅用于说明方法；产品能力以 Cyclone Core 当前版本为准。）
下一步：
预约 POC 咨询