测试类型矩阵:一套引擎,四种姿势
功能、性能、可靠性、环境四类测试共用同一套场景 YAML、调度器、判定引擎与证据链——变的是时钟模式、指标组合和故障配方,报告同一格式、同一 CI 门禁。
§1 · PROBLEM四套班子,四套报告
传统打法里,功能测试是脚本组的脚本、性能测试是夹具组的夹具、可靠性是跑台组的长跑、环境试验是试验场的箱子——四套班子,四种报告格式,四种”过/不过”的口径。DV/PV 汇总时,谁也拼不出一条统一的证据链。
§2 · MATRIX四类测试,一套底座
四类测试共用场景 YAML、调度器、判定引擎与证据链——变的是时钟模式、指标组合和故障配方:
| 测试类型 | 回答的问题 | 核心机制 | 判定指标 |
|---|---|---|---|
| 功能测试 | 该做的事做了吗 | 场景回放 + 行为断言 | 召回、预警时机、误触发 = 0 |
| 性能测试 | 够不够快、稳不稳 | 在线模式 + 时间戳打点 | 时延 p95、超死线次数、抖动 |
| 可靠性测试 | 能一直对吗 | seed 矩阵 + Wilson/SPRT | 成功率下界、soak 时长 |
| 环境测试 | 恶劣条件下还正常吗 | 故障注入 = 环境应力的软件投影 | 退化曲线、闩锁违章 = 0 |
- §3.1 功能测试 已支持:离线模式 + 虚拟时钟,同一用例重跑比特级一致。统计型指标判定已支持;单事件断言(”制动指令必须在 TTC < 1.2s 前发出”)规划中。
- §3.2 性能测试 原型验证中:在线模式 + 真实时钟,总线入站/出站打硬件时间戳。边界:CPU 占用与 WCET 是 OS 级 profiler 的活,Cyclone 管总线可见的端到端时延。
- §3.3 可靠性测试 已支持:seed 矩阵跑 300 把,成功率进 Wilson/SPRT——300/300 才能以 95% 置信声明 ≥ 99% 可靠性;soak 长测盯内存泄漏与计数器溢出。
- §3.4 环境测试 原型验证中:高低温、振动、EMC、盐雾(ISO 16750 / GB/T 28046)是气候箱和台架的活;但环境应力最终都会投影在总线上——软件做的是这一半。
§3.5 环境应力的软件投影
| 物理应力 | 软件投影 | 注入方式 |
|---|---|---|
| 高温 → 传感器漂移 | 测距偏置、噪声增大 | corrupt_field 偏置 原型验证中 |
| 振动 → 接插件松动 | 成簇丢帧 | 阵发性 drop 原型验证中 |
| EMC | 位翻转、CRC 错误 | corrupt_field / corrupt_crc 规划中 |
| 电压跌落 → ECU 重启 | 节点冻结恢复 | freeze + restart 规划中 |
样件在箱子里烤,台架上同步跑故障战役,两本证据合订进 DV/PV 报告。
§4 · WHY IT MATTERS一套底座的复利
四类报告同一格式、同一 hash 可验、同一 CI 门禁——加一类测试不写新工具,只写新 YAML。
§5 · HONEST BOUNDARIES诚实边界
- 物理环境试验不是软件能做的,我们只做它在总线上的投影那一半。
- 性能测试为原型:硬件时间戳依赖具体总线卡型号,POC 阶段按你的硬件评估。
- 阈值需要标定:文中指标阈值为演示值,正式验收按你的 SUT 基线做裕度分析推导。