InfiniSynapse
异常值检测方法：快速回答
异常值检测应从参考总体、数据质量和分析目的出发：单变量偏态数据优先用 IQR 或 MAD，近似正态且假设可接受时才考虑 Z 分数或正式检验；多变量数据需要检查变量关系，而时间序列应先建立趋势与季节性基线。
检测结果只是调查候选，不等于错误记录。删除、替换或缩尾之前，必须确认来源、单位、采集过程、业务语境与下游影响，并保留原始值和决策记录。
先区分统计离群值与广义异常
本页聚焦表格数据中的统计离群值：某个观测相对明确总体或模型显得极端。它不等同于生产系统中的异常事件、欺诈告警或复杂时序状态变化。若目标是多源信号、在线告警与模型上线，请阅读异常检测方法与实战；若目标是状态持续改变的位置，请阅读变点检测指南。
关注某个值或样本是否偏离参考分布，以及该偏离是否来自录入、测量、抽样或真实稀有现象。
关注系统行为是否偏离运营预期，通常还涉及时间、上下文、代价、告警合并和响应流程。
方法选择前先定义参考总体
“异常”只能相对于可比较对象成立。把不同产品、地区、设备、班次或生命周期阶段混在一起，会把正常群体差异误标为离群值。开始计算前应写清：
- 观测单位、字段单位与允许范围；
- 数据来自哪个过程、时间窗和版本；
- 哪些分层变量决定可比性；
- 目标是发现录入错误、测量故障、稀有对象还是模型失配；
- 误报与漏报分别会触发什么成本。
先验证数据质量。重复行、单位混用、默认值、解析失败和时间错位应由确定性规则处理，不应交给统计阈值“猜测”。
IQR、MAD 与 Z 分数如何选择？
| 方法 | 适用条件 | 主要风险 | 建议验证 |
|---|---|---|---|
| IQR 围栏 | 连续或有序数据；分布可能偏态 | 小样本、离散值和四分位算法会改变边界 | 记录 Q1/Q3 约定并做箱线图复核 |
| MAD／修正 Z 分数 | 需要稳健中心与尺度 | MAD=0、并列值多时无法直接缩放 | 预先定义零尺度后备规则 |
| 普通 Z 分数 | 近似正态、均值和标准差有意义 | 极端值会移动均值并抬高标准差 | 检查 Q-Q 图并与稳健方法对照 |
| 领域阈值 | 存在物理、安全或业务边界 | 阈值可能过期或不适用于全部群组 | 保留规则来源、版本与例外审批 |
需要直接计算 IQR 和 Z 分数时，可使用异常值计算器；需要从可视化、分层到人工复核的完整顺序，请查看如何查找异常值。
什么时候可以使用 Grubbs 等正式检验？
正式异常值检验回答的是狭窄的统计问题，而不是“这条记录是否应删除”。使用前要确认分布假设、候选数量、单侧或双侧方向、显著性水平及多重检验处理。看完数据后反复改变方向或重复检验，会放大错误发现。
- 预先写明假设。说明怀疑一个高值、一个低值、任一端或多个候选。
- 检查适用条件。验证独立性、近似分布和样本量，记录不满足之处。
- 一次性执行规则。不要循环删除直到结果“好看”。
- 解释统计与业务含义。显著只表示与模型不相容，不证明采集错误。
更完整的检验选择、假设与报告方式见异常值检验指南。
多变量离群值需要检查变量关系
某条记录在每个单列上都不极端，却可能违背变量之间的正常关系。使用距离、稳健协方差或局部密度方法前，应先处理量纲、类别编码、共线性和缺失值，并避免用全量数据计算缩放参数后再评估同一批数据。
适合连续变量近似椭圆分布的场景；维度接近样本量或群体混合时容易不稳定。
适合不同区域密度不均的数据，但邻居数、距离度量和缩放会直接改变结果。可进一步阅读LOF 原理与参数。
时间序列不能直接套全局围栏
趋势、季节性、节假日和结构变化会让全局 IQR 或 Z 分数持续误报。时间数据应只使用过去信息建立基线，再在残差或预测区间上识别候选；同时区分短暂尖峰、连续区间和持续水平变化。完整方法见时间序列异常检测。
示例：为什么分层比统一阈值更重要？
假设某配送数据集包含普通件和大件。统一计算得到 Q3=18 kg、IQR=9 kg，因此高于 31.5 kg 的记录被标记。但大件业务本身的正常范围是 25–80 kg；若不先按业务类型分层，所有大件都会成为“异常”。
| 记录 | 全局规则 | 分层证据 | 处置 |
|---|---|---|---|
| 普通件 46 kg | 超出围栏 | 扫描照片显示单位录入错误 | 保留原值并按审批流程纠正 |
| 大件 46 kg | 超出围栏 | 处于大件正常分布中心 | 保留，不标记 |
| 大件 460 kg | 超出围栏 | 超过设备量程且缺少对应订单 | 隔离并调查来源 |
这个例子说明：阈值只能产生候选，分层、来源证据和业务边界才决定解释。
检测后如何决定保留、纠正或排除？
| 证据状态 | 建议动作 | 必须保留的记录 |
|---|---|---|
| 确认录入或测量错误 | 按治理流程纠正；不得覆盖原始值 | 原值、修正值、依据、审批人、时间 |
| 真实但罕见 | 保留并报告；必要时使用稳健分析 | 业务解释、敏感性结果 |
| 总体不一致 | 分层或重新定义分析总体 | 分层规则与样本数量 |
| 证据不足 | 标记为待复核，不自动删除 | 未知项、负责人、复核期限 |
任何排除规则都应在分析前定义，并比较保留、排除、变换或缩尾后的主要结论。若结果方向因一种合理处理就反转，应披露敏感性，而不是只呈现最方便的版本。
异常值检测如何做到可复现？
- 记录数据版本、筛选范围、分层和单位；
- 记录方法、实现版本、参数、四分位约定与随机种子；
- 保存每条候选的得分、阈值和触发规则；
- 区分“被标记”“已确认错误”“真实稀有”和“未知”；
- 记录人工复核人、证据链接和最终处置；
- 比较处置前后的关键统计量、模型结果和业务结论。
异常值检测方法常见问题
哪种异常值检测方法最好？
没有通用最优方法。IQR 和 MAD 适合稳健单变量筛查，Z 分数依赖均值和标准差模型，正式检验依赖更严格假设，多变量方法则取决于缩放、关系结构和样本量。
被 IQR 标记的值应该删除吗？
不应该自动删除。IQR 只说明该值位于传统围栏之外；还要检查数据来源、参考总体、业务语境和处置对结论的影响。
Z 分数大于 3 就一定是错误吗？
不是。该阈值只有在相应分布和尺度假设成立时才有解释意义，而且真实稀有事件也可能产生很大的 Z 分数。
异常值检测和异常检测相同吗？
两者相关但范围不同。异常值检测通常关注数据集中的极端观测；广义异常检测还包含时间事件、群体行为、上下文异常、在线告警和运营响应。
没有标签时如何验证候选？
应结合分层抽样复核、来源证据、阈值敏感性、相邻时间窗稳定性和下游影响比较，并把无法确认的记录标为未知。
MAD 等于 0 怎么办？
不要除以零或添加任意噪声。应检查变量是否常量或并列值过多，并预先采用领域容差、精确匹配规则或其他合适的稳健尺度。