InfiniSynapse
本页目录
什么是异常值检验？
异常值检验是一类正式统计程序，用于判断一个或多个极端观测是否与既定数据模型充分不相容，从而应被标记并进一步调查。对于近似正态的单变量数据且只怀疑一个值时，Grubbs 检验是常见选择；Dixon Q 常用于某些小样本场景；广义 ESD（常与 Rosner 程序相关）则面向多个可疑极端值。显著结果只说明“无异常值”假设与数据不相容，并不证明测量错误，更不等于可以删除该值。
什么时候应该使用异常值检验？
当分析计划能够给出合理的总体模型、某个极端观测确实需要受控的统计核查，并且结果会与数据来源和领域证据共同解释时，才适合使用正式检验。典型场景包括稳定条件下的重复实验测量、同一过程的质量控制数据，或同质小批次中可能存在录入或仪器问题的一个读数。
单个数值变量、观测近似独立、参考分布有依据，并预先指定检验方向、显著性水平和可疑异常值数量。
具有趋势或季节性的时间序列、聚类记录、混合总体、偏态或重尾数据、多变量异常、删失数据，或事后寻找“可删除值”的分析。
若数据结构不匹配，应改用能够表达该结构的方法：回归问题检查残差，序列相关数据使用时间序列异常方法，相关多变量数据使用稳健多变量距离；无法证明参数检验合理时，可采用 IQR 或 MAD 等稳健描述性规则。
检验前准备数据并明确假设
若尚未完成候选生成与数据质量检查，请先阅读如何查找异常值；若需先厘清“异常”相对于何种总体成立，请参阅异常值定义。本页从已经存在明确检验问题的位置开始。
- 保留原始数据与来源。保留稳定行 ID、单位、时间戳、仪器或来源标识、采集条件、缺失值编码及全部转换记录，绝不覆盖原始值。
- 定义参考总体。确认这些观测确实属于同一总体。分离点可能揭示两个总体、过程变化或未建模群组，而不是孤立错误记录。
- 预先选择可疑数量与检验方向。说明怀疑一个低值、一个高值、任一端还是多个极端值；不要看完数据方向后才选择单侧检验。
- 检查分布与依赖结构。结合直方图、箱线图、运行图和正态 Q-Q 图。图形不能证明正态性，但能暴露偏态、混合分布、漂移、聚类与序列依赖，从而发现简单检验不适用的情况。
- 设定 α 与决策规则。计算前记录显著性水平，并说明标记结果会触发调查、复测、敏感性分析还是有记录的排除审查。
选择 Grubbs、Dixon 或广义 ESD
| 方法 | 匹配问题 | 核心假设 | 主要局限 |
|---|---|---|---|
| Grubbs | 最极端最小值或最大值是否是唯一异常值？ | 除候选值外近似正态、单变量且独立 | 第二个极端值可能造成掩蔽；重复使用改变错误率控制 |
| Dixon Q | 小型有序样本的端点是否由异常大的间隔分离？ | 小样本、正态参考总体、正确 Q 变体与临界值表 | 变体取决于样本量与可疑模式；多个点可能掩蔽 |
| 广义 ESD / Rosner | 是否存在不超过预设最大数量的多个异常值？ | 近似正态的单变量观测及有依据的异常值数量上限 | 最大数量选择会影响程序，且仍依赖模型 |
| Tietjen-Moore | 恰好 k 个极端值是否整体不相容？ | 数据近似正态且预先知道 k | 必须指定准确数量，现实中往往难以做到 |
这些名称不能互换。针对一个候选值的 Grubbs 检验，与针对“不超过若干候选值”的广义 ESD 回答的是不同问题。如果无法证明近似正态、独立性和同质参考总体，最佳决策可能是不用这些检验。
局部密度、多变量或非线性结构不属于这些正态单变量检验的适用范围。例如群体密度不同的多变量数据，应另行评估局部离群因子（LOF）等结构化方法。
如何执行 Grubbs 异常值检验
双侧检验的原假设是“数据中没有异常值”，备择假设是“恰好有一个异常值”。先用全部 n 个观测计算样本均值与样本标准差，再把最大绝对偏差标准化：
把 G 与由 n、α 及双侧 t 分布修正确定的临界值比较；仅当 G 超过临界值时拒绝原假设。单侧版本专门检验最小值或最大值，并使用不同的 α 修正。应使用经过验证的软件实现或临界值来源，不要复制尾部方向、α 或样本量约定不清的表格。
谨慎解释 p 值。它衡量最极端标准化偏差与“正态且无异常值”模型的不相容程度；它不是“该观测为错误的概率”，也不是“删除后分析会改善的概率”。
计算示例：检验一个可疑高值
考虑一组假设重复测量：10.1、10.2、10.0、10.3、10.2、10.1、11.8。最大值看起来分离，但外观只是筛查信号。假设测量方案支持“来自同一近似正态过程的独立重复”，且计划预先指定在 α=0.05 下进行双侧 Grubbs 检验。
- 样本均值约为 10.386，样本标准差约为 0.631。
- 对于 11.8，G ≈ |11.8 − 10.386| / 0.631 ≈ 2.242。
- 最终决策需要 n=7、双侧 α=0.05 对应的正确临界值及选定实现；应同时记录 G 与临界值来源。
即使结果显著，下一步仍是业务调查：11.8 是小数点错误、校准事件、真实过程偏移，还是来自不同总体？调查期间应保留它，并比较“保留该点”与“有依据地修正或排除”后的结论。这样的敏感性分析比只呈现清洗结果更有信息量。
从统计标记走向可辩护决策
| 证据 | 可能行动 | 必须记录 |
|---|---|---|
| 已证实的录入或单位错误 | 按来源修正，并在审计轨迹中保留原值 | 来源、修正规则、批准者、时间 |
| 有记录的仪器或方案失败 | 仅按既有规则排除，并考虑复测 | 失败证据、排除规则、检验结果 |
| 有效稀有事件 | 保留、分群、稳健建模或单独报告 | 领域解释与影响分析 |
| 原因未确定 | 保留该值，并报告包含与不包含时的敏感性 | 假设、不确定性与两组结果 |
不显著结果同样需要谨慎。低检验效能、多个极端值造成的掩蔽、模型错设或样本太小，都可能导致未被标记。“不显著”不能证明该观测普通或正确；还应检查其对估计量、残差、区间和下游决策的影响。
异常值检验的常见错误与失败模式
没有多重性计划就删除一个点并重复单异常值检验，会提高假阳性并改变参考分布。
真实右尾可能看起来像污染；应考虑有依据的转换、特定分布模型或稳健方法。
某值在所属站点、仪器、队列或季节内可能普通，却因不当合并而显得极端。
统计检验不会识别形成机制；来源、过程知识与复测才提供因果证据。
其他风险包括看到 p 值后才选择 α、对残差检验却忽略拟合模型的杠杆效应、把缺失或删失值当作普通数字，以及只报告有利的清洗后分析。预先规定方法并完整报告可降低这些风险。
如何验证异常值检验结果
- 独立复算：用第二个可信实现核对 n、均值、标准差、尾部方向、α、统计量、临界值和 p 值。
- 检查图形：比较原始值图、Q-Q 图、直方图、箱线图与运行顺序，寻找混合总体、漂移与多个候选值。
- 追溯记录：检查源文件、单位、解析、采集事件、仪器状态与转换过程。
- 执行敏感性分析：比较保留、修正，以及仅在有依据时排除该点后的估计、不确定性、模型拟合与决策。
- 确保可复现：保存方法版本、参数、代码或命令、数据快照、候选 ID、图形与最终理由。
把异常值标记与周边证据连接起来
打开 InfiniSynapse 前，请准备带稳定 ID 的已复核数据表、异常值检验输出、单位与时间戳、相关过程或业务字段、来源文档及访问规则。InfiniSynapse 的真实定位是面向结构化数据库与文档的 AI 辅助数据分析工作区；本页不会声称它内置专用 Grubbs、Dixon 或 ESD 计算器。完成统计计算后，可用它把被标记记录与关联语境一起分析，并在业务使用前验证所有结论。
打开 InfiniSynapse 进行关联数据分析异常值检验常见问题
应该使用哪种异常值检验？
近似正态的单变量数据且只怀疑一个极端值时使用 Grubbs；小样本且 Dixon 的具体变体与临界值适合设计时可考虑 Dixon；可能有多个极端值时使用广义 ESD 或 Rosner。正态性或独立性不可信时，改用稳健或模型化方法。
异常值检验显著就能删除该值吗？
不能。检验只衡量数据与统计模型的不相容程度，不会证明错误。应调查来源、测量条件、方案和领域含义，并报告任何有实质影响的排除前后分析。
非正态数据可以运行 Grubbs 检验吗？
Grubbs 假设除可疑值外的数据近似正态。偏态、重尾、混合、时间依赖或多变量数据应使用与结构匹配的方法，或在检验前证明转换合理。
异常值检验与 IQR 规则有什么不同？
异常值检验在模型假设下提出原假设并控制显著性水平；IQR 规则是基于四分位数的稳健描述性标记。两者都用于发现待调查观测，而不是自动删除。
每删除一个异常值后都应重复检验吗？
重复单异常值检验会改变错误率，并可能出现掩蔽或淹没。若多个异常值具有可能性，应选择广义 ESD 等多异常值程序，并预先定义考虑的最大数量。