分组后结论与总体相反,通常不是某一组数据错了,而是总体和分组用了不同的分母。要查清这件事,先把总体结论还原成“分子÷分母”的写法,再逐组列出各自的分母,确认两组分母是否覆盖同一批对象、是否允许重复计入、是否把不适用对象也算进了基数。分母一旦对齐,矛盾往往自动消失;如果对齐后仍然相反,才需要继续查分组字段本身是否分错了对象。
网址安全性检测里常见的总体结论,往往来自“全部被检测对象中判定为有风险的比例”。而分组结论可能是“某一类对象中判定为有风险的比例”。两者字面相似,分母却可能完全不同:总体分母可能包含尚未完成检测、结果未知或不适用的对象,分组分母则只保留了有明确结论的对象。
因此第一步不是比较百分比,而是把两个结论都写成同一形式:
如果总体分母里混入了“结果未知”的对象,而分组分母没有,那么总体比例会被稀释,分组比例看起来偏高,出现“每组都高、总体反而低”的假象。反过来,如果总体分母只算了明确结论,分组分母却把未知对象也算进去,就会出现“每组都低、总体反而高”。
总体可能只统计了主域,分组却把子域、跳转目标或第三方资源都算了进去。这时分组分母大于总体分母,组内结论无法直接相加还原总体。判断方法是:把分组的分母逐个列出来,看它们的并集是否等于总体分母。如果并集大于总体,说明存在重复计入;如果并集小于总体,说明有对象没被任何一组覆盖。
同一个对象可能同时属于多个分组,例如既属于“使用某类证书”,又属于“存在某类跳转”。总体按对象去重,分组却按“对象-特征”组合计数,分母自然被放大。此时分组比例的分母不是对象数,而是对象与特征的组合数,不能直接与总体比例比较。
有些对象根本不具备被判定为某类风险的条件,例如没有该功能、不涉及该环节。总体如果把它们算进分母,等于把“不适用”当成“安全”,会拉低总体风险比例;分组如果只统计适用对象,比例就会偏高。这不是分组结论错了,而是总体分母混入了不该参与判断的对象。
假设某次检测中,总体显示“有风险比例较低”,但按来源分组后,每一组的有风险比例都更高。可以按以下顺序查:
如果重算后总体比例上升并与分组方向一致,说明原来的矛盾来自分母口径,而不是分组字段错误。这个动作的结果会直接决定下一步:口径问题只需统一统计规则;如果统一口径后仍然相反,才需要去查分组字段是否把对象分错了组。
面对旧内容、旧系统或旧合作关系,分母问题会直接影响取舍判断。
判断顺序应是先对齐分母,再决定去留。跳过分母核对直接按分组结论退出,容易把本来只是统计口径不同的对象误判为问题对象;反过来,如果分母对齐后问题依旧集中,就不应再用“口径不同”作为保留理由。
为了让下一次检测不再出现同样的矛盾,至少记录三项:总体分母的构成、每个分组分母的构成、以及两者之间的差集。差集里如果主要是“未知”或“不适用”对象,说明问题在统计范围;差集里如果主要是本应属于某组却未被归入的对象,说明问题在分组规则。这两类原因对应不同的修正动作,不能混为一谈。
当分组结论与总体相反时,先不要急着改结论,先把分母摆到同一张清单上。分母对齐后仍然相反,才说明分组本身揭示了真实差异;分母对齐后矛盾消失,则说明原来的总体结论只是被不合适的基数稀释了。