先别急着推翻总体结论,优先检查分组用的分母是不是换了口径。总体按“全部访问”算,分组按“有事件记录的访问”算,是造成辛普森式反转的最常见原因。判断方法很直接:把总体的分子分母、每个分组的分子分母列在同一张纸上,看分母口径是否一致,再看缺失值落在哪一组。如果分组分母明显小于总体分母,且小分母组恰好是结论反转的那一组,问题基本就锁定在分母上。
网站统计里的分母通常有两种来源。一种是全量口径,比如所有进入页面的访问、所有会话、所有注册用户,不管有没有触发目标事件都计入。另一种是条件口径,比如只有产生过加购、提交表单、播放视频的访问才被记录进分组。两者算出来的比率不能直接比。
选择依据是:如果目标是回答“在所有来访者中转化如何”,必须用全量分母;如果目标是回答“在已经产生某行为的人中后续转化如何”,才用条件分母。两种都成立,但只能在同一问题内统一。混用的典型信号是分组比率之和明显偏离总体比率,或者某个分组的分母恰好等于另一个分组的分子。
不要先看比率,先看数量。按下面顺序核对,每一步都可能直接暴露问题:
举个假设例子。总体1000次访问、50次转化,比率5%。分组A按“有页面浏览记录”统计,800次访问、48次转化,6%;分组B按“有表单交互”统计,150次访问、2次转化,1.3%。两个分组分母相加950,比总体少50,这50次访问既没进入A也没进入B。如果这50次恰好贡献了全部剩余转化,反转就出现了。核对表的作用不是算出正确比率,而是先确认有没有漏掉这50。
确认差异后,实际动作是选定一个分母口径重算,而不是两个口径各说一半。如果业务问题是“整体转化”,就把分组条件放宽到与总体一致,让每个访问都有归属;如果业务问题是“已交互人群的后续表现”,就明确声明总体也改用同一条件口径,并接受总体数字随之变化。
重算后要做两件事:一是把新旧两组分子分母都留在记录里,注明各自口径;二是检查重算后的分组比率是否还反转。如果反转消失,说明原结论是口径造成的;如果反转仍在,才需要继续查分组维度本身是否与结果存在混杂,比如分组A和分组B在设备、来源上分布差异很大。
需要说明的例外:当分母差异来自数据采集缺失而非口径选择时,统一口径并不能修正结论,只能标注该分组数据不可比。比如某分组的事件上报在特定版本上失败,导致分母偏小,这时正确动作是修复采集或排除该分组,而不是硬算比率。请求量或事件量归零,既可能是真实无行为,也可能是上报中断、过滤规则误伤、页面未部署,不能只凭归零就断定某种处理正确。
如果口径已经统一、分母差异已排除,反转还在,就要看分组维度是否与另一个变量纠缠。常见情形是分组A集中在移动端、分组B集中在桌面端,而转化差异其实来自设备而非分组本身。此时的动作是固定一个变量再看另一个,比如只在移动端内部比较A和B。若固定后反转消失,说明原分组结论受设备分布影响,不能直接归因于分组。
这一步的边界是:站内统计只能说明相关模式,不能单独还原搜索算法或平台推荐逻辑。第三方估算流量、搜索引擎报告与站内统计的分母来源本就不同,跨来源比较前必须先对齐时间范围和访问定义,否则查分母只会越查越乱。
下次遇到分组与总体相反,先做一次分母对账,再决定是否深入。对账通过的标准是:分组分母之和与总体分母的差额有明确解释,且每个分组的过滤条件都被写下来。这个动作的结果直接决定下一步——差额可解释就重算比率,差额不可解释就先修数据,而不是继续争论哪个结论对。