方法-对照组思维-没有对照没有效应

流行误解

对照组思维常被听成：

1. 只有随机对照试验（RCT）才算数，别的都没用。
2. 有前后数据就够了。
3. 业务太忙，对照是科研的事。

要点更朴素：效应是差值，不是绝对值。RCT 是强形式；做不到时仍要构造尽可能干净的比较，并诚实写出剩余混淆。

定义

对照组思维（Control-group thinking）：在断言「干预导致结果」时，显式设立或构造对照（随机对照、平行对照、前后+对照趋势、自然实验等），使差异尽量归因于干预而非时间、选择、回归均值或并发事件；报告效应时必须带对照条件。

它是	它不是
因果声明的最低礼貌	「没有 RCT 就禁止行动」
问「相对什么变好了」	前后对比自动等于因果
对混淆的显式记账	有表格就有科学

段末注释：随机对照试验（Randomized Controlled Trial，RCT） 通过随机分组接近交换性；后文提到 RCT 时沿用缩写。

史源

临床医学与实验科学把对照做成伦理与方法标准；产品与在线实验（A/B）将其工程化。它要对付的诱惑是：把时间趋势、季节性、宣传并发当成自己的功劳。

适用场景

值得用：

• 功能上线、运营活动、算法改动、治疗与教学干预
• 个人习惯改变：「我开始 X 后变好了」
• 政策评估、价格调整
• 任何要写进复盘的「因为我们做了…所以…」

先别用 / 慎用：

• 把弱对照包装成定论
• 对照不可能时仍假装有（应降级为探索性描述）
• 有害干预为了「完美对照」延迟必要止血——可先止血，效应评估另设计

应用步骤

1. 写因果句：干预 I → 结果 Y；人群与时间窗。
2. 问对照：若没有 I，Y 大概怎样？用谁代表「没有 I」。
3. 选设计：随机；或平行对照；或差分中的差分；或清晰的间断点——按可行性质降级。
4. 锁指标与停损：预先定义主指标，防 p-hacking。
5. 估效应：处理 − 对照（同口径）；报告不确定与剩余混淆。
6. 决策：效应相对成本是否值得；不确定则缩小推出或继续实验。

操作口令：

写「变好了」之前，先写「相对谁」；写不出对照，就先别写「因为」。

多域例证

产品：改首页

上线后转化升。对照：同期未改的流量切片、或留出的控制组、或上线前后的平行市场。若全员同时改且遇大促，前后差可能是大促。

运维：扩容后变稳

对照：未扩容的同类集群、或扩容前后的负载归一化指标。负载掉下去时的「变稳」不是扩容功勋。

个人：补剂与睡眠

开始吃 X 后精神好。对照缺失时，回归均值、季节、运动并发都可能。最低配：停用—再用的自身交叉，或先测可客观指标。

例外与坑

坑 1：假对照

对照与处理组在选择上系统性不同（自愿报名、重灾区先试点）。写出选择机制。

坑 2：多重指标钓鱼

没预先主指标，事后挑显著的讲。

坑 3：与证伪脱节

好对照设计应声明：什么结果会让你承认干预无效。

用前自检

1. 因果句写清了吗？
2. 对照是谁？交换性凭什么大致成立？
3. 主指标预先锁定了吗？
4. 剩余混淆写进结论了吗？
5. 是否把探索性结果写成了定论？

没有对照的效应，像没有分母的分数——能写，但不能除。