在名义 5% 水平下，当时常见的方法把多达 45% 的虚假政策报成了显著

有一类实验的答案是提前知道的。 Bertrand、Duflo 和 Mullainathan 二〇〇四年做过这样一件事：拿美国各州的真实数据，随机安上一些**根本不存在的"政策"**，然后用当时常见的双重差分标准误方法去估计这些政策的效果。 正确答案是零。什么都没发生过。 **而这类方法在名义 5% 的水平下，竟可对多达 45% 的 placebo policies 报告显著"效果"。** 这件事之所以让我停下来，是因为出错的不是被检验的对象——是**检验工具本身**。 天气与气候、遥感、医学诊断和经济学都面对同一个问题：没有干净、无误差的真值时，凭什么说一个结果可信？ 先说一个容易出现的直觉错误。 **多套产品互相吻合，不等于更接近真值。** 如果几个产品共享同一批传感器、同一个训练集、同一套先验、同一个前向模型，或者同一份强迫数据，那它们的一致**可能只是在重复同一个偏差**。 遥感里有个常用的办法叫三重配置（Triple Collocation），可以在没有真值的情况下估计各产品的相对误差。但它的经典形式成立的前提包括：特定的线性误差结构、各产品误差彼此不相关、且与潜在目标不相关。Yilmaz 与 Crow 用真实的土壤湿度数据检验过这些假设——**它们不能被默认成立。** 再举个更具体的例子。ERA5 是一套再分析资料，它用 ECMWF 的 IFS 模式和 4D-Var 同化，还用 10 个成员的集合同化去估计部分流依赖的不确定性。 但它**不是直接观测**，它是模式与观测的同化产物。所以拿已经被它同化进去的资料回过头去验证它，**不是独立检验**。 而且它并不是处处更好。Virman 等人二〇二一年发现：在许多热带海洋站点，ERA5 在约 550–800 hPa 比探空偏冷，650–800 hPa 常常偏湿；而在低到中对流层，**上一代的 ERA-Interim 反而总体更接近探空**。 那怎么办？答案不是找到真值，而是换一套证明方式。 **第一条：留出预测，而不是内部拟合。** 内部拟合得好只说明模型表达能力强。而且当数据存在较强时空相关性时，随机逐点切分训练和测试集**往往**过于乐观——相邻的点本来就长得像。 Hausfather 等人二〇二〇年做过一次**近乎真正的**样本外检验：他们找出一九七〇到二〇〇七年间发表的 **17 个全球平均表面温度投影**，用后来实际发生的观测去对。 结果分两种算法：**按"温度随时间"算，10/17 与观测一致；按"温度对实际强迫的响应"算，14/17 与观测的置信区间相容。** （上图：依本文所据报告中 Hausfather 2020 的两种计分方式绘制。后者把"模型是否正确预测外强迫"与"模型是否正确把强迫变成升温"分离评分。） **第二条：找失败机制不同的独立证据。** 关键词是"失败机制不同"。两个**可能**以同样方式出错的证据，加在一起并**不必然**增加可信度——可能只是在重复同一个偏差。原报告说得更准：关键不是证据数量，是**误差的协方差结构**。 SMAP 卫星的验证就是这个思路：发射后前 11 个月，从 34 个候选核心验证站中最终确定 **18 个**满足核心评价条件的站点；辐射计土壤湿度产品**达到了预定的 ubRMSE 0.04 m³/m³ 性能要求**（这是门槛，不是实测值）。 注意那个"前 11 个月"和"18 个站"——这是**有明确边界的验证**，不是全球全时段的通行证。 MODIS 的气溶胶产品也一样。**Terra/Aqua MODIS Collection 6** 的 3 km Dark Target AOD 与地面 AERONET 配对，得到 **161,410 对**高置信匹配（Terra 覆盖 **2000–2015**、Aqua 覆盖 **2003–2015**）。落在预期误差包络内的比例是 Terra **62.5%**、Aqua **68.4%**，同时存在正偏差。 但地面的 AERONET 本身也有反演假设。所以这个结果是一个**条件误差模型**，不是绝对精度。 **第三条：承认参照系本身可能只测到了一个侧面。** 在医学诊断中，这个问题同样存在。培养、病理、尸检——每一种"金标准"可能都只测到疾病的一面。 有两个具体的陷阱。一是把待测指标本身纳入参照标准（incorporation bias）——这会让**一部分一致性由定义产生**。二是 discrepant analysis：当结果不一致时，用**与新检测相近的额外分子检测**去裁决——这在结构上会抬高新检测的**表观**敏感度与特异度。 Florbetapir PET 检出中到高频神经炎斑块的敏感性是 **92%**（36/39，95% CI 78–98），特异性 **100%**（20/20，95% CI 80–100）。 数字很漂亮。但它验证的是**特定的斑块靶标**，不等于临床上的阿尔茨海默病真值。而尸检研究本身有选择偏倚、时间差和谱系偏倚。 **第四条：当反事实原则上不可见时，只能造一个。** 经济学面对的是最硬的版本：同一个人接受和不接受处理的两种结果，**永远不可能同时观察到**。 俄勒冈的医保随机实验大约两年后，分析了 6,387 名被随机抽中的人和 5,842 名未抽中的人。结果是：Medicaid 使抑郁筛查阳性率下降约 **9.15 个百分点**（95% CI −16.70 至 −1.60），但头两年**未发现**所测量的身体健康指标有显著的总体改善。 这里必须精确：原报告说的是**「没有发现头两年所测身体健康指标的显著总体改善」**——**「未发现显著改善」不等于「证明了没有改善」**。 合成控制法是另一条路。Abadie 等人研究加州一九八八年实施的 Proposition 99，估计到二〇〇〇年，人均年卷烟销售量比"没有 Proposition 99 的合成反事实"约少 **26 包**。 那个 26 包是**估计值，不是真值**——合成控制受供体池选择和外推的影响。 写到最后，我想把那个问题收回来。 当目标和参照都可能出错，反事实甚至原则上不可见时，**什么样的证据足以支持行动？** 我读完的答案是：在这些缺乏干净真值的场景中，**单一方法通常不能直接给出无误差真值**。能做的是**用尽量具有不同失败模式的证据，逐步排除模型错误的类别，并检验稳健性**——留出预测、独立证据、物理约束、伪证检验（就像开头那个假政策实验）、敏感性分析。 以及最后一件，我认为最重要的：**明确说出可信度在哪里停止。** 平行趋势不能靠"pretrend 不显著"来证明。断点回归的连续性、工具变量的排他性、合成控制的稳定性——**这些都不是通常意义上「可以通过显著性检验证明」的假设**。 能做的是：检验它们可观察的推论、寻找反例、改变模型规格和样本、使用负控制，以及评估**多大的未观测偏差才会使结论翻转**——并把剩下的部分诚实地标注为假设。 一个可信的结论，应当同时说明它的适用边界。 主要来源： Hausfather 等 2020，历史气候投影的事后检验 https://agupubs.onlinelibrary.wiley.com/doi/full/10.1029/2019GL085378 Yilmaz & Crow 2014，Triple Collocation 假设的实证检验 https://journals.ametsoc.org/view/journals/hydr/15/3/jhm-d-13-0158_1.xml Rutjes 等 2007，无金标准诊断方法系统综述 https://pubmed.ncbi.nlm.nih.gov/18021577/ Clark 等 2012，Florbetapir PET 与尸检病理 https://www.thelancet.com/journals/laneur/article/PIIS1474-4422%2812%2970142-4/abstract Bertrand、Duflo、Mullainathan 2004，DiD 虚假政策实验 https://academic.oup.com/qje/article-abstract/119/1/249/1876068