没有干净的标准答案，怎么知道一个结果可不可信？

有一类实验的答案是提前知道的。 Bertrand、Duflo 和 Mullainathan 2004 年做过这样一件事：拿美国各州的真实数据，随机安上一些根本不存在的"政策"，然后用当时常见的双重差分标准误方法去估计这些政策的效果。正确答案是零，什么都没发生过。而这类方法在名义 5% 的水平下，竟可对多达 45% 的 placebo policies 报告显著"效果"。 这件事之所以让我停下来，是因为出错的不是被检验的对象，是检验工具本身。 天气与气候、遥感、医学诊断和经济学都面对同一个问题：没有干净、无误差的真值时，凭什么说一个结果可信。 先说一个容易出现的直觉错误——多套产品互相吻合，不等于更接近真值。如果几个产品共享同一批传感器、同一个训练集、同一套先验、同一个前向模型，或者同一份强迫数据，那它们的一致可能只是在重复同一个偏差。 遥感里有个常用的办法叫三重配置（Triple Collocation），可以在没有真值的情况下估计各产品的相对误差。但它的经典形式成立的前提包括特定的线性误差结构、各产品误差彼此不相关、且与潜在目标不相关；Yilmaz 与 Crow 用真实的土壤湿度数据检验过这些假设，它们不能被默认成立。 再举个更具体的例子。ERA5 是一套再分析资料，用 ECMWF 的 IFS 模式和 4D-Var 同化，还用 10 个成员的集合同化去估计部分流依赖的不确定性。但它不是直接观测，它是模式与观测的同化产物，所以拿已经被它同化进去的资料回过头去验证它，不是独立检验。而且它并不是处处更好：Virman 等人 2021 年发现，在许多热带海洋站点，ERA5 在约 550–800 hPa 比探空偏冷、650–800 hPa 常常偏湿，而在低到中对流层，上一代的 ERA-Interim 反而总体更接近探空。 那怎么办。答案不是找到真值，是换一套证明方式。 第一条是留出预测，而不是内部拟合。内部拟合得好只说明模型表达能力强，而且当数据存在较强时空相关性时，随机逐点切分训练和测试集往往过于乐观——相邻的点本来就长得像。 Hausfather 等人 2020 年做过一次近乎真正的样本外检验：他们找出 1970 到 2007 年间发表的 17 个全球平均表面温度投影，用后来实际发生的观测去对。结果分两种算法，按"温度随时间"算，10/17 与观测一致；按"温度对实际强迫的响应"算，14/17 与观测的置信区间相容。这两种算法的差别本身就有信息：它把"模型是否正确预测外强迫"和"模型是否正确把强迫变成升温"分开评了分。 第二条是找失败机制不同的独立证据。关键词是"失败机制不同"——两个可能以同样方式出错的证据加在一起，并不必然增加可信度，可能只是在重复同一个偏差。原报告说得更准：关键不是证据数量，是误差的协方差结构。 SMAP 卫星的验证就是这个思路。发射后前 11 个月，从 34 个候选核心验证站中最终确定 18 个满足核心评价条件的站点，辐射计土壤湿度产品达到了预定的 ubRMSE 0.04 m³/m³ 性能要求（这是门槛，不是实测值）。注意那个"前 11 个月"和"18 个站"——这是有明确边界的验证，不是全球全时段的通行证。 MODIS 的气溶胶产品也一样。Terra/Aqua MODIS Collection 6 的 3 km Dark Target AOD 与地面 AERONET 配对，得到 161,410 对高置信匹配（Terra 覆盖 2000–2015 、Aqua 覆盖 2003–2015），落在预期误差包络内的比例是 Terra 62.5%、Aqua 68.4%，同时存在正偏差。但地面的 AERONET 本身也有反演假设，所以这个结果是一个条件误差模型，不是绝对精度。 第三条是承认参照系本身可能只测到了一个侧面。在医学诊断中这个问题同样存在，培养、病理、尸检——每一种"金标准"可能都只测到疾病的一面。 这里有两个具体的陷阱。一是把待测指标本身纳入参照标准，也就是 incorporation bias，这会让一部分一致性由定义产生；二是 discrepant analysis，当结果不一致时用与新检测相近的额外分子检测去裁决，这在结构上会抬高新检测的表观敏感度与特异度。 Florbetapir PET 检出中到高频神经炎斑块的敏感性是 92%（36/39，95% CI 78–98），特异性 100%（20/20，95% CI 80–100）。数字很漂亮，但它验证的是特定的斑块靶标，不等于临床上的阿尔茨海默病真值；而尸检研究本身有选择偏倚、时间差和谱系偏倚。 第四条是当反事实原则上不可见时，只能造一个。经济学面对的是最硬的版本：同一个人接受和不接受处理的两种结果，永远不可能同时观察到。 俄勒冈的医保随机实验大约两年后，分析了 6,387 名被随机抽中的人和 5,842 名未抽中的人，结果是 Medicaid 使抑郁筛查阳性率下降约 9.15 个百分点（95% CI −16.70 至 −1.60），但头两年未发现所测量的身体健康指标有显著的总体改善。这里必须精确：原报告说的是"没有发现头两年所测身体健康指标的显著总体改善"，而"未发现显著改善"不等于"证明了没有改善"。 合成控制法是另一条路。Abadie 等人研究加州 1988 年实施的 Proposition 99，估计到 2000 年人均年卷烟销售量比"没有 Proposition 99 的合成反事实"约少 26 包。那个 26 包是估计值不是真值，合成控制受供体池选择和外推的影响。 所以答案是什么 没有干净的标准答案时，怎么知道一个结果可不可信？ 答案是：放弃去找真值，改成用一组失败模式互不相同的证据，把"模型错在哪一类"一类一类排掉。 这句话的关键词是"失败模式互不相同"。多套结果互相吻合不等于更接近真相——如果它们共享同一批传感器、同一个训练集、同一套先验、同一个前向模型或同一份强迫数据，那么一致只是在重复同一个偏差。原报告说得比我准：关键不是证据数量，是误差的协方差结构。 那具体该怎么做 一、先做留出预测，别看内部拟合。内部拟合得好只说明模型表达能力强。而且当数据有较强时空相关性时，随机逐点切分训练和测试集往往过于乐观——相邻的点本来就长得像。要切就按时间切、按空间块切。Hausfather 2020 年那次是最干净的示范：拿 1970 到 2007 年发表的 17 个投影，用后来真实发生的观测去对。 二、把评分拆开。同样是那 17 个投影，按"温度随时间"算是 10/17 一致，按"温度对实际强迫的响应"算是 14/17 相容。这个差别不是技术细节——它把"模型预测外部条件的能力"和"模型把条件转成结果的能力"分开评了分。你自己的模型也该这么拆。 三、找参照系的时候，先问它会怎么错。ERA5 不是观测，是模式与观测的同化产物，所以拿已经被它同化进去的资料回头验证它，不是独立检验。而且它并非处处更好——在许多热带海洋站点，它在 550 到 800 hPa 比探空偏冷，650 到 800 hPa 常常偏湿，低到中对流层反而是上一代 ERA-Interim 更接近探空。 四、把验证的边界写进结论里。SMAP 的说法是"发射后前 11 个月、18 个核心站、达到 ubRMSE 0.04 m³/m³ 的性能要求"——注意那是门槛不是实测值。MODIS 那个 62.5%/68.4% 是落在预期误差包络内的比例，而地面 AERONET 本身也有反演假设。这些都是条件误差模型，不是绝对精度。照着这个格式写你自己的结论。 五、做伪证检验。开头那个假政策实验就是范例：给数据安上根本不存在的处理，看你的方法会不会报显著。45% 这个数字是怎么来的——不是模型错了，是检验工具本身错了。这一步很多人跳过，而它恰恰是最便宜的。 六、诊断类的工作，警惕两个具体陷阱。一是 incorporation bias，把待测指标本身纳入参照标准，会让一部分一致性由定义产生；二是 discrepant analysis，结果不一致时用与新检测相近的额外分子检测去裁决，这在结构上会抬高新检测的表观敏感度与特异度。 七、最后，也是最重要的一条：明确说出可信度在哪里停止。平行趋势不能靠"pretrend 不显著"来证明；断点回归的连续性、工具变量的排他性、合成控制的稳定性，都不是通常意义上"可以通过显著性检验证明"的假设。你能做的是检验它们可观察的推论、找反例、改模型规格和样本、用负控制，以及算出多大的未观测偏差才会让结论翻转——然后把剩下的部分诚实地标注为假设。 一个可信的结论，应当同时说明它的适用边界。没写边界的结论，不是更强，是更不可用。 主要来源： Hausfather 等 2020，历史气候投影的事后检验 https://agupubs.onlinelibrary.wiley.com/doi/full/10.1029/2019GL085378 Yilmaz & Crow 2014，Triple Collocation 假设的实证检验 https://journals.ametsoc.org/view/journals/hydr/15/3/jhm-d-13-0158_1.xml Rutjes 等 2007，无金标准诊断方法系统综述 https://pubmed.ncbi.nlm.nih.gov/18021577/ Clark 等 2012，Florbetapir PET 与尸检病理 https://www.thelancet.com/journals/laneur/article/PIIS1474-4422%2812%2970142-4/abstract Bertrand、Duflo、Mullainathan 2004，DiD 虚假政策实验 https://academic.oup.com/qje/article-abstract/119/1/249/1876068