回看时已经知道了答案
整理神圣计划历史资料,回看可以帮助定位错误、了解分布和提出新问题。但已经看到结果后再挑选规则,所得表现会受到选择过程影响。它描述的是某种方案在这份历史上的拟合情况,不等于当时真正能够提前采用该方案。
需要先确认每条判断的生成时间,以及当时可获得哪些输入。若没有原始时间记录,后来补写的判断不应记成事前预测。截图显示了结果,也不能证明截图中的说明在结果出现前就已经存在;时间顺序需要独立的留痕支持。
用两个候选说明选择偏差
设一份纯演示资料中,方案甲在五条记录里符合两条,方案乙符合四条。看完后只选乙并报告“符合率百分之八十”,算术上是四除以五,但遗漏了方案是事后从候选中挑出的事实。若候选更多,偶然出现好片段的机会也会增加。
因此要保留候选数量、规则内容和选择依据。这个例子没有任何实际效果含义,只说明评价文字需要包含选择过程。若乙是依据前一批资料选出,应再用没有参与选择的新样本评估,且不能根据新样本结果继续回改规则后仍称为独立测试。
信息泄漏不只发生在明显的答案列
输入中直接出现结果当然属于泄漏,但间接字段也可能带入未来信息。例如只在事件结束后才生成的状态、后续修订的标签或包含整个观察期的汇总值,可能让历史计算看起来异常准确。检查重点是字段在当时是否真实可得。
时间切分也要尊重事件边界。同一事件的重复记录若分别进入训练与测试,测试并非完全陌生。对来源相互引用的资料,应先梳理事件关系,再划分样本;不能把两份不同文件名当成两组独立证据。
冻结规则要留下可以对照的版本
准备检验某个想法时,先保存规则文字、输入字段、起止时间和评价方式。后续若修改,另建版本并注明原因,不覆盖旧版本。每个版本对应自己的测试范围,不能把多个版本里最好的结果拼成一条连续表现。
记录还应包括未采用的方案和异常处理。缺失项是否排除、失败是否计入分母,都在看结果前明确。若中途发现资料质量问题,可以暂停并修订方法,但新一轮统计要说明变化,避免把方法调整包装为结果稳定。
回看的合理产出是待检验问题
完成回看后,可以总结哪些字段需要清理、哪些规则值得进一步检验、哪些结论不再适用。这些都是有价值的成果,不必强行把每次回看都写成已发现有效规律。原始表、筛选条件与计算过程应一并保存。
结论最好区分历史拟合、独立样本观察和真正前瞻记录三层。没有跨过某一层,就不借用后一层的措辞。这样既能利用历史资料提出假设,也能防止结果知识悄悄进入方法,让数字看起来比实际证据更有说服力。