神圣计划重复复盘如何减少偏差:先写问题再看结果

神圣计划相关记录积累后,复盘时常会出现“如果换个时间段看,结果就更明显”的念头。改变观察角度可以产生新问题,但如果一边看结果一边修改标准,就容易把偶然差异解释成一直存在的规律。

把问题写在打开汇总结果之前

先说明这次要检查什么,例如“上周记录中的缺失是否集中在某两个时段”。再写明如何定义缺失、选用哪一周、哪些资料属于本次范围。问题越明确,越容易知道需要哪几列数据。

同时写一条会让自己否定原想法的条件。如果任何结果都能被解释为支持,问题就缺少可检验性。可以把问题单单独保存并注明时间,之后的新想法记在旁边,不直接覆盖最初的判断标准。

固定样本和排除规则

在比较前列出全部样本,并说明无法纳入的原因,例如原始时间缺失或来源已经无法读取。不能仅因某条结果不符合预期就删除它。排除条件应与数据质量有关,而不是与结论方向有关。

假设一共有三十条记录,其中两条时间不明,就写总数三十、可比较二十八、排除两条及原因。如果后续找回了时间,再单独更新版本。不要悄悄把样本数从二十八改为三十,却保留旧的统计说明。

把探索发现单独收起来

复盘中可以记录新的模式,但给它标上“待验证”。例如原本检查缺失,却发现某类备注更常出现,这能成为下一次的问题。它并不自动证明两者有关,更不能反过来改写本轮问题。

建立两栏笔记,一栏写按原问题得到的结果,另一栏写过程中产生的想法。这样既不会浪费发现,也能防止探索与验证混在一起。之后选用新的时间段或独立资料检查想法,结论的适用范围会更清楚。

检查是否反复选择有利视角

同一批数据试过多个时间窗、多个分组和多种算法后,总可能出现一两个显眼差异。复盘笔记应列出尝试过哪些比较,不只保留最符合预期的一项。否则读者无法知道这个发现经历了多少次筛选。

例如分别看过三天、七天和十四天,就把三个范围都记下来,并说明为何最终采用其中一个。若理由只是“看起来更明显”,结论应留在探索层面,而不是把该窗口包装成一开始就确定的标准。

让结果包含反例和限制

最后写出符合条件的记录、不符合条件的记录、缺失资料以及仍存在的替代解释。结论可以是“目前未发现集中现象”,也可以是“某时段较多,但样本不足以解释原因”。没有必要每次都得到明确答案。

下次复盘从问题单和规则开始,而不是从上次最漂亮的图开始。把完整样本和分析版本一起保存,别人才能复查结果是否依赖某一条特殊记录。对历史资料的解释,也不应直接转成对未来表现的保证。