先问命中具体指什么
阅读神圣计划相关资料中的命中率,第一步是寻找明确判定规则。目标是什么,允许的范围多大,判断何时生成,什么情况算失败,都需要在结果出现前确定。若规则随着答案变化,后面的比值即使计算正确,也不能支持稳定效果的结论。
尤其要区分资料作者的描述与可取得的完整记录。标题中的高比例只是待核对说法。没有原始项目、时间和规则时,可以整理文字中缺少什么,但不能替它补出一套已经实施的验证过程,也不能将其当成产品实测。
分母从哪里来必须看得见
设一个完全假设的记录清单最初有十个项目,其中两个资料缺失;余下八个中,又有两个被撤回;最终六个接受评价,四个符合事先标准。四除以六约为百分之六十六点六七,而四除以最初十个为百分之四十。
这两个数回答不同问题。前者是六个被评价项目中的符合比例,后者是已知符合数占最初清单的比例。缺失与撤回项目结果尚不明,不能擅自视为符合,也不应静默移出说明。报告需要完整呈现十、八、六、四的流转关系。
撤回和缺失要检查发生时点
若撤回发生在结果已知之后,就可能是按结果筛选,尤其需要说明原因与原始记录。即使撤回发生在结果之前,也应保留项目标识、时间和依据,让别人能检查规则是否一致。无法判断时点时,就保留这一不确定性。
缺失资料也可能不是随机的。例如失败项目更难取得,剩余记录的比例可能被抬高。单纯增加小数位并不能修复这种缺口。优先追查记录覆盖、缺失机制和全部项目清单,再讨论是否适合计算一个总体指标。
时间与独立样本决定证据层级
历史答案已经存在后写出的判断,只能用于回看,不是事前判断。应保存判断生成时间、内容版本及之后的结果,避免后来修改文字却沿用旧时间。截图中的时间显示也应有上下文,不能单凭一张图片推断完整先后关系。
如果规则是在同一批数据里挑选出来的,之后还需要独立资料检验。尝试了许多规则却只展示最好一条,会产生选择偏差。应同时保存候选数量、固定评价范围和全部失败记录,避免把反复调整得到的比例当作独立验证。
用可复查的描述替代效果承诺
一份较清楚的说明应列出原始项目数、可评价数量、符合数量、未评价原因与观察日期,同时提供计算方式。若仅核对了算术,就说明完成的是算术检查;来源与时间仍缺失时,不扩大为真实性或预测能力认证。
即使获得完整历史比例,也不能保证以后保持同样表现。是否适用于其他时期和条件,需要新的证据。对资料读者而言,最有用的不是一个孤立的高数字,而是能够检查分母、时间顺序和失败去向的完整记录。