如果当年那批样本确实出现过排名或流量指标上升,而后来换环境、换样本、换时间窗口就复现不了,不要急着把结论全部删掉。更稳妥的做法是把结论降级成“限定条件下的观察”,同时写清样本范围、当时可用的指标口径和无法排除的干扰因素;只有当这个限定结论仍能指导下一步动作时,才值得保留,否则应改写或退出。
复现失败通常不是单一原因。要区分三种情况:一是样本本身特殊,当年有效只因为某个站点、某个词或某段外部流量恰好成立;二是指标口径变了,旧记录里的排名、外链数或访问量来自已经无法按原样取得的数据源;三是动作与结果之间本来就没有稳定因果,只是当时同时发生了别的变化。
可用的区分证据包括:把原样本逐一拆开,看上升是集中在少数几个对象,还是普遍出现;检查旧记录是否保留了同一时间点的对照对象;确认当时使用的指标是第三方估算、站点自身日志,还是人工观察到的页面位置。若只有少数对象上升,且找不到对照,结论应限定在“个别样本曾出现”,不能写成普遍方法。
保留不是原样保留。可以把旧结论改写成带条件的句子,例如:“在假设某批站点外链增长与站内更新同时发生的前提下,其中少数样本的第三方排名估算曾出现上升;该观察不能说明单独做外链或单独更新就能带来同样结果。”这样写的好处是,后续读者知道它只是一个待检验线索,不会把它当成操作配方。
保留的适用前提是:旧记录仍能说明当时观察到了什么,且这个观察对当前决策有参考价值。比如你要决定是否继续投入某类内容更新,旧样本至少能提示“值得设计一个小规模对照试验”。如果旧记录只剩下一个模糊的上升印象,没有时间、对象和指标口径,保留的价值就很低。
当样本成立但规模化后出现例外,最合适的是改写成假设,而不是继续宣称方法有效。改写时要保留三样东西:原始观察、例外出现的条件、下一步怎样验证。可以写成列表,方便后来人复查。
改写的边界是:不能把假设写成结论,也不能为了显得完整而补上未记录过的数据。若当时使用的指标来自第三方估算,应注明它不等于官方数据;若涉及公开 PR 值这类历史概念,也要说明它只能作为旧记录的一部分,不能当作现行官方指标。
退出并不等于否定过去,而是承认它对当前决策已经没有可用信息。出现以下情况时,退出更合理:旧记录缺少对象、时间和指标口径,无法判断上升是否真实存在;观察只来自单个样本,且该样本后来发生无法排除的重大改版或外部事件;继续保留会诱导读者把不可复现的个案当成通用方法。
退出的实际动作可以很简单:在旧文或旧笔记中标注“该观察未能复现,不再作为操作依据”,并指向新的验证问题。这样既避免误导,也保留了对历史记录的尊重。若旧结论仍被外部引用,优先改写而不是直接删除,因为直接删除会让引用者不知道变化原因。
假设你手上有十个站点,当年其中两个在做了目录提交和页面更新后,第三方排名估算上升;另外八个没有明显变化。后来你换一批站点重做,十个里只有一个短暂上升。此时不应写成“目录提交能提升排名”,而应写成:“在假设站点基础相近的前提下,十个样本中两个曾出现上升,但换样本后仅一个出现,且无法排除同期内容更新和外部链接变化;该动作是否独立有效,需要设置对照后再判断。”这个例子的数字只用于说明比较方法,不代表真实项目结果。
接下来要做的动作是:把旧记录按“可复现、需改写、应退出”三类归档,并对需改写的部分补上对照设计。这个动作会直接影响下一步——只有限定结论足够清楚,后续复查才知道该观察什么、在什么条件下可以升级为更强结论。