真正的研究能力，是更快地发现自己错了

发表于 | 分类于

真正的研究能力，是更快地发现自己错了

我们用同一份代码、同一组要求，快速比较 GPT‑5.5 和 GPT‑5.6 Sol。

第一轮看起来给出了一个漂亮答案：Sol medium 又快又够用，Sol high 显得更稳，GPT‑5.5 则落在后面。

第二轮复跑，两项关键结果翻转了。

最有价值的发现突然不再是“谁赢了”，而是：我们差一点把一次运行里的偶然，写成一条通用规律。

Vivek（@itsreallyvivek）在 X 发布的 《how to be good at research》 由 23 个短节组成。原文没有统一总纲；我的提炼是：这些方法都在缩短从“我错了”到“我知道自己错了”的距离。

研究的产物不是一个答案，而是一次经得起检查的信念更新。

一、漂亮结果最容易过早变成结论

第一轮编码测试中，GPT‑5.5 high 通过 8/9 个隐藏测试，Sol medium 和 Sol high 都是 9/9。之后新增的两个探索性鲁棒性探针并非最初冻结的测试，直到复跑前才固定；Sol high 通过两个，medium 通过一个，GPT‑5.5 一个也没通过。

但每个条件只有一次运行。因此复跑前，我们先写下停止规则：任何关键结果翻转，就把相关判断标记为“轨迹敏感”，不继续抽样直到出现喜欢的多数票。

第二轮里，GPT‑5.5 从 8/9 变成 9/9；Sol medium 从 9/9 变成 8/9，第一次没有正确处理的异常输入，这次反而通过了；只有 Sol high 再次完成 9/9，并通过两个鲁棒性探针。

第二轮没有给出更漂亮的排名，却给出了更可靠的认识：在这个小型合成任务里，GPT‑5.5 high 和 Sol medium 会随轨迹波动；Sol high 两次都通过，但仍不足以估计一般成功率。

一份数据最擅长的事，是迅速长成一个故事。研究从故事出现以后才真正开始：它要主动寻找下一份能推翻故事的数据。

二、研究品味，就是让预测留下证据

“研究品味”经常被说成天赋。Vivek 给出了一个可训练的解释：做实验以前写下预测；读论文时先遮住结果，只根据方法猜结论，再回来检查误差。

关键不只是预测，而是把预测留下来。没有记录，结果揭晓以后，记忆会悄悄把“我当时不确定”改写成“我早就知道”。纸面记录堵住了这条退路，让判断第一次拥有可以计算的误差。

一个真正属于你的研究问题，不只带着“我为什么想做”，还带着“什么结果会让我放弃”。没有后半句，兴趣很容易变成立场。

写作因此不是包装，而是测量。一份有用的记录只需回答：假设是什么，怎样测试，预期什么，实际发生什么，我因此改信了什么。最后一项不能省，否则日志只是流水账。

三、研究速度，是发现错误的速度

Vivek 原文里最值得记住的一句是：“research speed is mostly the speed at which you discover you’re wrong.”——研究速度，很大程度上就是发现自己错了的速度。

这和“跑更多实验”不是一回事。如果一次失败混杂着数据、代码、指标和理论四种原因，再快也不知道该更新哪部分认识。更有效的做法是先运行可丢弃的最小版本，隔离变量、确认测量，再投入资源。实验能否复现和比较、失败轨迹是否保留，决定了纠错回路能转多快。

总分只能告诉你“数字变了”，不能解释为什么。真正的信息常藏在原始数据和具体失败里：先阅读、分类，再用整体指标检查它有多普遍，往往比继续追逐小数点更接近机制。

结果还要面对强基线和复跑。若一个结论一换基线、一做消融、一重新运行就消失，研究的收获不是“方法有效”，而是知道原来的证据不够。

把错误重复得更快，不叫研究加速。让错误更快暴露、能够归因，才叫。

四、AI 让答案便宜，也让证据更重要

AI 可以生成代码、测试、综述和完整报告，却也会放大一种错觉：流畅、齐全、测试全绿，就等于问题解决。模型生成的实现和测试可能共享同一个错误假设；一句“全部完成”也可能没有运行关键验证。

因此，更可靠的人机分工不是人提问、AI 回答，而是 AI 扩大假设与执行的供给，人设计答案必须穿过的证据环境：哪些测试独立，哪些结果要重复，什么情况必须停止，什么证据出现时必须改口。

人也会确认偏误，也会保护已经投入的方向。事前预测、隐藏测试、停止规则和外部审阅的意义，正是把人的弱点一起放进制度里约束。

优秀的研究者当然希望自己猜对。但他更在乎：如果猜错，系统能不能尽快告诉他；告诉他以后，他是否真的会改。

研究者不是那个从不犯错的人，而是那个把工作设计成可以被现实纠正的人。

资料说明

本文不是 Vivek 原文的翻译，而是结合一次 GPT‑5.6 本地验证所做的方法论发展。