AI 降智雷达 GPT、Claude、Gemini 有没有降智？

75 条按套件运行的降智检测中，66 条已就绪且未触发，9 条仍在积累前 10 天的每日数据。

完整名次见 AI 排行榜（英文），逐个模型的降智检测见 Is your AI getting worse?（英文）。

编码每 4 小时重测一次：真实代码仓库里的调试任务，用项目自己的测试判分，包括模型看不到的隐藏测试。推理每天一次：多轮的长时间工作会话，前面给出的规则在后面的每一步都用代码检查，而不是让另一个模型打分。工具调用每天一次：任务在沙盒机器里执行，结束时任务要么完成，要么没完成。另有每小时运行的金丝雀探针，用来发现突然的下降。

每个模型都像应用程序一样，通过各家的公开 API 调用；分数来自我们自己的运行，不是厂商公布的数字。方法公开：每个权重、统计检验和漂移常数都已发布；测试题目不公开，避免被针对性训练。完整方法见 methodology（英文）。

每个模型的每个套件都有独立的 Page-Hinkley 变点检测（一种 CUSUM 类检验），基于每日中位数运行，并与这个模型自己的过去比较。检测在当前测试版本上积累 10 天每日数据后才会就绪，所以真正的下降要用几天来确认，而不是几个小时。常数公开：δ 0.01；编码和推理 λ 0.30；工具调用 λ 0.50，且需要连续三天的每日结果超过阈值。

每小时的金丝雀探针（两道固定题目）用 Welch t 检验捕捉突然的下降（下降 12 分，p < 0.01）。检测方法见 AI drift detection（英文），实测的误报率见 How often our drift detector is wrong, measured（英文）。