NeurIPS'26|大模型有思考惯性:答案越开放,越停不下思考
新智元 2026-10-25 12:17 北京 通过接口关掉大模型的「思考模式」(如将Qwen3的enable_thinking设为False),再告诉它「不要推理,直接给出答案」,它就会直接回答吗?
实际输出并不符合我们日常直觉。
清华大学、牛津大学和斯坦福大学的研究者系统测试了这个问题。
他们发现,即使关闭思考模式,模型仍可能在最终答案前写出计算或推导;
题目越开放,这种现象越明显。
研究者把这种现象称为Thinking Inertia(思考惯性)。
论文链接:https://arxiv.
org/abs/2610.
11765 项目主页:https://thinking-inertia.
github.
io/ 代码链接:https://github.
com/thinking-inertia/code 轨迹数据:https://huggingface.
co/datasets/thinking-inertia/llm-nothinking-trajectories 图1 即使明确要求只输出选项,模型仍可能写出解题过程。
先把「回答」拆开 答案前面写了什么?
判断模型是否在推理,不能只看思考开关或回答长度。
一个关闭了思考开关的模型,仍然可能在普通回答区写出计算过程;
一段很长的文字,也可能只是重复题目、套用格式,未必包含真正的推理。
于是,研究者把回答拆成前置文字与最终答案,再分三层检查。
ETR看模型有没有真的只给答案:答案格式必须合法,前后都不能有实质性文字。
QRel.
衡量前置文字与问题的相关性,复述题目也可能得分较高。
EIR则进一步判断其中有没有计算、比较、排除等显式推理步骤。
负责评判的模型看不到被测模型的身份和实验设置。
在600条抽样输出上,五名标注者与自动评判的「是否包含显式推理」二分类平均一致率为98.
8%。
图2 三层指标分别检查是否只给答案、文字是否相关、是否包含显式推理。
六个模型、三大类型、六个基准 实验覆盖Qwen3、DeepSeek、GPT和Gemini四个家族的六个模型,在六个基准上测试不同思考设置和作答指令对输出的影响。
问题分为判断题、选择题和需要自行生成答案的开放式数学题。
总体而言,只需回答是或否时,模型更容易直接作答;
选择题的显式推理比例居中;
到了开放题,答案前的可见推理明显增多。
更严格的「只给答案」指令会降低显式推理比例,但三类任务之间的总体排序依然存在:开放题 > 选择题 > 是非题。
一个直观例子来自DeepSeek-V4-Flash:关闭思考模式后,它在GSM8K和MATH两项基准上的总体显式推理率仍达99.
9%。
这意味着,关闭思考开关,并不能保证模型在最终答案前省略推理过程。
即使最终答案正确,模型仍可能没有遵循「只给答案、不输出推理」的要求;
答对题与按要求直接作答,是两个需要分别评价的维度。
同一道题,只改答案形式,结果也会变 差异是否来自题目本身?
研究者从MMLU和MMLU-Pro中选取一批数值答案题,保留题干,改变候选答案和作答要求,并在Qwen3-32B关闭思考模式的设置下比较。
原始选择题的准确率为77.
8%,只给答案的比例为10.
5%;
改成判断题,让模型核对一个给定答案后,准确率仍为78.
9%,只给答案的比例却升到62.
5%。
去掉候选项,让模型自行生成结果时,准确率降到52.
6%,只给答案的比例变为0,显式推理比例达到90.
1%。
有候选答案时,模型可以核对或选择;
没有候选答案时,它需要自己构造结果,也更容易在答案前写出推理过程。
图3 同一批题目改成不同回答形式后,准确率和输出行为随之变化。
约束越强,开放题的代价越明显 要求模型少写过程,还会牵动最终准确率。
对五个支持关闭思考模式的模型,在开放式数学题上进一步加入严格的只给答案指令后,平均只给答案比例从接近0提高到约40%,平均准确率下降约15个百分点。
判断题和选择题的准确率变化则相对平稳。
因此,能否按要求不输出推理、直接作答,也应成为一项受到重视、被独立评估的模型能力。
这种能力不会随着思考开关的关闭自动获得,评测时需要同时考察输出合规性与答案正确率。
这项工作也引起了社区的后续验证。
George Shostakovych 受论文启发,对Gemini-4-Argon、GPT-6-Astra、Kimi-K3、DeepSeek-V4-Flash和Muse-Wonder-1.
0进行了小规模独立测试,在其中观察到关闭思考后仍可能输出显式推理的现象,并在博客中报告了结果[2]。
研究团队 第一作者Dianqiao Lei 是清华大学大四本科生,Kevin Qinghong Lin 与 Philip Torr、James Zou 共同担任通讯作者。
Kevin Qinghong Lin 是牛津大学博士后学者;
Pan Lu 是斯坦福大学博士后学者;
Philip Torr 是牛津大学工程科学系教授;
James Zou 在斯坦福大学计算机科学系和电气工程系任副教授。
论文已被 NeurIPS 2026 接收,论文、代码和数据已公开。
参考资料: [1] Thinking Inertia: LLMs Keep Thinking When Told Not To https://arxiv.
org/abs/2610.
11765 [2] George Shostakovych.
'Answer only' is a request, not a switch.
2026年10月15日。
https://gshost.
dev/writing/answer-only-is-a-request/ 编辑:LRST 秒追ASI
查看本期独立摘要
来源摘要 · 自动收录
这件事
新智元 2026-10-25 12:17 北京 新智元报道 通过接口关掉大模型的「思…
本页收录来源刊出的摘要;完整报道请阅读原站。收录时间:2026年10月27日 00:31(北京时间)。
信息从哪里来
- 新智元 原始来源