美国麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）的研究团队11月2日公布了这组实验：让GPT-6 Astra直接读取并修改另一个模型的权重。在Qwen3.5-0.8B上，Astra改动了131072个参数，占模型8亿个参数的0.016%，MATH-500成绩从7.9%升到48.1%，整个过程没有使用梯度下降，也没有重新训练。
使用开源小模型的开发者可能因此多一条路：模型坏在某个具体环节时，不必重新收集数据、跑完整训练，可以让更强的模型读一遍权重直接改动。研究团队把这种方法叫作「权重空间编程」（Weight-Space Programming）。
Qwen3.5-0.8B的毛病是推理循环。研究团队让Astra在一个装有全部权重的Python环境里分析模型，它发现这个小模型在思考模式下反复生成相似文字，最初96条练习回答中有85条一直跑到32768个token的长度上限。Astra把循环追到第15层和第19层MLP写出的一个方向，并从两层各64个输出列中减去这个方向，一共动了131072个权重。
在允许50次前向测试的设置下，MATH-500从7.9%升到48.1%，GSM8K从13.8%升到67.1%，IFEval从21.0%升到62.3%；MATH-500触及32768个token上限的回答比例从93.0%降到33.1%。只给10次或25次前向测试时，MATH-500分别只到12.3%和14.1%，循环几乎没有减少。
| 项目 | 修改前 | 修改后 |
|---|---|---|
| MATH-500 | 7.9% | 48.1% |
| GSM8K | 13.8% | 67.1% |
| IFEval | 21.0% | 62.3% |
| MATH-500触及上限比例 | 93.0% | 33.1% |
数据：MIT CSAIL研究团队11月2日公布的实验数据
研究团队又用Gemma 3 270M做了对照。这个模型很少陷入循环，触到长度上限的回答只占8.5%，而Qwen是93%。Astra对它的修改没有带来明确提升：MATH-500基线是6.8%，50次前向测试后的版本是7.0%。研究团队据此写道，改权重可以移开一个挡住能力的障碍，但不能给模型加上它原本没有的能力。
其他实验展示了这套办法的边界和潜力。只看原始权重，Astra认出了四个结构完全相同的小网络各自在玩什么游戏，也认出了三个小语言模型分别用什么语言训练；它还能从权重判断扩散模型会生成圆形、方形还是三角形，只是把实心图形读成了轮廓。在控制小车爬坡的实验中，Astra只改了3.5%的权重，就让小车在1024次测试中全部成功，而原来的网络在256局检查中一次也没成功。从零写出的游戏网络在三个MinAtar游戏中都超过了训练1亿步的PPO网络，另一个从零写出的9×9围棋网络经过有限次前向测试和修改，也超过了同规模、训练2000万局的PPO网络。
研究团队也记录了一次失败：在分辨两个语言模型哪个被训练得更谄媚时，Astra只比较权重无法判断，要看到模型在特定文本上的注意力模式才能分辨。他们把这项研究称为早期结果，能否稳定用于更大的模型和别的任务，还没有答案。
茉莉花观察
这一节是茉莉花的看法，依据是上文的事实。
我们的分析这次成绩上升说明的是修好了一个坏掉的回答环节，不是模型变聪明了。这是因为，Qwen3.5-0.8B本来会做这些题，只是陷在循环里交不出答案。开发者能从中得到的，是让这样的模型把答案交出来，而不是把弱模型变成强模型。Gemma 3 270M很少循环，同样的修改几乎没有效果，MATH-500只从6.8%到7.0%。
不同看法另一种看法认为，只把提升归到修故障上，会低估Astra直接读写权重这件事。这是因为，修改没有梯度、没有训练，IFEval也从21.0%升到了62.3%。我们同意循环不只影响数学，IFEval的上升正说明修的是同一个毛病；但两种解释都不认为模型获得了原本没有的推理能力，研究团队自己也写下了这一点。
我们还不知道的改权重能否用在更大的模型上，成本是否低于重新训练，团队都还没有给出答案。
后续走向最该做的是关闭思考模式的对照实验，或者拿常规微调来比。我们判断，到2027-01-31，会有人公布同一款Qwen3.5-0.8B关闭思考模式对照的MATH-500分数。这是因为，有人提出做对照，有网友发帖自称复现了原结果（未经证实），但非承诺；48.1%是思考开启时改权重测得的，低分分不清改权重的作用。Qwen3.5-0.8B思考开启时改权重从7.9%到48.1%；思考关闭时的分数，来源还没有数字。
综合量子位、凤凰网科技、Rikiya Takehi报道
数据：MIT CSAIL
