建造如GPT-5等AI語言模型的工程師從訓練數據中識別了兩個主要處理功能：記憶，涉及回憶如名言或書籍段落等精確文本，以及推理，指的是使用一般原則解決問題。AI初創公司Goodfire.ai的最新研究提供了潛在的確鑿證據，表明這些功能在模型的架構中通過完全獨立的神經路徑運行。
研究揭示了這些路徑之間的清晰區分。十月底發布的一篇預印本論文詳述了當研究人員移除記憶路徑時，AI模型喪失了97%的逐字重現訓練數據的能力，但幾乎保留了所有與邏輯推理相關的能力。
例如，在Allen Institute for AI的OLMo-7B語言模型的第22層中，底部50%的權重組件在記憶數據中顯示出23%更高的激活，而頂部10%在一般、非記憶文本中顯示出26%更高的激活。這種明顯的區別使研究人員能夠有效地切除記憶功能，同時保留其他能力。
一個驚人的發現是，算術運算似乎利用與記憶相同的神經路徑，而不是邏輯推理。移除記憶電路導致數學性能下降66%，而邏輯任務基本不受影響。這可能解釋了AI語言模型在沒有外部輔助的情況下經常數學不佳的原因；它們試圖從有限的記憶中回憶算術，而不是計算，類似於一個死記硬背乘法表而非理解過程的學生。研究結果表明，在現有規模下，語言模型將 “2+2=4” 視作一條記住的事實，而不是一個計算的邏輯運算。
需要注意的是，在AI研究中，“推理”包括一系列不一定等同於人類推理的能力。該研究中記憶去除後保留下來的邏輯推理任務，包括評估真/假陳述和遵循如果-那麼規則，基本上是在學習模式上應用於新輸入。這與更深刻的“數學推理”形成對比，該推理需要證明或創新的問題解決，這是當前AI模型即使在模式匹配能力完好的情況下仍然難以應對的領域。