最近、AI的根本限制讓我深思。就像電影《記憶碎片》中的主角一樣，現在的大型語言模型（LLM）是否也陷入了一種前向性健忘症呢？

如果參數保持固定，模型就無法真正從新經驗中學習。它試圖通過聊天記錄或搜索系統來彌補，但這只不過是依賴外部記憶，內在化的能力仍然缺失。

a16z的分析指出，文脈內學習（ICL）只不過是搜索，並非真正的學習。由於缺乏壓縮，模型無法進行創造性發現或應對對抗性場景。例如，像費馬最後定理的證明這樣需要根本性新方法的問題，LLM只能組合現有知識。

研究者提出的解決方案有三條路徑。一是強化上下文層，例如多代理系統。二是模組化，像是適配器或壓縮的KV快取，將知識模組整合到現有架構中。三是權重更新，通過測試時訓練或元學習實現參數層面的深度學習。

然而，權重更新面臨許多挑戰。災難性忘記、時間上的解耦、安全性與對齊的退化。模型部署後的更新不僅是技術問題，還涉及審計能力和隱私問題。

未來的系統可能會呈現層次化：ICL負責快速適應，模組實現專業化，權重更新則促進深層內在化。擺脫前向性健忘，不僅僅是擴充文件櫃，而需要壓縮與抽象，以及真正的學習機制。

這個領域，創業公司紛紛加入，進行上下文管理、模組設計和參數優化等層面的實驗。雖然尚未出現決定性勝者，但未來幾年可能會迎來重大變革。