本文来自PRO会员通讯内容，文末关注「机器之心PRO会员」，查看更多专题解读。
随着大模型从一次性任务走向多轮交互和长期任务，长期记忆成为重要研究方向。早期研究通过长上下文、KV Cache、循环状态和外部检索等机制延长模型对历史信息的利用，但在信息持久化、状态更新和跨会话复用方面仍存在不同路径。近年来，研究进一步探索将记忆置于模型内部，通过可更新状态、记忆模块乃至参数变化，使历史信息直接参与后续计算。模型记忆研究也由「保存更多历史信息」逐渐延伸至「信息如何进入模型、如何更新，以及能够持续影响多久」。
目录
01. 大模型为什么开始把记忆写进模型内部？
大模型的长期记忆为何开始指向模型内部？长上下文与外部检索留下了哪些空白？？...
02. 信息写进权重，就算长期记住了吗？
TTT Layers、Titans 和 MemoryLLM 各自把历史留在何处？信息写进权重后，为何仍会被新任务覆盖？...
03. 近期工作如何让旧信息留在 LLM 的记忆中？
权重最终能否成为可靠的长期记忆载体？...
大模型为什么开始把记忆写进模型内部？
1、在 LLM 的发展和应用过程中，，随着应用场景向长周期智能体（Long-Horizon Agents）和终身学习（Lifelong Learning）演进，模型记忆的局限性逐渐显现，并受到学界与工业界越来越多的关注。
2、在探索具备更强记忆力的路线上，以往研究聚焦于通过稀疏注意力机制或状态空间模型（SSMs）扩展上下文窗口（Context Window），以及通过检索增强生成（RAG）等外部非参数化存储模块动态调取信息。
3、尽管外部存储和长上下文窗口在事实查询方面具有实用性，但在涉及深度逻辑推理及隐式知识内化时存在局限，促使业界同样在探讨将经验直接编码并存储在模型权重（即内部参数）中的可行性。
① 扩展上下文长度并不等同于记忆利用率的等比例提升，长上下文窗口面临计算开销增加及注意力稀释的问题，模型往往无法充分利用其标称的理论容量。
4、在参数化记忆方面，业界开始引入“快速权重”（Fast Weights）机制。在推理阶段，模型利用输入上下文实时进行梯度更新，动态调整部分网络权重。同时，基础模型尝试在骨干网络中维持一个持久的参数化记忆状态
① 斯坦福大学、加州大学圣地亚哥分校等机构的研究者于 2024 年提出 TTT Layers，将小型模型的权重用作隐藏状态，并在处理输入时持续更新，以利用更长序列中的信息。[1-3]
② Google Research 研究者于 2024 年底提出 Titans，在注意力之外加入推理时可更新的神经记忆模块，并依据预测误差调节写入与遗忘。[1-4]
③ 加州大学圣地亚哥分校、亚马逊等机构的研究者于 2024 年提出 MemoryLLM，在模型各层设置固定大小的记忆池，通过新生成的记忆向量替换部分旧向量，实现新知识的注入与后续调用。[1-5]
5、近期，清华大学唐杰团队在「Memory For LLM」工作中，从三个维度系统梳理模型层面的记忆机制，即信息以什么形式保存、何时及如何更新、能够持续多久。[1-1]
① 在保存形式上，注意力中的 KV Cache、Mamba 等模型的循环状态依附于计算过程；专门设置的记忆模块、记忆池或可寻址存储，则提供了相对明确的读写位置。[1-1][1-2]
② 在更新方式上，TTT Layers、Titans 等工作尝试在处理新输入时更新内部状态或记忆参数，使模型能够边使用边吸收信息。[1-1][1-3][1-4]
③ 在信息能够影响模型多久的问题上，KV Cache 主要服务于当前推理；循环状态、记忆模块和可更新参数则试图将历史影响延伸至更长的序列或后续交互。[1-1]
信息写进权重，就算长期记住了吗？
1、2024 年至今，研究者已开始尝试让模型在处理输入时调整快权重，或设置能够自行更新的神经记忆模块与记忆池。该类方法扩大了模型利用较早信息的范围，但「内部记忆」并不都等于修改基座模型的主体权重。...
关注👇🏻「机器之心PRO会员」，前往「收件箱」查看完整解读
更多往期专题解读内容，关注「机器之心PRO会员」服务号，点击菜单栏「收件箱」查看。