文章目录前言零、论文基本信息一、这篇论文想解决什么问题1. 长期记忆和短期记忆是分开优化的2. 依赖启发式规则或外部 controller3. 缺少端到端优化二、相关工作1. 长期记忆管理2. 短期记忆管理3. 大模型强化学习4. 基于强化学习的记忆 Agent三、AgeMem 方法总览四、通过工具接口实现统一记忆管理1. 长期记忆工具2. 短期记忆工具五、三阶段轨迹结构为什么要分阶段训练1. Stage 1因果交互与长期记忆构建2. Stage 2干扰信息下的短期记忆控制3. Stage 3综合推理和记忆管理六、三阶段渐进式强化学习1. 阶段一构建长期记忆2. 阶段二干扰器下的短期记忆控制3. 阶段三综合推理和记忆管理七、step-wise GRPO如何解决记忆操作的稀疏奖励问题1. 记忆操作会造成奖励延迟2. 记忆操作会让轨迹不连续3. step-wise GRPO 的核心思想八、奖励函数设计1. 任务完成奖励2. 上下文管理奖励3. 记忆管理奖励4. 惩罚项九、实验设置1. 数据集2. 评估指标3. 对比方法4. 实现细节十、主要实验结果1. AgeMem 在两个模型上都取得最好平均结果2. RL 训练非常关键3. 在 HotpotQA 上提升明显十一、长期记忆质量分析十二、短期记忆管理分析十三、工具使用分析1. 长期记忆工具使用增加2. 短期记忆工具使用更均衡3. RETRIEVE 使用次数下降不一定是坏事十四、消融实验1. 长期记忆和短期记忆模块的作用2. 奖励函数的作用3. FILTER 阈值的影响十五、一个简单例子AgeMem 在 Agent 中可能怎么用1. 长期记忆阶段2. 短期记忆阶段3. 最终推理阶段十六、和 A-Mem、Memory-R1、MemAct、LightMem 的区别十七、局限性和未来方向1. 训练复杂度较高2. 奖励归因仍然困难3. 工具设计仍然依赖人工4. 当前评估仍以文本和模拟环境为主5. 真实应用中还需要考虑记忆安全十八、我的理解和启发1. 记忆操作可以统一成工具2. 长期记忆和短期记忆需要协同3. 记忆训练需要分阶段4. 工具调用次数不是越多越好5. 记忆系统评估不能只看最终准确率十九、总结参考资料前言在现有的大模型 Agent 记忆系统中短期记忆和长期记忆通常是分开管理的。简单来说长期记忆Long-Term Memory, LTM负责保存跨任务、跨会话、可长期复用的信息例如用户偏好、任务经验、环境知识等。短期记忆Short-Term Memory, STM负责管理当前上下文中的信息例如当前任务进展、近期观察、工具调用结果和临时推理状态。这两类记忆都很重要。长期记忆能帮助 Agent 复用过去经验短期记忆能帮助 Agent 在当前任务中保持上下文连续。但问题在于很多现有方法往往把 LTM 和 STM 当成两个独立模块来处理长期记忆依赖外部 memory manager 或启发式规则短期记忆依赖 RAG、滑动窗口或周期性总结。这样做会带来一个问题长期记忆和短期记忆之间是松散耦合的。比如Agent 可能在前面存了一条长期记忆但后面推理时没有及时召回或者当前上下文里塞满了无关干扰信息导致真正有用的长期记忆被淹没。换句话说Agent 不是不会“存”也不是不会“用”而是缺少一种统一的策略来决定什么时候存、什么时候召回、什么时候总结、什么时候丢弃。这篇论文提出了Agentic Memory简称 AgeMem。它的核心思想是不再把记忆管理看作外部模块而是把长期记忆和短期记忆操作都暴露为 Agent 可以主动调用的工具动作让 Agent 在任务过程中自己学习如何管理记忆。具体来说AgeMem 将记忆操作设计成工具接口让 Agent 能够自主执行存储长期记忆更新长期记忆删除长期记忆召回相关记忆总结当前上下文过滤无关上下文。为了训练这种统一记忆管理能力论文提出了三阶段渐进式强化学习策略并设计了step-wise GRPO用于解决记忆操作带来的稀疏奖励和轨迹不连续问题。简单来说这篇论文想解决的问题是Agent 不仅要有长期记忆和短期记忆还要学会在任务过程中统一管理这两类记忆。零、论文基本信息论文名称Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents发表平台arXiv preprint代码链接GitHub 仓库作者信息Yi YuWuhan University / Alibaba GroupLiuyi YaoAlibaba GroupYuexiang XieAlibaba GroupQingquan TanWuhan UniversityJiaqi FengWuhan UniversityYaliang LiAlibaba GroupLibing WuWuhan University一、这篇论文想解决什么问题这篇论文想解决的是长期记忆和短期记忆统一管理的问题。在长程 Agent 任务中记忆通常可以分为两类记忆类型主要作用典型问题长期记忆 LTM保存可跨任务复用的知识、事实和经验什么时候存什么时候更新什么时候删除短期记忆 STM管理当前上下文中的临时信息什么时候召回什么时候总结什么时候过滤现有方法通常分别处理这两类记忆。例如长期记忆系统可能会设置一个 memory manager负责判断是否要新增、更新、删除记忆短期记忆系统则可能采用 RAG、滑动窗口或周期性总结控制当前上下文长度。这些方法单独看都有作用但组合起来会有几个问题。1. 长期记忆和短期记忆是分开优化的很多方法先设计一个长期记忆模块再设计一个短期上下文管理模块最后把二者拼起来使用。这样做的问题是长期记忆和短期记忆之间没有真正形成统一策略。举个例子Agent 在前面已经把某个关键事实存入长期记忆但后面短期上下文管理模块没有及时召回它导致最终任务失败。反过来Agent 也可能反复召回无关长期记忆导致短期上下文被噪声污染。2. 依赖启发式规则或外部 controller很多记忆系统依赖固定规则例如每隔 N 轮总结一次上下文超过阈值就裁剪相似度高于某个阈值就召回发现冲突就更新长期记忆。这些规则简单有效但不够灵活。因为真实任务中什么时候该总结、什么时候该召回、什么时候该删除往往取决于当前任务状态而不是固定阈值。3. 缺少端到端优化长期记忆操作和短期记忆操作都会影响最终任务结果。但是如果二者由不同模块独立控制强化学习信号很难同时作用到“前期存储行为”和“后期推理行为”上。比如最终任务失败了到底是因为前面没有存下关键长期记忆后面没有召回相关记忆当前上下文没有过滤掉干扰信息总结时丢掉了关键细节这些问题都和记忆操作有关但如果没有统一训练框架就很难让 Agent 学会整体优化。论文 Figure 1 对比了三种记忆管理范式静态 STM 触发式 LTM静态 STM Agent-based LTMAgeMem 的统一记忆管理。图源Yu et al., 2026Figure 1。这张图非常适合放在这里因为它说明了 AgeMem 的核心动机不是只改进长期记忆也不是只改进短期记忆而是把两类记忆统一纳入 Agent 的动作空间中。二、相关工作论文的相关工作主要可以分为四类。1. 长期记忆管理长期记忆管理主要关注Agent 应该保存什么信息以及如何维护这些信息。代表方法包括LangMem提供模块化的长期记忆管理框架支持不同类型的记忆存储和检索。A-Mem借鉴 Zettelkasten 卡片盒笔记法让 Agent 记忆能够动态链接和自进化。Mem0采用提取、更新和检索的记忆流水线并进一步扩展出图结构版本。Zep将长期记忆组织为时序知识图谱用于长期对话和用户记忆管理。这些方法的共同点是它们都试图让 Agent 在长期交互中保留有价值的信息。但从 AgeMem 的角度看它们仍然更偏向长期记忆本身。也就是说它们主要解决“长期记忆怎么存、怎么更新”的问题而没有充分解决长期记忆和短期上下文如何协同的问题。2. 短期记忆管理短期记忆管理主要关注当前上下文中的信息选择、压缩和过滤。常见方法包括RAG通过外部检索扩展当前上下文让模型获得相关信息。ReSum周期性地将交互历史压缩为更紧凑的推理状态让 Agent 能够突破固定上下文窗口限制。滑动窗口只保留最近若干轮上下文。上下文总结把历史交互压缩成摘要再继续推理。这些方法能缓解上下文窗口限制但大多依赖固定策略。例如什么时候总结、保留多少上下文、召回多少内容往往不是 Agent 自主学习出来的而是由人工规则决定。3. 大模型强化学习强化学习已经被广泛用于大模型训练例如 RLHF、PPO 和 GRPO。其中GRPOGroup Relative Policy Optimization通过组内相对优势估计减少对 value model 的依赖在推理任务和 Agent 任务中被越来越多使用。不过标准 GRPO 通常假设轨迹比较连续奖励也能相对稳定地分配。但记忆操作会带来一个特殊问题Agent 可能在前面执行存储、更新、删除、总结等动作真正的奖励却要到最终任务完成时才出现。这就导致记忆管理任务中的奖励具有明显的稀疏性和不连续性。4. 基于强化学习的记忆 Agent近期也有一些工作开始尝试用强化学习训练记忆 Agent。这些方法表面上和 AgeMem 比较相似但论文认为它们通常只优化记忆管理的某一个方面。例如只学习长期记忆存储只学习上下文压缩只学习检索策略只在回答阶段优化记忆利用。问题在于早期的存储决策和后期的推理行为只是松散耦合学习信号没有显式连接这两部分。AgeMem 的区别在于它将长期记忆工具和短期记忆工具都纳入同一个 Agent 策略并通过三阶段强化学习让 Agent 逐步学会统一管理两类记忆。三、AgeMem 方法总览AgeMem 的核心思想是把长期记忆和短期记忆操作都暴露为 Agent 可调用的工具动作让 Agent 在任务过程中自己决定如何管理记忆。这和传统方法最大的区别在于记忆不再只是外部模块而是 Agent 策略的一部分。在 AgeMem 中Agent 不仅可以执行普通任务动作还可以调用记忆工具包括长期记忆工具短期记忆工具普通任务推理动作。整个过程可以理解为任务输入 → Agent 判断当前状态 → 选择任务动作或记忆动作 → 更新长期记忆 / 短期上下文 → 继续推理 → 输出最终答案或完成任务也就是说Agent 在任务过程中不仅要“做任务”还要不断判断这条信息要不要存进长期记忆旧记忆是否需要更新当前上下文是否太乱是否需要总结历史上下文是否需要从长期记忆中召回相关信息哪些无关上下文应该过滤掉这种设计让记忆管理从外部规则变成了 Agent 自身可学习的行为。四、通过工具接口实现统一记忆管理AgeMem 通过工具接口实现长期记忆和短期记忆管理。论文 Table 1 列出了六个核心工具。表源Yu et al., 2026Table 1。这些工具可以分为两类。1. 长期记忆工具长期记忆工具主要操作外部记忆库M_t包括工具目标作用ADDLTM添加新的知识到长期记忆UPDATELTM修改已有长期记忆DELETELTM删除无用或错误的长期记忆这类工具解决的是“长期记忆如何维护”的问题。例如Agent 在 HotpotQA 中看到一段关于乐队成员的信息可以选择把它存入长期记忆如果后面发现旧记忆不完整就可以更新如果发现旧记忆错误或无用就可以删除。2. 短期记忆工具短期记忆工具主要操作当前上下文C_t包括工具目标作用RETRIEVESTM从长期记忆中召回相关内容到当前上下文SUMMARYSTM总结当前上下文中的历史片段FILTERSTM过滤当前上下文中的无关片段这类工具解决的是“当前上下文如何管理”的问题。例如当当前上下文里混入很多干扰内容时Agent 可以调用 FILTER 删除无关片段当上下文过长时可以调用 SUMMARY 压缩历史当需要过去知识时可以调用 RETRIEVE 从长期记忆中召回相关信息。这六个工具组合起来就形成了统一的记忆管理动作空间。五、三阶段轨迹结构为什么要分阶段训练直接让 Agent 从一开始就同时学习长期记忆、短期记忆和最终推理其实很难。因为记忆管理的学习信号非常复杂早期存储是否正确要到后面任务阶段才知道短期上下文是否过滤得好也要看最终回答是否正确如果最终失败很难判断是哪一步记忆操作出错。因此AgeMem 将每段交互轨迹拆成三个连续阶段。1. Stage 1因果交互与长期记忆构建第一阶段是 casual interaction也就是比较自然的交互过程。在这个阶段中Agent 会接触到一些后面可能有用的信息需要学习是否调用长期记忆工具ADDUPDATEDELETE。这一阶段主要训练的是长期记忆能力。也就是说Agent 要学会哪些信息值得存入长期记忆哪些旧记忆需要更新哪些记忆应该删除。举个例子当前信息 Muse 是一个英国摇滚乐队由三名成员组成。 Agent 可以选择 ADD_MEMORYMuse 有 3 名成员。如果这条记忆后面能帮助回答问题那么这个存储行为就应该得到正向训练信号。2. Stage 2干扰信息下的短期记忆控制第二阶段会引入一些干扰性或不相关内容。论文中这一阶段会清空短期上下文但保留第一阶段构建的长期记忆。这样设计是为了避免 Agent 仅凭残留上下文完成任务迫使它学会真正从长期记忆中召回信息并管理当前上下文。在这个阶段中Agent 主要学习短期记忆控制例如FILTER过滤无关上下文SUMMARY压缩历史上下文RETRIEVE从长期记忆中召回相关信息。这一阶段训练的是 Agent 在噪声环境中的上下文管理能力。举个例子当前上下文 包含 Muse、The Raconteurs、Narcissus、Sundae Club 等多个乐队信息。 问题 Muse 和 The Raconteurs 哪个乐队成员更多 Agent 需要 1. 过滤掉无关乐队信息 2. 召回 Muse 和 The Raconteurs 的成员数量 3. 保留和问题有关的上下文。3. Stage 3综合推理和记忆管理第三阶段是正式任务阶段。此时 Agent 需要同时使用长期记忆和短期记忆管理能力完成最终查询或任务。这时的 Agent 不能只会存也不能只会过滤而要协调使用多种工具从长期记忆中召回相关知识管理当前上下文过滤干扰信息总结中间推理最后生成答案或完成任务。简单来说Stage 1学会存长期记忆 Stage 2学会管短期上下文 Stage 3学会联合使用两类记忆完成任务这种三阶段设计比较重要。它不是一次性把所有记忆能力混在一起训练而是先训练基础能力再训练上下文控制最后训练综合推理。六、三阶段渐进式强化学习AgeMem 的训练采用 progressive RL也就是渐进式强化学习。它不是直接用最终任务奖励训练所有行为而是按照记忆能力的复杂度逐步推进。1. 阶段一构建长期记忆在第一阶段中短期记忆主要由自然对话上下文提供Agent 重点学习长期记忆构建。这个阶段的目标是让 Agent 学会哪些信息需要 ADD哪些旧信息需要 UPDATE哪些无关或错误记忆需要 DELETE。可以理解为第一阶段先让 Agent 学会“记什么”。2. 阶段二干扰器下的短期记忆控制第二阶段保留第一阶段构建出来的长期记忆但清空短期上下文并注入干扰信息。这样做有两个目的防止 Agent 依赖残留上下文直接回答强迫 Agent 学会从长期记忆中召回信息并过滤当前干扰上下文。这个阶段主要让 Agent 学会“怎么管当前上下文”。3. 阶段三综合推理和记忆管理第三阶段中Agent 面对完整任务需要同时使用 LTM 和 STM 工具。这个阶段让 Agent 学会合理召回长期记忆过滤无关上下文总结中间状态基于记忆完成最终推理。可以理解为第三阶段训练的是完整的 Agentic Memory 行为。七、step-wise GRPO如何解决记忆操作的稀疏奖励问题论文提出了step-wise GRPO用来解决记忆操作带来的稀疏奖励和轨迹不连续问题。普通 GRPO 通常是对同一个 prompt 采样多条完整轨迹然后根据最终奖励计算相对优势。这个思路在数学题或普通问答中比较自然因为轨迹相对连续最终答案可以比较直接地反映整条轨迹质量。但在记忆管理任务中情况更复杂。1. 记忆操作会造成奖励延迟比如 Agent 在 Stage 1 中执行了 ADD_MEMORY把某个事实存入长期记忆。但这个动作是否正确可能要到 Stage 3 最终回答问题时才知道。也就是说奖励可能延迟很久才出现。Stage 1存入 Muse 有 3 名成员 Stage 2过滤无关上下文 Stage 3回答 Muse 和 The Raconteurs 哪个成员更多 最终奖励回答正确这里的最终奖励不仅和 Stage 3 的回答有关也和 Stage 1 是否正确存储有关。2. 记忆操作会让轨迹不连续记忆操作会修改长期记忆库或短期上下文。例如ADD 会改变长期记忆DELETE 会移除某条记忆SUMMARY 会压缩上下文FILTER 会删除上下文片段。这些操作会让后续状态依赖于被修改后的记忆而不是简单的连续文本轨迹。这和普通自回归训练不太一样。3. step-wise GRPO 的核心思想step-wise GRPO 的核心是不要只把最终奖励粗暴地分给整条轨迹而是把奖励逐步传播回前面的关键记忆决策。可以简单理解为如果最终任务成功前面那些有助于存储、召回、过滤、总结的动作应该得到正向信号如果最终失败则需要削弱那些可能导致错误的记忆操作。这样做可以缓解两个问题稀疏奖励最终奖励太晚出现断裂轨迹记忆操作改变了后续状态。论文的重点不只是使用 GRPO而是针对记忆操作的特殊性设计了 step-wise 的奖励传播方式让前期记忆决策也能从最终任务结果中获得训练信号。八、奖励函数设计AgeMem 的奖励函数由多个部分组成不只是看最终答案是否正确。论文主要考虑了以下几类奖励和惩罚。1. 任务完成奖励任务完成奖励是最核心的部分。不同 benchmark 的任务目标不同因此评价方式也不同ALFWorld、SciWorld、BabyAI 使用 Success RatePDDL 使用 Progress RateHotpotQA 使用 LLM-as-a-Judge。这一部分衡量的是 Agent 是否真正完成了任务。2. 上下文管理奖励上下文管理奖励关注短期记忆是否被有效管理。例如是否减少了无关上下文是否避免上下文过长是否通过 SUMMARY 或 FILTER 保留了关键内容是否在需要时召回长期记忆。这部分奖励鼓励 Agent 不要把所有信息都堆进上下文而是主动压缩和过滤。3. 记忆管理奖励记忆管理奖励关注长期记忆质量。例如是否存储了有用知识是否更新了过时记忆是否删除了错误或无用记忆存下来的长期记忆是否和任务事实相关。论文还使用 LLM-based evaluator 评估长期记忆质量得到 Memory Quality 分数。4. 惩罚项惩罚项主要用于限制不良行为例如过度调用工具生成过长上下文超过对话轮次限制触发上下文溢出无效或错误的记忆操作。这样设计的目的是避免 Agent 为了获得任务奖励而滥用工具或无限扩展上下文。九、实验设置1. 数据集论文在五个长程任务 benchmark 上评估 AgeMemALFWorld具身智能任务Agent 需要根据自然语言指令在模拟家庭环境中完成多步操作。SciWorld科学实验模拟环境Agent 需要执行多步实验并回答科学问题。PDDL基于 Planning Domain Definition Language 的规划任务考察结构化推理和中间状态管理能力。BabyAI网格世界中的自然语言指令跟随任务。HotpotQA多跳知识问答任务适合评估长期记忆存储和知识推理能力。这些数据集覆盖了具身行动游戏式推理符号规划多跳问答长程上下文管理。论文只在 HotpotQA 训练集上进行 RL 微调然后直接评估到所有数据集上。这一点比较重要因为它能检验 AgeMem 是否学到通用记忆管理策略而不是只适配某个单一环境。2. 评估指标论文使用的主要指标包括Success RateSR用于 ALFWorld、SciWorld 和 BabyAIProgress RatePR用于 PDDLLLM-as-a-JudgeJ用于 HotpotQAMemory QualityMQ用于评估长期记忆和真实事实之间的相关性。其中 MQ 是一个比较重要的指标因为它不只看任务是否完成还看 Agent 存下来的长期记忆质量是否更高。3. 对比方法论文对比了以下方法No-Memory不使用外部记忆。LangMem模块化长期记忆系统。A-Mem动态 Agent 记忆机制。Mem0长期记忆系统。Mem0gMem0 官方提供的图结构版本。AgeMem-noRL不使用 RL 微调的 AgeMem用于验证强化学习是否关键。4. 实现细节论文使用AgentScope框架搭建 AgentTrinity框架进行强化学习微调Qwen2.5-7B-Instruct 和 Qwen3-4B-Instruct 作为主要 backbone。十、主要实验结果论文的主实验结果如 Table 2 所示。表源Yu et al., 2026Table 2。1. AgeMem 在两个模型上都取得最好平均结果在Qwen2.5-7B-Instruct上AgeMem 的平均分达到AgeMem41.96高于其他 memory baseline例如LangMem34.23 A-Mem36.78 Mem037.14 Mem0g36.31 AgeMem-noRL33.43在Qwen3-4B-Instruct上AgeMem 的平均分达到AgeMem54.31同样高于其他 baselineLangMem43.25 A-Mem45.74 Mem044.70 Mem0g41.95 AgeMem-noRL45.59这说明 AgeMem 的提升并不依赖单一模型在两个不同 backbone 上都有明显效果。2. RL 训练非常关键AgeMem-noRL 的表现明显弱于 AgeMem。这说明仅仅把长期记忆和短期记忆工具放进 Agent 动作空间还不够。Agent 必须通过强化学习才能学会什么时候调用这些工具。换句话说AgeMem 的核心不只是工具设计而是用 RL 训练 Agent 学会如何协调长期记忆和短期记忆。3. 在 HotpotQA 上提升明显在 HotpotQA 上AgeMem 表现尤其突出。例如Qwen2.5-7B AgeMem 54.44 Qwen3-4B AgeMem 55.49这说明 AgeMem 对知识密集型、多跳推理任务有明显帮助。原因也比较直观HotpotQA 中需要跨多个事实进行推理而长期记忆存储和短期上下文召回都很重要。十一、长期记忆质量分析除了任务结果论文还专门评估了 AgeMem 存储的长期记忆质量。图源Yu et al., 2026Figure 2。论文使用 HotpotQA 中的 ground-truth facts评估存储记忆和真实事实之间的相关性。结果显示AgeMem 在两个模型上都取得最高 MQQwen2.5-7B-InstructMQ 0.533 Qwen3-4B-InstructMQ 0.605这说明 AgeMem 不只是任务完成率更高它存下来的长期记忆本身也更有价值。我觉得这个结果比较重要因为很多记忆系统可能“看起来能回答问题”但内部存储的记忆质量未必高。如果长期记忆质量差后续任务很容易被错误记忆或无关记忆干扰。AgeMem 的 MQ 提升说明统一工具化记忆操作确实能帮助 Agent 存下更相关、更可复用的知识。十二、短期记忆管理分析论文还分析了 STM 管理是否真的减少了上下文冗余。图源Yu et al., 2026Figure 3。结果显示AgeMem 相比不使用 STM 工具、只采用 RAG 的版本可以减少 prompt token 数。例如Qwen2.5-7B AgeMem-RAG 2186 tokens AgeMem 2117 tokens 降低约 3.1% Qwen3-4B AgeMem-RAG 2310 tokens AgeMem 2191 tokens 降低约 5.1%这个提升看起来不像 LightMem 那种大幅降低 token 成本但意义不同。LightMem 关注的是记忆系统构建效率而 AgeMem 关注的是 Agent 在任务过程中如何自主控制上下文。这里的 token reduction 说明 Agent 确实学会了使用 FILTER、SUMMARY 等工具减少短期上下文冗余。十三、工具使用分析论文还统计了 RL 训练前后 Agent 的工具使用情况。表源Yu et al., 2026Table 3。结果显示RL 训练显著改变了 Agent 的工具使用行为。1. 长期记忆工具使用增加在 Qwen2.5-7B 上RL 训练后ADD 调用从 0.92 增加到 1.64UPDATE 从几乎没有增加到 0.13。这说明 Agent 经过训练后更愿意主动构建和更新长期记忆。2. 短期记忆工具使用更均衡RL 后FILTER 工具使用明显增加。例如 Qwen2.5-7B 中FILTER 从 0.02 增加到 0.31。这说明 Agent 学会了主动清理上下文中的无关信息而不是把所有内容都保留下来。3. RETRIEVE 使用次数下降不一定是坏事一个有意思的现象是RL 后 RETRIEVE 次数反而下降了。论文认为这并不是说明 Agent 不会召回而是说明召回策略变得更高效了。训练前Agent 可能因为长期记忆质量较差需要反复召回来弥补训练后ADD 和 UPDATE 行为更有效长期记忆质量更高因此每次召回的质量也更好不需要频繁重复召回。这点很有启发工具调用次数不是越多越好。更好的 Agent 不是频繁调用工具而是在合适的时候调用正确工具。十四、消融实验论文还做了多组消融实验验证 AgeMem 中不同组件的作用。1. 长期记忆和短期记忆模块的作用论文比较了BaseBase LTBase LT/RLBase LT/ST/RL。结果显示引入长期记忆后有一定提升而进一步加入 RL 和短期记忆工具后性能继续提升。这说明长期记忆有用RL 训练有用长期记忆和短期记忆联合管理更有用。2. 奖励函数的作用论文也分析了不同奖励项的影响。如果去掉某些奖励项性能会下降说明 AgeMem 的训练不是只靠最终任务奖励而是需要结合任务完成、上下文管理和记忆质量等多维反馈。这也符合记忆管理任务的特点最终任务成功很重要但如果只看最终成功很难指导中间的存储、召回、总结和过滤行为。3. FILTER 阈值的影响FILTER 工具需要判断哪些上下文片段无关因此阈值设置会影响过滤强度。如果阈值太严格可能删掉有用信息如果阈值太宽松又无法有效减少上下文噪声。这说明虽然 AgeMem 将很多记忆行为纳入 Agent 策略但具体工具本身仍然存在工程参数需要在不同任务中调整。十五、一个简单例子AgeMem 在 Agent 中可能怎么用为了更直观理解 AgeMem可以想象一个研究型 Agent 需要回答下面的问题Muse 和 The Raconteurs 哪个乐队成员更多在任务过程中Agent 可能看到多个网页或文本片段片段 1Narcissus 是一个乐队…… 片段 2The Raconteurs 是一个美国摇滚乐队由 Jack White、Brendan Benson、Jack Lawrence 和 Patrick Keeler 组成。 片段 3Sundae Club 是一个音乐项目…… 片段 4Muse 是一个英国摇滚乐队由 Matt Bellamy、Chris Wolstenholme 和 Dominic Howard 组成。普通 Agent 可能会把所有片段都放在上下文中然后直接回答。但这样会有两个问题无关乐队信息会干扰推理如果上下文过长关键信息可能被淹没。AgeMem 的处理可能更像这样。1. 长期记忆阶段Agent 看到有用事实后可以调用 ADDADD_MEMORY Muse 有 3 名成员。ADD_MEMORY The Raconteurs 有 4 名成员。2. 短期记忆阶段当上下文中出现无关乐队信息时Agent 可以调用 FILTERFILTER_CONTEXT 删除 Narcissus 和 Sundae Club 相关片段。如果上下文仍然较长Agent 可以调用 SUMMARYSUMMARY_CONTEXT 当前需要比较 Muse 和 The Raconteurs 的成员数量。 Muse3 人。 The Raconteurs4 人。3. 最终推理阶段Agent 再基于召回和整理后的信息回答The Raconteurs 的成员更多因为 The Raconteurs 有 4 名成员而 Muse 有 3 名成员。这个例子说明AgeMem 不是单纯“多了一个记忆库”而是让 Agent 在任务过程中动态协调长期事实存储当前上下文过滤相关记忆召回最终推理回答。十六、和 A-Mem、Memory-R1、MemAct、LightMem 的区别如果把 AgeMem 和前面几篇 Agent 记忆论文放在一起看可以发现它们关注点不同。方法关注点核心问题A-Mem记忆自进化和结构化关联记忆如何自动更新、关联和演化MemAct / Memory as Action工作上下文主动管理上下文管理如何变成 Agent 动作Memory-R1RL 学习记忆管理和利用如何通过任务奖励学习存、改、删、用记忆LightMem轻量高效记忆系统如何降低 token、API 和时间成本AgeMem统一管理长期记忆和短期记忆如何让 Agent 同时学会管理 LTM 和 STMAgeMem 和 MemAct 有相似之处二者都把记忆管理看作 Agent 可以执行的动作。但二者侧重点不同MemAct 更关注长程任务中的工作上下文裁剪和写入AgeMem 更强调长期记忆和短期记忆的统一工具化管理。AgeMem 和 Memory-R1 也有联系二者都使用强化学习训练记忆行为。但 Memory-R1 更像是分别训练 Memory Manager 和 Answer Agent而 AgeMem 更强调把 LTM / STM 工具统一放进同一个 Agent 策略中。AgeMem 和 LightMem 的区别也比较明显LightMem 更关注高效记忆构建和离线更新AgeMem 更关注 Agent 在任务过程中的主动记忆决策。因此AgeMem 可以看作是 Agent 记忆机制中的一个重要方向让 Agent 不只是拥有记忆模块而是把记忆管理本身变成可学习的策略行为。十七、局限性和未来方向AgeMem 的思路比较完整但仍然有一些局限。1. 训练复杂度较高AgeMem 需要构造三阶段轨迹并使用 RL 微调模型。这比普通 RAG 或启发式记忆系统复杂得多。对于普通开发者来说复现和落地成本会比较高。2. 奖励归因仍然困难尽管 step-wise GRPO 缓解了稀疏奖励问题但记忆管理中的 credit assignment 仍然很难。最终任务成功或失败可能同时受到多个因素影响长期记忆是否存对短期上下文是否过滤对召回是否准确总结是否丢信息最终推理是否正确。这些因素很难完全拆开。3. 工具设计仍然依赖人工AgeMem 把 ADD、UPDATE、DELETE、RETRIEVE、SUMMARY、FILTER 暴露给 Agent但这些工具本身仍然是人工设计的。也就是说Agent 学会的是“如何调用这些工具”而不是自己发明新的记忆操作。4. 当前评估仍以文本和模拟环境为主论文覆盖了多个 benchmark包括具身任务、游戏任务、规划任务和问答任务但整体仍然是文本接口下的 Agent 评估。未来如果扩展到真实软件环境、多模态交互或长期真实用户场景还需要进一步验证。5. 真实应用中还需要考虑记忆安全长期记忆会保存用户或任务相关信息因此真实应用中还需要考虑隐私保护敏感信息过滤错误记忆纠正用户可控删除记忆过期机制。十八、我的理解和启发这篇论文给我的最大启发是长期记忆和短期记忆不应该是两个割裂模块而应该被统一看作 Agent 的可学习资源。很多 Agent 项目中记忆模块通常是这样设计的用户偏好存在长期记忆里当前对话保存在上下文里太长就总结需要时就检索检索结果拼进 prompt。这些设计能工作但通常比较分散。长期记忆的维护和短期上下文的控制往往不是同一个策略在统一决策。AgeMem 的思路则更进一步把这些操作全部工具化让 Agent 在任务过程中自己判断何时调用。对我自己做 Agent 项目来说有几点启发。1. 记忆操作可以统一成工具不管是长期记忆还是短期上下文本质上都可以设计成工具add_memoryupdate_memorydelete_memoryretrieve_memorysummarize_contextfilter_context这样做的好处是记忆管理可以和搜索、代码执行、网页浏览等工具调用统一起来。2. 长期记忆和短期记忆需要协同只做好长期记忆还不够。如果当前上下文里全是噪声即使长期记忆质量高也不一定能被正确使用。同样只做好短期上下文管理也不够。如果长期记忆没有存下关键事实后面再怎么召回也没有用。3. 记忆训练需要分阶段AgeMem 的三阶段训练很有启发先学会存长期记忆再学会在噪声下管理短期上下文最后学习联合推理。这比直接端到端训练所有能力更稳定。4. 工具调用次数不是越多越好从工具使用分析看RL 后 RETRIEVE 次数下降但整体效果更好。这说明好的 Agent 不是疯狂调用工具而是更准确地判断什么时候需要工具。5. 记忆系统评估不能只看最终准确率AgeMem 还评估了 Memory Quality 和 token 使用情况。这提醒我们评估 Agent 记忆系统时至少要看任务成功率记忆质量上下文效率工具调用行为是否能跨任务泛化。简单来说AgeMem 的价值在于把 Agent 记忆机制从“模块拼接”推进到了“统一策略学习”。十九、总结本文提出了Agentic Memory简称 AgeMem一个面向大模型 Agent 的统一记忆管理框架。它的核心思想是将长期记忆和短期记忆管理都融入 Agent 策略中并通过工具接口暴露给模型。Agent 可以自主决定什么时候添加、更新、删除长期记忆也可以决定什么时候召回、总结和过滤短期上下文。为了训练这种能力论文提出了三阶段渐进式强化学习策略第一阶段学习长期记忆构建第二阶段在干扰上下文中学习短期记忆控制第三阶段学习综合推理和统一记忆管理。同时论文设计了 step-wise GRPO用于缓解记忆操作带来的稀疏奖励和轨迹不连续问题。实验结果表明AgeMem 在 ALFWorld、SciWorld、PDDL、BabyAI 和 HotpotQA 五个 benchmark 上都取得了较好的表现并且在长期记忆质量和短期上下文效率方面也有提升。整体来看这篇论文的核心价值在于提出了一种新的视角长期记忆和短期记忆不应该被分开设计而应该成为 Agent 可学习、可调用、可统一优化的策略动作。对于 Agent 记忆机制研究来说AgeMem 是一个很值得关注的方向。它把记忆系统从“外部辅助模块”进一步推进为 Agent 自身决策能力的一部分。参考资料Yu Y, Yao L, Xie Y, et al. Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents. arXiv preprint, 2026.代码仓库https://github.com/y1y5/AgeMem
