在基准自检环节，VoxMem的研究者做了一个对比实验：把同一批对话，分别以完整音频和纯文字的形式输入模型。对于“说了什么”这类语义问题，完整音频的准确率是75.9%，纯文字是71.0%，差距不大。但对于“谁说的、用什么语气说的、背景有什么声音”这类必须依赖音频的问题，完整音频下准确率只有46.2%，纯文字版本则降到4.4%。这说明，模型并不是完全记不住对话，而是在很多情况下没有把声音本身的信息保留下来。
很多人会把这类现象归为“AI记性不好”。最近，墨尔本大学和新南威尔士大学的一项研究，用一套叫VoxMem的评测基准，给出了更具体的解释：当前的大型音频语言模型，主要记住了对话的文字内容，但对说话人身份、说话方式以及环境声音的记忆明显不足。而这些信息，在日常口语交流中很常见，也很难从文字里还原。
口语记忆，不只是文字和语音
通常人们会认为，语音对话就是先把语音转成文字，再交给语言模型处理。但真实的口语交互包含更多层面：说话人的身份体现在音色里，情绪和态度体现在语气、语速里，场景信息体现在背景音里。这些内容不会出现在转录文本中，却会影响对话的理解。比如同一句“我知道了”，用不耐烦和用肯定的语气说，意思并不一样。
另外，真实的对话往往分散在不同时间的多次会话中。今天聊旅行计划，明天聊行李清单，后天聊出发时间。长期记忆需要把这些分散的信息联系起来，并且对应到正确的人和语境。
此前的口语模型评测，大多没有同时考虑这些方面。有的用单段长音频测理解，有的用短对话测文本回复，对声学层面的记忆和跨会话的积累关注较少。VoxMem的核心是一个“声学证据×记忆操作”的二维框架，论文作者称，这是首个基于多会话历史的口语记忆基准。
第一个维度是“记什么”，也就是需要从历史对话中恢复的信息，分为四类：语音语义，即说话的文字内容，作为纯文本记忆的基线;说话人身份，即谁说了这句话;副语言线索，包括语气、语速、犹豫、笑声等说话方式;环境声音，即对话背景中的交通、家电、天气等非语音声音。后三类信息无法从转录文本中获得，主要依赖音频。
第二个维度是“怎么用”，也就是记忆需要完成的任务，对应四种能力：从单段对话中提取目标信息;把多段对话的证据整合起来推理;追踪一件事随时间的状态变化;在信息不足时拒绝回答，而不是编造答案。
整个基准包含超过3.4万个口语会话，总时长177小时，覆盖20个日常话题，并设置了8K到64K四档上下文长度。所有问题在不同长度的上下文中保持一致，只是周围增加更多干扰对话。这样可以区分性能下降是因为问题本身难，还是因为历史太长导致模型找不到答案。
模型记住了文字，却记不住声音
研究者测试了15个主流音频大模型，包括商用闭源模型和开源模型。在32K tokens的上下文长度下，约对应10分钟对话，没有一个模型的整体准确率超过40%，最好的模型为38.5%。商用模型平均33.0%，开源模型平均21.9%。这说明，较长的上下文窗口并不等于模型能可靠地找到并使用其中的信息。
更明显的问题出在声学记忆上。在32K下，商用模型对语音语义的平均准确率为55.6%，对说话人身份为32.7%，对副语言线索和环境声音分别为20.0%和21.9%。开源模型的情况类似，但每一项都更低，分别是：语音语义31.6%，说话人身份26.7%，副语言14.5%，环境声音15.5%。
更可能的情况是，当前的音频大模型在很大程度上仍以文本处理为主：声学信息往往只在输入阶段用于转写文字，转写完成后并没有被充分编码到长期记忆中。这也解释了为什么在语义问题上，给文字和给完整音频的效果接近;而在音频原生问题上，即便是完整音频输入，这次对照的准确率也只有46.2%，纯文字则降到4.4%。
研究详细分析了模型的错误类型，发现不同能力的失败原因并不一样。关于说话人身份的错误，很多是内容记住了但对应错了人，也就是把声音和内容绑错了对象，占近一半。副语言线索的错误则是另一种成因，约六成是检索失败，模型压根没把语气、语速这类线索取回来。环境声音的错误中，检索失败和凭空编造答案各占约四成。这些差异说明，不同维度的记忆短板并不相同，不是简单的“记忆力不足”。
还有一个值得注意的现象：模型在“不知道就说不知道”上的表现，和答题正确率并不一致。模型在副语言和环境声的题上更常拒绝作答，看起来谨慎，实则可能是能力不足。但这不一定是因为它能判断证据不足，更可能是它难以处理这些声学信息，因而选择放弃。
在所有测试维度中，跨会话的声学状态追踪表现最差。尤其是涉及声学信息的变化，比如追踪一个人语气的变化或背景环境的变化，准确率低至0.9%–3.7%。到了64K这一档，15个模型里只有10个还能完整跑通，而环境声音的准确率只剩0.9%。
目前常说的“小时级长音频理解”，很多仍属于单段录音理解，和跨会话对话记忆不是一回事。前者是在一整段音频中找答案，后者是把不同时间、不同主题、不同人的多段对话放在一起，要求模型定位、关联和整合。后者的难度更大，也更接近日常使用语音助手的场景。
写在最后
VoxMem这项工作的价值，主要在于把“口语记忆”拆解成可以系统评测的维度。它表明，好的口语记忆不只是能处理长音频，也不只是能记住文字内容，还需要保留声音中的多层信息，把分散的会话联系起来，追踪状态变化，并识别信息是否充分。对于未来的语音系统来说，这些方面可能比单纯扩大上下文长度更值得关注。