ARXIV 2687.29377 - ZERO-MEM

Một hệ thống trí nhớ Trí nhớ AI không tốn MỘT TOKEN NÀO cho AI agent, nào. Và nó vẫn thắng tất cả. Đây BÁCH KHOA HỒNG KÔNG không phải lưu thêm – mà là tìm lại đúng bằng chứng. AI agent càng hoạt sử trò chuyện càng phình to. Thứ thách thật sự không phải là lưu thêm, mà là tìm lại đúng mẫu bằng chứng – đúng người, đúng điểm – giữa hàng nghìn dòng cũ. Để làm được Hầu hết hệ thống này phải gọi thêm LLM để tóm tắt ký ức sắp xếp ký ức thời gian Giữ trình tự Turn – Phiên Ngữ cảnh phiên Đồ thị thực thể Lần theo quan hệ NER (spaCy) Dựng bóng PageRank Truy hồi Phân tầng thời gian Giữ trình tự Turn – Phiên Ngữ cảnh phiên AI nên lịch sử thành bản tóm tắt – gọn, nhưng mất dấu bằng chứng gốc. Hai: giữ nguyên dữ liệu thô rồi tìm kiếm – nhưng dễ nhầm giữa các phiên na ná nhau. Zero-Mem chọn hướng thứ ba. Ý tưởng gốc: loại bỏ hoàn toàn AI khỏi mọi bước trí nhớ, chỉ giữ AI đúng một chỗ – lúc trả lời câu hỏi cuối cùng. Bí Hai cấu trúc, không token Đồ thị thực thể Lần theo quan hệ NER (spaCy) Dựng bóng PageRank Truy hồi Phân tầng thời gian Giữ trình tự Turn – Phiên Ngữ cảnh phiên quyết nằm ở hai cách nhìn cùng một dữ liệu. Một đồ thị thực thể ghi lại ai xuất hiện cùng ai, để lần theo quan hệ. Một cây phân tầng theo thời gian giữ đúng trình tự và ngữ cảnh từng phiên. dựng bằng công cụ thường, không cần AI. Đường đi của một câu hỏi Đọc câu hỏi Chọn ưu tiên: quan hệ hay thời gian Lấy từ 2 góc nhìn Đồ thị - phân tầng, không gọi AI Ghi chú: Mọi thao tác trí nhớ – dựng, sắp xếp, tìm, lọc – đều không gọi AI và không tốn token. Chỉ bước trả lời cuối mới dùng đến LLM. LLM trả lời Lần gọi AI duy nhất Biến mọi nội dung thành video trong vài phút. Link, chủ đề, file hay video - ainius dựng video cho bạn. Bắt đầu miễn phí tại ainius.net ainius.net Zero-Mem: Zero-Token Memory Operations for LLM Agents Yilin Xiao, Zhehan Zhu, Yujing Zhang, Jin Chen, Zijin Hong, Luyao Zhuan, Qinggang Zhang, Shengyuan Chen, Xiaocao Ouyang, Lingfei Ren, Xiao Hua *The Hong Kong Polytechnic University, Hong Kong SAR School of Computing and Artificial Intelligence Southwestern University of Finance and Economics School of Artificial Intelligence, Jilin University yilin.xiao@connect.polyu.hk 42436006@mail.swufe.edu.cn renlf@swufe.edu.cn xiao.huang@polyu.edu.hk Abstract LLM agents need memory to act consistently over long in- teractions, yet many systems use additional LLM calls to operate that memory. Generating intermediate records and their retrieval adds recurring token and time costs, while omitted or merged details can obscure the original ev- idence. We ask whether structured memory access requires generation at all. Zero-Mem introduces zero-token memory operations: no step outside final question answering invokes an LLM or consumes LLM input or output tokens; encoder computation is accounted for separately. Zero-Mem preserves original interaction traces as its source of record. It organizes the traces in two complementary ways. An entity-context graph exposes connections across interactions, while a tem- poral hierarchy preserves conversational locality and session state. For each query, Zero-Mem weighs the two views, re- trieves from both, and follows their structure to recover sup- porting relations or surrounding context. Deterministic cal- ibration first discovers evidence and then keeps the reader's answer grounded in the retrieved traces. Only the final-QA reader invokes an LLM. Across long-memory regimes, comparative performance while eliminating LLM and LLM token consumption from memory operations, the same final-QA reader and context budget, it reduces operation cost by 57.6% relative to the fastest retrieval baseline. Ablations support the contribution of the two views and their query-dependent coordination. Overall, we show that structured agent memory need not gen- erate intermediate representation of the past. After peer review, code and implementation details will be available at https://github.com/TheMoon0815/Zero-mem. Introduction LLM (LLM) agents increasingly operate interactions, accumulating utterances, actions, and task outcomes (Luo et al. 2025; Du et al. 2025). Their reliability therefore depends on reasoning over the current input, but also on the right evidence from a growing interaction memory system must preserve information across while preventing irrelevant or outdated traces from the current decision. The central challenge is merely how to store more context, but how to provide associated with the correct entity, session, and temporal state when it becomes relevant (Yan et al. 2025b; Hu et al. 2026b; Yang et al. 2026; Wu et al. 2025). Language models have been used to sur- reflect on experience, construct hierarchical maps and graph indexes, and generate or evolve links (Zhang et al. 2024; Salama et al. 2025; Zhang et al. 2025a). These transformations make LLM histories easier to access, but they also turn mem- ory into a recurring generative workload. When abstractions mediate later retrieval, omitted details, subjects, or blurred temporal updates may weak- ly to the original interaction. The opposite may retain the complete history and retrieve direct traces (Yan et al. 2025; Xu, Szlam, and Wehbe). Though this preserves source evidence, flat lexical retrieval can confuse semantically similar traces, ferent users, sessions, or temporal states, and mis- supporting evidence is distributed across manip- tions. Effective memory therefore requires fidel- tion and structured, query-conditioned evidence. Figure 1: Comparison of different agent-memory regimes. Generative memory relies on LLM gen- erations, while raw retrieval searches unstrue- tured and may miss distributed evidence. Zero-Mem- lational and temporal memory structures and re- memory operations with zero LLM calls or token- nal QA invokes an LLM. LoComo - F1 trung bình (GPT-4o- mini) Zero-Mem 59.15 GAM 53.75 CompassMem 52.18 SimpleMem 48.02 Kết quả thì sao? Trên bộ đánh giá trí nhớ hội thoại LoComo, Zero-Mem đạt F1 trung bình 59.15 cao nhất trong mọi hệ thống. Vượt mạnh nhất, hơn 5 điểm trung bình. Không tốn token nào cho trí nhớ, mà vẫn chính xác hơn. Nhưng con số gây sốc nhất không nằm ở độ chính xác. Nó nằm ở chi phí. Và đây mới là phần khiến giới nghiên cứu chú ý. Cùng Chi phí vận hành trí nhớ 0 Token cho vận hành trí nhớ 0.22s Thời gian mỗi truy vấn 57.6% Nhanh hơn baseline nhanh nhất so với hệ thống nhanh nhất trước đó, mà điểm số còn cao hơn. Đạt Cả ngành sinh bộ nhớ bằng LLM, vào bối cảnh: hai năm qua, bộ nhớ cho agent thường do LLM sinh ra – Memo, Zep đều đi theo hướng đó. Năm 2026, LightMem và SimpleMem bắt đầu cắt bớt token, nhưng vẫn chưa bỏ hẳn. Zero-Mem: vế số 0 Bộ phận LLM sinh; bộ nhớ 0 token, truy vấn về hội thoại gốc Zero-Mem đi xa nhất: đưa mọi thao tác bộ nhớ về đúng không token. Bài học lớn hơn: trí nhớ hiệu quả không cần AI sinh ra bản tóm tắt của quá khứ. Giữ nguyên bằng chứng gốc, tổ chức bằng quan hệ và thời gian là đủ. Bộ một góc nhìn, điểm số rơi mạnh – hai cấu trúc bổ sung nhau. Giữ nguyên hay Tóm tắt? Biến mọi nội dung thành video trong vài phút. Link, chủ đề, file hay video - ainius dựng video cho bạn. Bắt đầu miễn phí tại ainius.net ainius.net Trí nhớ hiệu quả không cần AI sinh ra bản tóm tắt của quá khứ. Giữ nguyên bằng chứng gốc, tổ chức bằng quan hệ và thời gian là đủ. Bộ một góc nhìn, điểm số rơi mạnh – hai cấu trúc bổ sung nhau. Giữ nguyên hay Tóm tắt? Biến mọi nội dung thành video trong vài phút. Link, chủ đề, file hay video - ainius dựng video cho bạn. Bắt đầu miễn phí tại ainius.net ainius.net