@agi.2027 — 3x breakout selling SAG

@agi.2027 — 3x breakout selling SAG | Overshot

On-screen text

Zleap AI / SAG Code Issues Pull requests Agents Actions Projects Security and quality Insights SAG Public Watch Fork Star About An document retrieval project built on SAG 一个基于 SAG 技术的文档检索项目 agent ai data-engineering knowledge-graph knowledge-base sag reg vector-search knowledge-graphs fire graphrag README MIT license Activity Custom properties 1.6K stars 0 watching Đây có thể là một lựa chọn mới để xây dựng kho tri thức RAG 传统RAG 上传文档切片向量化存进向量库检索召回生成结果 AI từng triển khai dự án RAG thực tế đều biết Truyền thống RAG truyền thống có nhược điểm lớn nhất là suy luận liên tài liệu còn yếu nội dung truy xuất thì rời rạc còn GraphRAG 而跨文档推理能力弱 việc xây dựng sẵn một đồ thị tri thức khổng lồ chi phí cập nhật rất cao LLM Wiki 事先建立知识图谱 Kể cả phương án RAG đang rất hot đây 文档-Wiki词条知识扁平 do cựu nhà khoa học OpenAI Karpathy đề xuất LLM Wiki, về bản chất, cũng là dùng LLM như một công cụ tìm kiếm biến tài liệu thành các mục từ wiki tri thức vẫn mang tính phẳng khi câu hỏi phức tạp hơn thì cũng bị đuối con dự án mã nguồn mở SAG này đưa ra một hướng đi mới: lưu trữ theo sự kiện lưu trữ truy vấn theo đồ thị, 谱化 Nghĩa là sao? Nó không xây đồ thị ngay từ đầu tách mỗi khối văn bản thành một sự kiện ngữ nghĩa hoàn chỉnh đồng thời trích xuất nhân vật, 维度的实体 (1) Upload(offline) Corpus Extract One-to-One Correspondence Many-to-Many Hyperedge Storage SQL Vector Chunk k Event k (2) Search(online) LLM Query Entity recall SQL recall event Entity Event set Event recall Similarity score > 0.9 Event set Similarity Threshold Filtering Top-100 Event 1 Event 2 Event 100 LLM Top-5 Chunk 1 Chunk 2 Chunk 5 Embedding Top-5 Concat Chunk 1 Chunk 2 Chunk 10 Query Event Join Event set SQL Entity Event địa điểm và các thực thể đa chiều khác để làm chỉ mục truy vấn Khi truy vấn, nó dùng cơ chế truy xuất động để kích hoạt đồ thị liên quan tức là tra đến đâu xây đến đó, 零成本 cập nhật tăng dần, gần như không tốn chi phí Cách này vừa giải quyết được vấn đề suy luận liên tài liệu yếu của kho tri thức truyền thống vừa giải quyết bài toán GraphRAG phải xây sẵn một đồ thị tri thức lớn và tốn kém khi cập nhật SAG Benchmark 同配置下, SAG 弱参照 HippoRAG 2 SOTA SAG HippoRAG 2 Average Recall@2 +16.4% SAG 79.30% Hippo 68.14% Average Recall@5 +5.9% SAG 88.18% Hippo 83.28% 最佳图集 MuSiQue: 提升更明显 MuSiQue Recall@2 +29.3% SAG 64.05% Hippo 49.52% MuSiQue Recall@5 +22.9% SAG 80.04% Hippo 65.13% Cách này vừa giải quyết được vấn đề suy luận liên tài liệu yếu của kho tri thức truyền thống vừa giải quyết bài toán GraphRAG phải xây sẵn một đồ thị tri thức lớn và tốn kém khi cập nhật local candidate space around the current query without prior enumeration, and to be deterministically expanded across multiple hops via SQL joins; (3) we systematically evaluate SAG on three multi-hop benchmarks and, through ablation studies, isolate the respective contributions of event-level semantic preservation, dynamic expansion, LLM usage patterns, and candidate budget; (4) we have deployed SAG in a production environment at a scale of hundreds of millions of records, demonstrating the engineering feasibility of this framework under continuous incremental writes and online cost constraints. 总结来说,这篇论文的主要贡献包括: (1) 我们提出了 SAG 这一结构化文档检索架构,该架构用物品-实体-实例索引替代了传统的高级静态图结构,并以 SQL 驱动的检索为核心。它整合了结构化过滤、语义扩展以及 LLM 精细排序三种功能,将这些功能集成到一个统一的流程中; (2) 我们设计了一种在查询时动态调整链接组件的机制,使得高级关系可以在当前查询的局部候选空间中被动态激活,而无需进行预先收集。同时,这些关系可以通过 SQL 连接在多个次被驱动扩展。 (3) 我们在三个多跳测试场景中对 SAG 进行了系统评估,并通过消融研究,分别分析了事件级语义保留、动态扩展、LLM 使用模式以及被选集规模等因素对检索效果的影响; (4) 我们已经在包含数亿条记录的大规模生产环境中部署了 SAG 系统。证明在持续不断的增量写入操作以及在线成本限制条件下,该框架的工程可行性。 2 Related Work 2. 相关研究工作 2.1 Retrieval-Augmented Generation 2.1 基于检索增强的生成技术 Retrieval-Augmented Generation (RAG) connects LLMs to external knowledge by recasting knowledge access as a như kỹ thuật số nhận biết cấu trúc đấy sáng tạo nó đã chạy được trong môi trường sản xuất quy mô hàng trăm triệu có lẽ thế RAG tiếp theo sẽ không còn chỉ là truy xuất mà là suy luận quan hệ thật sự như bài báo nghiên cứu, kỹ thuật số nhận biết cấu trúc đấy sáng tạo nó đã chạy được trong môi trường sản xuất quy mô hàng trăm triệu có lẽ thế RAG tiếp theo sẽ không còn chỉ là truy xuất mà là suy luận quan hệ thật sự

Transcript

Đây có thể là một lựa chọn mới để xây dựng kho tri thức RAG Truyền thống RAG AI từng triển khai dự án RAG thực tế đều biết Truyền thống RAG truyền thống có nhược điểm lớn nhất là suy luận liên tài liệu còn yếu nội dung truy xuất thì rời rạc còn GraphRAG 而跨文档推理能力弱 việc xây dựng sẵn một đồ thị tri thức khổng lồ chi phí cập nhật rất cao LLM Wiki 事先建立知识图谱 Kể cả phương án RAG đang rất hot đây 文档-Wiki词条知识扁平 do cựu nhà khoa học OpenAI Karpathy đề xuất LLM Wiki, về bản chất, cũng là dùng LLM như một công cụ tìm kiếm biến tài liệu thành các mục từ wiki tri thức vẫn mang tính phẳng khi câu hỏi phức tạp hơn thì cũng bị đuối con dự án mã nguồn mở SAG này đưa ra một hướng đi mới: lưu trữ theo sự kiện lưu trữ truy vấn theo đồ thị, 谱化 Nghĩa là sao? Nó không xây đồ thị ngay từ đầu tách mỗi khối văn bản thành một sự kiện ngữ nghĩa hoàn chỉnh đồng thời trích xuất nhân vật, 维度的实体 (1) Upload(offline) Corpus Extract One-to-One Correspondence Many-to-Many Hyperedge Storage SQL Vector Chunk k Event k (2) Search(online) LLM Query Entity recall SQL recall event Entity Event set Event recall Similarity score > 0.9 Event set Similarity Threshold Filtering Top-100 Event 1 Event 2 Event 100 LLM Top-5 Chunk 1 Chunk 2 Chunk 5 Embedding Top-5 Concat Chunk 1 Chunk 2 Chunk 10 Query Event Join Event set SQL Entity Event địa điểm và các thực thể đa chiều khác để làm chỉ mục truy vấn Khi truy vấn, nó dùng cơ chế truy xuất động để kích hoạt đồ thị liên quan tức là tra đến đâu xây đến đó, 零成本 cập nhật tăng dần, gần như không tốn chi phí Cách này vừa giải quyết được vấn đề suy luận liên tài liệu yếu của kho tri thức truyền thống vừa giải quyết bài toán GraphRAG phải xây sẵn một đồ thị tri thức lớn và tốn kém khi cập nhật SAG Benchmark 同配置下, SAG 弱参照 HippoRAG 2 SOTA SAG HippoRAG 2 Average Recall@2 +16.4% SAG 79.30% Hippo 68.14% Average Recall@5 +5.9% SAG 88.18% Hippo 83.28% 最佳图集 MuSiQue: 提升更明显 MuSiQue Recall@2 +29.3% SAG 64.05% Hippo 49.52% MuSiQue Recall@5 +22.9% SAG 80.04% Hippo 65.13% Cách này vừa giải quyết được vấn đề suy luận liên tài liệu yếu của kho tri thức truyền thống vừa giải quyết bài toán GraphRAG phải xây sẵn một đồ thị tri thức lớn và tốn kém khi cập nhật local candidate space around the current query without prior enumeration, and to be deterministically expanded across multiple hops via SQL joins; (3) we systematically evaluate SAG on three multi-hop benchmarks and, through ablation studies, isolate the respective contributions of event-level semantic preservation, dynamic expansion, LLM usage patterns, and candidate budget; (4) we have deployed SAG in a production environment at a scale of hundreds of millions of records, demonstrating the engineering feasibility of this framework under continuous incremental writes and online cost constraints. 总结来说,这篇论文的主要贡献包括: (1) 我们提出了 SAG 这一结构化文档检索架构,该架构用物品-实体-实例索引替代了传统的高级静态图结构,并以 SQL 驱动的检索为核心。它整合了结构化过滤、语义扩展以及 LLM 精细排序三种功能,将这些功能集成到一个统一的流程中; (2) 我们设计了一种在查询时动态调整链接组件的机制,使得高级关系可以在当前查询的局部候选空间中被动态激活,而无需进行预先收集。同时,这些关系可以通过 SQL 连接在多个次被驱动扩展。 (3) 我们在三个多跳测试场景中对 SAG 进行了系统评估,并通过消融研究,分别分析了事件级语义保留、动态扩展、LLM 使用模式以及被选集规模等因素对检索效果的影响; (4) 我们已经在包含数亿条记录的大规模生产环境中部署了 SAG 系统。证明在持续不断的增量写入操作以及在线成本限制条件下,该框架的工程可行性。 2 Related Work 2. 相关研究工作 2.1 Retrieval-Augmented Generation 2.1 基于检索增强的生成技术 Retrieval-Augmented Generation (RAG) connects LLMs to external knowledge by recasting knowledge access as a như kỹ thuật số nhận biết cấu trúc đấy sáng tạo nó đã chạy được trong môi trường sản xuất quy mô hàng trăm triệu có lẽ thế RAG tiếp theo sẽ không còn chỉ là truy xuất mà là suy luận quan hệ thật sự như bài báo nghiên cứu, kỹ thuật số nhận biết cấu trúc đấy sáng tạo nó đã chạy được trong môi trường sản xuất quy mô hàng trăm triệu có lẽ thế RAG tiếp theo sẽ không còn chỉ là truy xuất mà là suy luận quan hệ thật sự

Đây có thể là một lựa chọn mới để xây dựng kho tri thức RAG

Promoted product

Why it worked

Summary

Structure

Original caption

More from @agi.2027

Product placement

On-screen text