Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Summary

这篇经典论文系统化提出了 RAG：把参数化记忆与显式的非参数记忆结合起来，通过检索相关文档辅助生成。它是理解传统 RAG 范式的重要基础，也正好构成 大模型 Wiki 知识库（LLM Wiki） 的主要对照对象。

Key Takeaways

• 论文把 RAG 描述为参数记忆 + 非参数记忆的结合。
• 非参数记忆以 Wikipedia 的 dense vector index 为代表。
• 作者强调 provenance 与知识更新是重要问题。
• RAG 在知识密集任务中，相比纯参数模型更有优势。

Key Excerpts

We explore a general-purpose fine-tuning recipe for retrieval-augmented generation (RAG).

models which combine pre-trained parametric and non-parametric memory for language generation.

providing provenance for their decisions and updating their world knowledge remain open research problems.

Notes

• 论文中的 provenance 与 knowledge updating 问题，恰好是 persistent wiki 路线试图从另一侧解决的点。