文章指出RAG并未被大模型取代，反而进化为智能决策系统。传统RAG存在盲目检索问题，而新型RAG通过四层决策机制(路由判断、查询构造、策略选择、最小上下文生成)实现智能检索。混合检索(词法、语义、多模态)是解决企业复杂场景的关键，需对RAG系统进行分层评估而非仅看最终答案质量。正确实施RAG可大幅提升效率并降低成本。
最近一年，互联网上各种为RAG赛博哭坟的帖子不胜枚举。
所有内容总结一句话，其实还是那些陈词滥调：大模型上下文已经够长了，可以取代RAG了。
但果真如此吗？
要知道，上下文再大，本质还是一次性的记忆空间，全量加载token不仅浪费算力，大模型本身的注意力也是有限的，过长的上下文，只会导致上下文输出时模糊重点，反而导致质量下滑。
也是因此，RAG不但没死，还从单纯的语义检索进化成了先想清楚该不该检、检什么、怎么检的一套流程。但传统的RAG只能根据内容相似度做机械式检索，无法满足智能检索、混合检索的高级需求。
那么，要如何解决这个问题？本文将深入解答。
01
为什么传统的RAG与大模型上下文，无法带来输出质量提升？
无论是依赖大模型全量加载上下文，还是沿用传统RAG模式，最终都难以实现输出质量的稳定提升，核心症结在于两者均存在无法规避的底层检索质量问题，且这些问题在企业规模化落地场景中会被进一步放大。
（1）大模型全量加载上下文：成本和准确率成为问题
对于大规模知识库而言，若每次查询都全量加载上下文，token成本会呈线性增长。按照当前主流大模型的定价标准，月度token费用将成为企业落地的沉重负担；同时，全量加载带来的首次响应延迟，也会严重影响用户体验。
相比成本问题，准确率不足更是致命缺陷。《Lost in the Middle》研究数据明确显示，当目标信息位于上下文中段时，模型的检索准确率会显著低于信息位于开头或结尾的情况。尽管长上下文扩大了模型的记忆空间，但注意力机制的计算瓶颈并未突破，随着token数量的增加，超长文档中的信息定位成功率会持续下降。
（2）传统RAG的问题：盲目检索
传统RAG采用一刀切的固定流程：向量编码→ANN搜索→召回top-k→生成答案。
这种机械性流程会导致两个核心问题：
一是冗余检索，对于“2+2等于多少”这类常识性问题，本可直接生成答案，却仍需走完整检索流程，浪费算力与时间；
二是检索失效，面对复杂问题时，原始查询表达往往不够精确，容易导致检索效果下滑，同时同义词、多语言表达的匹配失败，也会直接造成召回率不足。
而解决以上两大问题，我们需要在检索层增加一个混合检索支撑起的决策机制。
02
新型RAG应该如何搭建
2023年的RAG大多采用的是一种盲目检索策略，每个查询都走同样的流程。但2025年的RAG已经变成条件决策系统。
系统通常会通过在四个关键节点的层层判断，实现检索资源的最优配置与输出质量的稳定提升。
节点1，IF：路由决策
这是决策机制的第一步，核心目标是过滤冗余检索需求。系统会先对用户查询进行分类：对于“2+2等于多少”这类常识性问题，直接调用大模型生成答案，无需检索；对于“产品技术规格”这类依赖知识库的问题，触发检索流程；对于“巴黎这周末天气”这类实时信息需求，则调用外部API获取数据。
这一层通常采用F1分数评估路由准确率，通过精准过滤，可大幅降低不必要的检索成本。
节点2，WHAT：查询构造
若路由决策判定需要检索，下一步则是将原始查询转化为最优检索条件。
例如，用户原始查询“LightOn的Q3报告主要数字”，会被拆解为结构化过滤条件：时间范围限定2025年7月1日至9月30日、文档类型为“报告”、所属部门为“财务”。
这一步的核心价值是提升检索精准度，其效果可通过查询改写前后的召回率差异进行评估。
节点3，WHERE & HOW：策略选择
第三步聚焦检索策略与目标集合的匹配：针对代码查询，选择词法检索；针对自然语言问答，选择语义检索；针对财务报表这类包含图表的文档，则采用多模态检索捕捉视觉与文本信息。
这一决策的实现，依赖于离线预计算的文档元数据——通过提前标注文档类型、语言、领域等信息，运行时可快速匹配最优检索策略与目标集合。
这一层需分别评估检索召回率与重排序质量，确保检索结果的相关性。
节点4，GENERATE：最小上下文生成
最后一步是基于重排序后的检索结果，提取最小且充分的上下文供大模型生成答案。
相比全量加载上下文，仅加载目标片段可使成本降低一个数量级，即使考虑缓存机制，效率优势仍十分明显。这一层的评估重点是答案对检索来源的准确引用，以及任务完成度，确保生成内容的可靠性与有效性。
需要强调的是，若仅评估最终答案质量，会导致问题定位失效。因为RAG系统的失败具有级联传播特性：若路由决策错误，后续所有环节都会偏离方向。因此，必须对每个决策节点进行独立评估，才能精准定位问题根源。
03
关键技术节点1：混合检索带来RAG效果提升
四层决策模型的第三层（词法、语义、多模态等策略选择）在落地时，经常会遇到架构挑战。
因为不同检索策略的适配场景存在明确边界，而企业文档场景的复杂性，决定了单一检索策略无法满足全面需求。
当然，也有人说Claude Code使用grep导航就搞定了问题，根本不需要复杂检索策略。但它的成功前提是代码具备高结构化、命名规范统一的特征，企业日常文档场景完全不同。
首先，企业自然语言文档存在普遍的同义词问题。在技术文档中，“优化内存使用”与“降低内存占用”表述不同但核心概念一致，若采用词法匹配的检索方式，只能命中其中一种表述；而在跨语言场景中，这一问题会进一步放大，中文分词、日文假名、德文复合词等不同语言特征，需要针对性的处理规则，单一检索策略无法全覆盖。
企业文档的第二个特征是包含大量视觉信息。工程图纸的空间布局、财务报表的表格结构、医疗影像的病灶特征，其核心语义依赖视觉逻辑。尽管OCR技术可提取文本信息，但无法理解视觉布局背后的关联关系，这就需要检索策略能够兼顾文本语义与视觉特征。
本质而言，不同内容类型对应不同的最优检索策略：代码查询适合词法检索，自然语言问答适合语义检索，多模态文档需要词法与语义检索的结合。
因此，混合检索是适配企业复杂场景的必选项，也是支撑智能决策机制的基础。
但如何做好混合检索并不容易。
传统方案是分离式架构：BM25检索和语义检索由不同系统负责，查询时需要分别调用再合并结果。这带来维护两套索引的存储成本和一致性保证问题，以及合并结果时的额外延迟。多语言场景让问题更复杂。
统一的混合检索架构可以解决这个问题。
Milvus 2.6在Collection层面同时支持稠密向量和稀疏向量，同一条文档记录既存储语义向量也存储BM25向量，查询时一次API调用就能返回融合结果。这个架构简化了第三层的实现复杂度，策略选择变成在同一个Collection内调整向量权重，不需要跨系统合并结果。
04
关键技术节点2:如何对RAG结果做评估
只评估最终答案质量是灾难性的。RAG系统失败时，问题可能出在路由判断、查询改写、检索召回、重排序、生成引用任何一个环节，但如果只看最终输出的答案对错，无法定位根因。
实际生产中的典型场景是用户反馈查询结果不准确。这个问题可能是路由层误判了查询类型，也可能是查询改写丢失了关键实体，还可能是检索策略选错了集合，或者重排序把正确文档排到了后面。
没有分层指标就只能盲目调参，改了一个地方可能把另一个地方做出新问题。
因此，我们需要在每一层需要独立的评估指标。
- 路由层看F1分数，假阴性率过高说明太多需要检索的查询被误判为直接生成。
- 查询改写层看实体识别准确率和同义词覆盖率。
- 检索层看Recall@K和NDCG@10，这两个指标分别反映召回能力和排序质量。
- 重排序层看top-3文档的相关性得分分布。
- 生成层看答案对召回文档的引用准确率。
此外，离线预计算的元数据在评估阶段同样重要。每个查询类型在验证集上的指标分布可以作为阈值参考，运行时如果某一层的指标低于历史正常范围，就触发告警。这种分层监控机制能在用户反馈之前发现问题。
05
写在最后
长上下文的成本问题短期内无法消失。RAG从盲目检索进化到条件决策系统，落地时需要注意几点：
先做路由判断。很多查询根本不需要检索，用简单的分类器过滤掉这些查询，检索压力立刻下降。
别维护两套系统做混合检索。Milvus 2.6在Collection层面统一存储稠密和稀疏向量，查询时一次调用就能拿到融合结果，多语言分词也是自动检测的。
每一层都要有独立指标。没有分层指标就只能盲目调参。路由层看F1分数，检索层看Recall@K，生成层看引用准确率。
RAG没有死，它从固定流程变成了智能决策。先从路由判断和混合检索开始，基础设施选对了，后面再扩展才不会推倒重来。
如何系统的学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
一直在更新，更多的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
01.大模型风口已至：月薪30K+的AI岗正在批量诞生
2025年大模型应用呈现爆发式增长，根据工信部最新数据：
国内大模型相关岗位缺口达47万
初级工程师平均薪资28K（数据来源：BOSS直聘报告）
70%企业存在"能用模型不会调优"的痛点
真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！
02.大模型 AI 学习和面试资料
1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工
📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
