1.知识库问答作为一个独立需求即将被证伪,因为召回文本片段再总结回答只能覆盖很少一部分场景。
用户对于信息获取的需求是多种多样的——有的需要对整个知识库进行总结分析,有的需要对知识库中特定一篇文档进行分析,有的需要获取结构化的数据进行分析,有的需要对内部系统接口返回的数据进行分析。
狭义的RAG最终只会变成Agent获取信息的一种方式,而不是“知识问答”的全部。意图识别、任务分发,以及作为工具能力的NL2SQL、function call、外网检索对于解决用户综合的“知识问答”需求都十分重要。
2.企业级Agent核心解决的应该是:企业内部目前松连接的人、技术工具、信息资源的连接。
为什么强调松连接?因为紧连接的人、技术工具、信息资源已经被传统IT应用很好地覆盖了(比如长期稳定的业务系统),大模型不能提供任何增量价值。
从信息资源角度来看:Agent需要能够接入并处理多种数据(从模态意义上的多种数据类型、从结构化/非结构化意义上的多种数据类型);
从技术工具的角度来看:Agent需要能够连接各种技术工具(数据库、系统接口、搜索引擎etc.),Agent自己也需要具备抽象为技术工具的能力,不只是能灵活地调用已有系统,而是也能够灵活地、模块化地被现有系统调用;
从人的角度来看:首先,如何定义Agent与人的协作关系?哪些节点必须人工介入而又不对人造成干扰?其次,Agent需要解决企业内部复杂的权限问题
对于跨部门、跨团队的场景,创建好的Agent如何实现同权限体系下的共享?如何在Agent灵活协作的同时确保部门级、个人级私域数据的安全?
3.提示词的潜力还远未被发挥出来,应该像管理代码一样管理提示词资产。
提示词也有冗长、粗暴但恰好能完成任务的提示词“屎山”(非常不稳定),和优雅、严谨、稳定性强的高质量提示词的区别。
基于最近的实践,我觉得最实用的提示词模板是:角色、背景、任务、要求。思维链和示例都可以加入其中。
篇幅有限,就不一一展示了