Dify搭建企业级知识库

1. 项目介绍

• 项目背景： 公司海外销售团队会定期给甲方写标书，积累了很多专有知识文件，文件内容涉及：公司介绍、财务报表、产品说明书、运维手册、环境保护与人文等，但这些文件都没有归档到知识库，导致应标团队换人之后，需要花至少3个月的时间让一个新人掌握应标的流程，效率低下，且回答甲方问题的答案质量，随着经验不同，回答的质量和准确性都不同，影响中标率，故需要一个系统来规范和提效。
• 项目目标： 建立企业级知识库；规范化应标流程；答标效率提升100%；AI 问题回答准备率提高到 80% 以上
• 项目时间： 2024 年 3 月 - 2024 年 9 月
• 项目地址： 企业内项目，没有公开地址

2. 项目方案

• 整体思路： 先用 AI 跑通业务流程，再逐步搭建企业级知识库
• 产品迭代： demo -> MVP -> 产品化1.0

2.1 demo

• 方案简述： dify + 飞书集成 + 飞书多维表
• 方案说明： dify 是一个开源LLM + RAG 项目，解决了知识库文件上传和知识萃取的问题，并封装好了 API，大大提升了 demo 的开发效率；飞书集成是一个低代码平台，快速调取 dify 的 API和连接飞书多维表，快速完成批量AI回答，完成基本业务流程 demo
• 方案结果： AI 回答率 40%，准确率 70%；但考虑到是 demo，且问答对没有经过人工调优，能接受这个结果。

2.2 MVP

• 用户反馈： 业务方使用时反馈回答问题后，需要提供原始文件，因为甲方除了问题回答，还需要附上证明文件；且答案准确率需要优化。
• 方案优化： 将飞书多维表改为飞书机器人，让业务方在飞书群里就能咨询机器人，而不是到多维表，这样不打破业务原本的业务流程；同时，飞书回答后，附上答案的文件链接，能让需求方点击就能下载文件。 同时，通过 python 脚本将产品的关键词优化到问题标题中，提高问题的匹配度，提升回答率。
• 方案结果： 销售团队AI使用覆盖率超过 50%；AI 回答率超过 80%

2.3 产品化 1.0

• 用户反馈： 有的用户知道文件在哪里，只是不方便查询，因为很多是 PDF 文件；同时，因为很多产品参数在PDM（Product Data Management）系统中，导致 AI 回答不上来。
• 方案优化： 使用melisearch 建立文件搜索引擎，同时优化 PDF 文件的解析逻辑，提高文字提取的完整性；同时，建立知识库与内部系统的连接器，方便动态更新 dify 知识库的问答对，解决知识的时效性问题
• 方案结果： AI 回答率和准确率均超过 80%，且建立了通用了企业知识库管理框架，还做了权限分级，提升了知识的安全性

3. 交付成果

1. 企业级知识库 + RAG + 文件搜索引擎
2. AI 回答率与准确率均超过80%
3. 减少销售对答标专家的依赖，答标效率提升80%

4. 总结&反思

1. 尽早交付产品，收集用户反馈；
2. 倾听用户诉求，每次只做对用户最重要的特性；
3. 做好数据埋点，数据分析并提高产品各项指标
4. 重复 1-3