培训对象:
具备Python基础的AI应用开发工程师
希望构建企业知识库问答系统的技术负责人
需要解决大模型幻觉问题的算法工程师
智能客服/文档问答/企业搜索系统开发者
培训目标:
使学员系统掌握RAG(检索增强生成)技术的核心原理与完整开发流程,从基础架构到高级优化;熟练使用LangChain、LlamaIndex等主流框架构建RAG应用;深入理解文档加载、切片、嵌入、检索、重排序、生成的全链路设计与调优;掌握RAG系统评估方法与生产级部署策略;能够独立开发企业知识库问答、智能文档处理等生产级RAG应用,有效解决大模型幻觉问题,提升回答准确性与可解释性。
培训内容介绍:
RAG技术原理与企业应用价值
大模型的局限性:知识截止日期、幻觉问题、无法处理私有数据;RAG核心思想:检索+生成双阶段架构;RAG的技术演进:Naive RAG → Advanced RAG → Modular RAG;RAG vs 微调 vs 长上下文的技术选型对比;RAG在企业知识库、智能客服、文档分析等场景的应用价值。
RAG应用架构与技术栈全景
标准RAG架构详解:索引阶段(Indexing) + 检索阶段(Retrieval) + 生成阶段(Generation);RAG应用模块拆解:文档加载器、文本分割器、嵌入模型、向量数据库、检索器、提示模板、大模型;主流开发框架对比:LangChain vs LlamaIndex;RAG开发环境搭建与工具链配置。
文档加载与解析技术
多格式文档加载器:PDF(PyPDF/PyMuPDF/PDFPlumber)、Word(python-docx)、Excel(pandas/openpyxl)、PPT(python-pptx)、HTML(BeautifulSoup)、Markdown;复杂文档处理:表格提取、图片OCR(Tesseract/EasyOCR)、扫描件解析;网页抓取与处理:爬虫基础、HTML内容清洗;非结构化数据解析挑战与解决方案。
文本分割(Chunking)策略与优化
文本分割的核心挑战:保持语义完整性 vs 控制块大小;基础分割策略:按字符数/按段落/按递归字符;语义分割:基于句子边界、基于文档结构(Markdown标题/HTML标签);高级分割:基于Embedding的语义聚类;不同文档类型(代码/表格/长文)的最佳分割实践;块大小与重叠(Overlap)参数的实验调优。
嵌入模型(Embedding)与向量化
嵌入模型原理:将文本映射到语义向量空间;主流嵌入模型对比:OpenAI嵌入/BGE/M3E/GTE/text2vec;多语言嵌入模型选择(中文场景);嵌入模型的本地部署与微调;批量向量化与异步处理;嵌入缓存策略提升性能。
向量数据库选型与索引构建
向量数据库核心能力:相似性搜索、混合搜索、元数据过滤;主流向量数据库对比:FAISS(本地)/Chroma(轻量)/Milvus(分布式)/PGVector(PostgreSQL扩展)/Qdrant/Elasticsearch;向量索引类型:FLAT/IVF/HNSW;索引参数调优:查询速度与召回率的平衡;向量数据库的部署模式:嵌入式 vs 服务化。
检索策略与召回优化
基础检索:相似度检索(余弦相似度/欧氏距离/点积);混合检索:BM25全文检索+向量检索的加权融合;多路召回策略:从不同索引/不同字段并行召回;元数据过滤:基于文档来源/时间/类别的精准筛选;检索参数调优:召回数量(top-k)与相似度阈值设置;检索结果的多样性提升。
重排序(Re-ranking)技术
为什么需要重排序:向量检索的局限性;重排序模型原理:Cross-Encoder vs Bi-Encoder;主流重排序模型:Cohere Rerank/BGE Reranker;重排序在RAG流程中的位置:检索后、生成前;重排序效果评估与性能开销平衡;上下文窗口管理与重排序结果截断。
提示工程与查询优化
RAG场景下的提示词设计原则:上下文注入+任务指令+格式约束;多轮对话中的上下文管理;查询重写(Query Rewriting):原始问题的分解与扩展;查询路由:根据问题类型选择不同知识库;HyDE(Hypothetical Document Embeddings)技术:先生成假设文档再检索。
RAG系统评估与优化
RAG评估的挑战:生成质量+检索质量双重维度;RAG评估框架:RAGAS(Context Relevancy/Answer Faithfulness/Answer Relevance)、TruLens;检索质量指标:命中率(Hit Rate)/平均倒数排名(MRR)/归一化折损累积增益(NDCG);生成质量指标:忠实度/相关性/有用性;构建人工评估集与自动化测试流水线;RAG系统的持续优化闭环。
生产级RAG应用部署
高性能RAG架构设计:异步处理、缓存策略、并发控制;流式输出实现:Server-Sent Events(SSE)与WebSocket;RAG服务API封装(FastAPI);容器化部署(Docker + Kubernetes);向量数据库的高可用与备份;RAG系统的可观测性:链路追踪、指标监控、日志采集;成本优化策略:Token用量监控与缓存命中率提升。
综合实战:企业级知识库问答系统开发
从零构建一个完整的企业级RAG应用:
需求分析:企业内部文档/政策/产品资料的智能问答场景
文档处理流水线:支持多格式文档上传(PDF/Word/Excel),实现自动解析、智能分块、向量化存储
检索优化:实现混合检索(BM25+向量)+重排序,提升召回准确率
多轮对话设计:基于历史上下文的问题重写与意图保持
引用溯源:答案生成的同时返回参考文档来源,增强可信度
管理后台:知识库版本管理、问答效果监控、人工标注优化
效果评估:构建测试集,使用RAGAS评估系统性能
性能优化:引入Embedding缓存、并行检索、流式输出
部署上线:Docker容器化+K8s部署,配置监控告警
成果交付:可交互的企业知识库问答系统,支持多用户、多知识库隔离
课程特色:
原理深度:深入剖析RAG各环节的技术原理与设计哲学,不仅教“怎么做”,更教“为什么”
全链路覆盖:从文档加载、切片、嵌入、检索、重排序到生成,完整覆盖RAG全流程
实战驱动:基于真实企业文档数据,手把手构建生产级RAG应用
效果导向:强调评估与优化方法,确保RAG系统真正好用、可用
工程思维:融入生产环境部署考量,培养学员的工程化落地能力