大模型微调：LLaMA/GLM/通义千问实战培训课程-曙海培训中心

大模型微调：LLaMA/GLM/通义千问实战培训课程

•  

• 培训对象： AI算法工程师、大模型应用开发者、NLP从业者、希望定制私有大模型的技术人员。

•  

• 培训目标：

  • 理解大模型微调的原理和方法（全量微调/LoRA/P-Tuning）。

  • 掌握主流大模型（LLaMA、ChatGLM、通义千问）的本地部署。

  • 能够使用微调框架（LLaMA-Factory、Firefly）进行指令微调。

  • 具备微调数据准备和模型评估能力。

•  

• 培训内容介绍：

•  

  一、 大模型基础与微调概念： 了解预训练大模型的发展历程，理解微调（Fine-tuning）与上下文学习的区别。

  二、 参数高效微调技术： 深入LoRA、Adapter、P-Tuning、Prefix Tuning的原理，对比参数量和效果。

  三、 LLaMA系列模型介绍与部署： 了解LLaMA、Llama 2、Llama 3的模型特点，使用Transformers库加载和推理。

  四、 ChatGLM系列模型介绍与部署： 掌握ChatGLM2/3/4的模型结构，本地部署GLM模型并调用API。

  五、 通义千问模型介绍与部署： 了解通义千问系列（Qwen）的特点，使用ModelScope或HuggingFace加载模型。

  六、 微调数据准备与格式转换： 收集和清洗微调数据，转换为指令微调格式（Alpaca、ShareGPT），处理多轮对话。

  七、 LLaMA-Factory微调框架： 使用LLaMA-Factory统一管理模型和数据，配置LoRA微调参数，启动训练。

  八、 Firefly微调框架实战： 使用Firefly进行流式微调，支持多轮对话和工具调用数据的处理。

  九、 微调过程监控与调试： 监控训练损失变化，调整学习率和批次大小，处理过拟合和灾难性遗忘。

  十、 模型合并与导出： 将LoRA权重合并到基础模型，导出为HuggingFace格式或GGUF格式供量化部署。

  十一、 微调效果评估： 使用客观指标（困惑度）和主观评估（人工评测）对比微调前后的效果。

  十二、 实战项目：领域大模型微调： 针对特定领域（法律、医疗、金融）准备数据，微调大模型并部署测试。