培训对象: 测试工程师、算法测试人员、AI质检人员、数据科学家、AI产品经理。
培训目标:
理解AI测试特殊性: 深刻认知AI系统(特别是机器学习)与传统软件在测试上的本质差异,掌握AI测试的核心挑战(如不可解释性、非确定性、数据依赖性)。
掌握数据质量评估: 学会评估训练数据、验证数据、测试数据的质量,识别数据偏差(Bias)对模型的影响。
精通模型性能度量: 熟练运用混淆矩阵、准确率、召回率、F1-score、AUC等指标评估模型功能性能,并理解其局限性。
实践AI专项测试技术: 掌握蜕变测试、对抗性测试、A/B测试、后向测试等适用于AI系统的专项测试方法。
培训内容介绍:
一、AI系统测试概述: AI系统的典型架构(数据管道+模型+应用层),AI测试的独特性(测试预言难题、不确定性、持续演化)。
二、AI系统的质量特性: 深入解析AI系统特有的质量维度,包括:自适应性、自治性、演进性、公平性(Bias)、可解释性、透明性、安全性。
三、机器学习基础与流程: 机器学习的主要形式(监督、无监督、强化学习),ML工作流全解析:数据准备、模型训练、验证、部署。
四、数据质量测试与验证: 数据完整性、一致性、准确性测试;数据标注质量检查;训练集/验证集/测试集的分布一致性验证;数据漂移检测。
五、ML功能性能度量体系: 混淆矩阵深度解读;分类任务指标(精确率、召回率、F1、ROC/AUC);回归任务指标(MSE、MAE、R²);聚类任务指标。
六、神经网络的测试覆盖: 神经元覆盖率、阈值覆盖率、符号覆盖率等新型覆盖准则,及其在评估测试充分性中的作用。
七、AI系统测试技术(一)- 蜕变测试: 解决测试预言难题的核心技术。定义蜕变关系,通过输入变化与输出变化的一致性来验证模型,实战案例演练。
八、AI系统测试技术(二)- 对抗性测试与鲁棒性: 对抗性攻击原理(快速梯度符号法FGSM等),生成对抗样本测试模型的鲁棒性;数据投毒攻击与防御。
九、AI系统测试技术(三)- A/B测试与实验设计: 线上A/B测试的设计与评估方法,统计显著性分析,模型渐进式发布策略。
十、AI系统测试技术(四)- 后向测试与回滚验证: 用旧版本数据验证新模型,确保模型更新不引入退化。
十一、AI系统的非功能性测试: AI系统的性能测试(推理延迟、吞吐量),可解释性测试(SHAP/LIME值验证),公平性测试(群体偏差检测)。
十二、AI测试环境与自动化: 搭建可复现的AI测试环境,构建AI模型的CI/CD/CT流水线(MLOps中的测试环节)。