数据架构师、数据工程师、大数据平台开发人员、数据产品经理、CDO及数据团队骨干。
掌握数据中台的核心方法论和建设路径,能够独立完成数据中台的架构设计、技术选型和落地实施,理解数据中台如何赋能前台业务,实现数据资产化、服务化和价值化。
一、数据中台概念辨析:数据中台的起源与发展,数据中台与数据仓库、数据湖的区别与联系,数据中台的核心价值(复用、共享、赋能)。
二、数据中台架构全景:数据采集层、数据存储层、数据计算层、数据服务层、数据运营层的分层架构,各层功能定位与技术选型。
三、数据汇聚与采集:多源异构数据接入(业务库、日志、埋点、物联网),实时采集与批量采集技术选型,数据同步工具(Canal、DataX、Flume)应用。
四、数据建模与开发:数据模型分层设计(ODS、DWD、DWS、ADS),维度建模方法论,数仓开发规范,ETL/ELT流程设计。
五、数据资产体系建设:数据资产目录构建,元数据采集与管理,数据血缘追踪,数据质量监控体系设计。
六、数据服务能力建设:数据服务化封装方法,API网关设计,数据服务目录,服务等级协议(SLA)保障。
七、数据开发平台建设:一站式数据开发IDE,任务调度系统(DolphinScheduler、Airflow),数据运维监控,版本控制与CI/CD。
八、主数据管理(MDM):主数据识别与定义,主数据管理系统建设,主数据分发与共享机制,与数据中台的协同。
九、数据安全管理:数据分级分类,数据加密与脱敏,权限管控模型(RBAC),数据审计与追溯。
十、数据中台运营体系:数据资产运营机制,数据质量考核,数据价值评估,数据文化培育。
十一、数据中台与业务赋能:数据服务化支撑业务创新,数据分析与BI报表,数据产品化路径(用户画像、标签平台)。
十二、建设案例与实战:互联网、制造、零售等行业数据中台建设案例,建设过程复盘,经验教训总结。