大数据开发工程师培训-曙海培训

培训班介绍

• 大数据开发工程师培训大纲

  培训对象

  • 希望进入大数据领域的Java/Python开发工程师

  • 从事数据平台建设、数据仓库开发的IT人员

  • 高校计算机、软件工程等专业的教师和学生

  培训目标

  通过本课程的系统学习，使学员全面掌握Hadoop/Spark生态体系的核心技术，具备大数据平台搭建、数据采集、离线/实时计算、数据仓库建模等能力，能够独立完成大数据应用开发。

  培训内容

  1. 大数据技术生态概述：介绍Hadoop生态系统组件、Lambda架构与Kappa架构-4。

  2.  

  3. Hadoop HDFS分布式文件系统：学习HDFS架构、读写原理与高可用配置。

  4.  

  5. MapReduce分布式计算框架：掌握MapReduce编程模型、Shuffle过程优化。

  6.  

  7. Hive数据仓库：学习Hive表操作、分区与分桶、HQL优化技巧。

  8.  

  9. Flume数据采集：掌握Flume架构、Source/Channel/Sink配置、自定义拦截器。

  10.  

  11. Kafka分布式消息队列：学习Kafka架构、生产者/消费者API、Exactly-Once语义保证。

  12.  

  13. ZooKeeper分布式协调：理解Paxos/Zab协议，掌握分布式锁实现方法-4。

  14.  

  15. Spark Core核心编程：系统学习RDD算子、宽窄依赖、任务调度机制。

  16.  

  17. Spark SQL结构化数据处理：掌握DataFrame/Dataset API、Spark与Hive集成。

  18.  

  19. Spark Streaming实时计算：学习微批处理原理、有状态计算、窗口操作。

  20.  

  21. 数据湖技术：介绍Delta Lake、Hudi、Iceberg等技术原理与应用场景。

  22.  

  23. 综合项目实战：电商用户行为分析平台：完成从数据采集、实时计算到报表展示的完整大数据项目开发-6。

  
  

  
  
  

  ---
• 联系曙海客服