培训对象：适合具备Java/Scala/Python基础，希望系统掌握大数据处理核心技术、进入大数据开发领域的软件开发人员及数据工程师。
培训目标：完成本课程后，学员将能够深入理解Hadoop生态体系的核心组件与架构设计。熟练掌握HDFS分布式文件系统、MapReduce计算框架、Hive数据仓库、Spark/Flink实时计算框架的应用。具备独立搭建大数据集群、编写数据处理任务、实现离线与实时数据分析的能力。
培训内容：
（1）大数据技术概述：了解大数据的概念、特征（4V）与核心价值。掌握Hadoop生态体系的演进历程与核心组件（HDFS、MapReduce、YARN、Hive、HBase）。学习大数据处理的两种模式：离线批处理与实时流处理。
（2）Hadoop集群搭建：掌握Hadoop完全分布式集群的安装与配置。学习HDFS（NameNode/DataNode）与YARN（ResourceManager/NodeManager）的配置。实践完成Hadoop集群的启动与测试。
（3）HDFS原理与操作：深入理解HDFS的架构设计（NameNode元数据管理、DataNode数据存储）。掌握HDFS Shell命令行操作与Java API访问。学习HDFS的数据读写流程与副本机制。
（4）MapReduce编程：理解MapReduce的设计思想（分而治之、计算向数据移动）。掌握MapReduce编程模型（Mapper、Reducer、Driver）。实践完成词频统计、数据去重等经典案例。
（5）Hive数据仓库：掌握Hive的安装与配置，理解Hive与MySQL的元数据存储关系。学习HiveQL数据定义语言（DDL）与数据操作语言（DML）。掌握分区表、分桶表的创建与使用。
（6）Hive高级特性：学习Hive的自定义函数（UDF）开发。掌握Hive的查询优化策略（索引、谓词下推、MapJoin）。了解Hive on Spark的配置与性能对比。
（7）Spark基础：了解Spark与MapReduce的对比优势（内存计算、DAG执行引擎）。掌握Spark的架构组件（Driver、Executor）与运行模式（Local、Standalone、YARN）。
（8）Spark Core编程：掌握RDD（弹性分布式数据集）的创建、转换操作（Transformation）与行动操作（Action）。理解RDD的宽窄依赖与Stage划分。实践实现基于Spark的数据分析任务。
（9）Spark SQL：掌握DataFrame与Dataset API的使用。学习Spark SQL操作Hive数据的方法。实现结构化数据的查询与聚合分析。
（10）Spark Streaming理解微批处理流计算的概念，掌握DStream（离散流）的编程模型。学习使用Kafka与Spark Streaming集成，实现实时数据处理。了解Structured Streaming的改进。
（11）Flink基础：了解Flink作为新一代流处理框架的核心优势（低延迟、Exactly-Once语义）。掌握Flink的架构与基本编程模型（DataStream API）。实现简单的实时流计算任务。
（12）综合项目实战：完成一个完整的大数据处理项目（如电商用户行为日志分析）。涵盖数据采集（Flume/Kafka）、离线批处理（Spark/Hive）、实时计算（Spark Streaming/Flink）、结果存储（MySQL/Redis）的全流程。
