Spark编程基础培训

第1章 大数据技术概述

1.1 大数据时代

1.2 大数据概念

1.3 大数据的影响

1.4 大数据关键技术

1.5 大数据计算模式

1.6 代表性大数据技术

第1章大数据技术概述单元测验

第2章 Scala语言基础

2.1 Scala语言概述

2.2 Scala基础知识

2.3 面向对象编程基础

2.4 函数式编程基础

第2章Scala语言基础单元测验

第3章 Spark的设计与运行原理

3.1 Spark概述

3.2 Spark生态系统

3.3 Spark运行架构

3.4 Spark的部署和应用方式

第3章 Spark的设计与运行原理单元测验

第4章 Spark环境搭建和使用方法

4.1 安装Spark

4.2 在spark-shell中运行代码

4.3 开发Spark独立应用程序

4.4 Spark集群环境搭建

4.5 在集群上运行Spark应用程序

第4章Spark环境搭建和使用方法单元测验

第5章 RDD编程

5.1 RDD编程基础

5.2键值对RDD

5.3 数据读写

5.4 综合案例

第5章 RDD编程单元测验

第6章 Spark SQL

6.1 Spark SQL简介

6.2 DataFrame

6.3 从RDD转换得到DataFrame

6.4 使用Spark SQL读写数据库

第6章 Spark SQL单元测验

第7章 Spark Streaming

7.1 流计算概述

7.2 Spark Streaming

7.3 DStream操作概述

7.4 基本输入源

7.5 高级数据源

7.6 转换操作

7.7 输出操作

7.8 Structured Streaming

第7章 Spark Streaming单元测验

第8章 Spark MLlib

8.1 Spark MLlib简介

8.2 机器学习流水线

8.3 特征抽取、转化和选择

8.4 分类与回归

第8章 Spark MLlib单元测验