课程大纲：

Apache Kafka 基础入门培训

课程以 Java 代码实战的方式学习 Kafka。

包括 Kafka 的安装配置、Producer API 的使用、

Consumer API 的使用以及与第三方框架 Flume、Spark Streaming 的集成开发。

1 MQ 消息系统的概念

2 Zookeeper 和 Kafka 的关系

3 使用 Java 调用 Kafka topic 相关 API

4 Producer 入门开发

5 Consumer 入门开发

6 Kafka 整合 Flume

7 Kafka 发送接收非结构化数据实战

8 Kafka 消息系统的基本架构

9 使用 shell 命令修改和删除 topic

10 查看 Kafka 中消息的存储位置

11 Producer 进阶开发

12 Consumer 进阶开发

13 Kafka 发送接收结构化数据实战

14 Spark 2.0 读取 Kafka 数据实战

1
Kafka

1.了解MQ消息系统的概念

2.理解Kafka消息系统的基本架构

3.安装单机版Kafka集群

4.使用Shell命令创建Topic

5.使用Consumer、Producer发送和接收消息

2
理解 Kafka 集群

1.理解Zookeeper和Kafka的关系

2.理解broker、topic、producer、consumer、partition等专有术语

3.用本节的专业术语重新回顾上节课的实验

3
理解 Kafka topic

1.使用shell命令修改topic、删除topic

2.使用Java语言调用Kafkatopic相关API

3.查看Kafka中消息的存储位置

4
Producer 开发入门

1.开发Producer程序的基础知识

2.开发Java程序发送消息到Kafka集群

3.学习如何创建一个KafkaProducer和ProducerRecord对象

4.学习如何使用默认的partitioner和serializer发送消息

5
Producer 开发进阶

1.画图展示producer发送消息到Kafka的过程

2.从源码级别理解producer发送消息的过程

3.开发自定义partitioner分区器

6
Consumer 开发入门

1.理解消费者组的概念

2.学习开发consumer程序的基本步骤

3.编程控制消费指定offset的消息

7
Consumer 开发进阶

1.消息offset的同步提交

2.消息offset的异步提交

3.按partition维度提交offset

4.按处理的消息量提交offset

8
Kafka 整合 Flume

1.Flume的安装和配置

2.Flume接收命令行消息发送到Kafka

9
Kafka 发送接收结构化数据

1.使用Java开发消息发送程序Producer

2.使用Java开发消息读取程序Consumer

10
Kafka 发送接收非结构化数据

1.发送和接收图片数据

2.发送和接收视频数据

11
Spark 2 整合 Kafka

1.使用Eclipse搭建Spark20开发环境

2.使用Sparkstreaming读取Kafka数据，输出到console