kafka培训课程 - 培训

主题

内容见要

Apache Kafka消息系统

· 什么是消息系统

· 异步接口设计的主要业务场景

· 异步消息队列的应用

· 同步与异步接口在解决不同业务场景时的选型

· 超大型应用系统中消息系统的应用场景深入解析

· 消息系统在应用服务构建时的应用场景

· 消息系统在数据体系构建时的应用场景

· 异步消息队列设计的核心性能调优4大原则

· 在不同的场景下选用不同调优策略

· Apache Kafka的基本架构和概念

· Kafka的设计目标

· 消息队列的分类

· Kafka与同类系统的对比

· Kafka的集群机制

· Kafka的扩容机制

· Kafka的消息队列机制

· 为什么Kafka的吞吐性能极高，其物理IO的设计机制

· Kafka的容错机制

案例分析：通过一个超大型百万级并发微服务架构中Kafka规划案例解析，如何在应用系统架构中采用Kafka，Kafka所解决的核心关键问题

Kafka的架构深度解析

· Kafka主要组件及其作用

· AMQP协议

· Apache Kafka在ZooKeeper上的存储结构

· Producer-消息生产者的深入解析与应用场景

· Consumer-消息消费者的深入解析与应用场景

· Broker-Kafka服务器集群的实现， 分析应用非功能性需求，定义吞吐定义Broker服务器数量，业务访问量的推算与集群服务器数量未来增长的预测方案， 当前服务器集群规划

· Topic-消息类别定义，如何依据应用特征设计Topic

· Partition-定义消息分区，为什么需要定义消息分区

· Replication 副本数定义

· Offset：消息偏移量的主要应用方法， 使用Offset进行消息的检索与唯一性保障

· Consumer Group：多Consumer的应用场景解析，及其在架构中的应用关键点

· In-Sync Replicas

· Zookeeper ：集群管理与选举机制，Kafka与ZooKeeper集成的目标

· Leaders and Follows

案例分析：通过一个超大型百万级并发微服务架构中Kafka规划案例解析，如何进行， Broker, Topic, Partition, Replication, ConsumerGroup等的设计过程

Apache Kafka的分布式集群构建与基本操作

· Apache Kafka在ZooKeeper上的存储结构

· ZooKeeper集群的架构解析

· ZooKeeper分布式集群搭建

· Broker的配置与搭建

· Kakfa关键配置信息

· 创建ServerID

· 主节点的配置与搭建

· 子节点的配置与搭建

· 集群启动与集群验证

· 生产消息与消费消息

· 获取消息列表

· 删除Topic

案例实践：构建一个4台服务器的Kafka分布式集群，并完成Kafka基础操作

Kafka集群的容器化

在Docker中构建Kafka集群

Kafka的分布式集群进阶-百万级并发消息处理架构设计

· Kafka集群的高可用设计

· Kafka子节点下线

· 添加一个子节点到集群

· Kafka主机宕机的处理

· 深入解释Kafka的消息组织原理

· 查看分区Topic的Offset

· Topic的Partition与Replication设计

· Topic的Partition扩容

· Topic的Replication扩容

· Consumer Group 的设计

· 消息传输机制的设计

· Consumer的再平衡

· Log Compaction

· 消费怎么保证不丢数据Offset怎么存

· 主节点关闭异常的处理

· Kafka实现百万级并发消息系统的架构设计

典型案例分析：分析大型互联网出行类系统的消息系统应用案例，将整体串讲到基于Kafka的消息系统几大核心问题

一个大型的实例大数据实时流式处理案例实践-实时LBS位置数据分析-包括数据去噪，降维，通勤路线分析， 通勤实践分析等实时分析过程

具备掌握Storm/Kafka大数据实时流式处理/异步消息队列 应用系统的完整 架构设计，具备项目的分析、开发、部署的全过程的能力，贯穿前面课程的主要内容，使大家熟悉一个完整实时流式、异步消息队列处理额大数据项目的分析、架构设计、开发、部署的全过程

Apache Kafka的应用开发实践-通过多个案例实践完成Kafka的关键代码实现

· Kafka开发环境的构建

· Kafka的API接口

· Producer端代码编程模型

· Consumer端代码编程模型

· 多主题的订阅代码编程模型

· 提取Offset

· 使用代码进行消息的遍历

· 发送消息到指定分区

· 指定分区的消息拉取

· 消息幂等的代码实现

· Acks的代码实现

· kafka rebalance的监听

· Kafka多线程开发

· Kafka的事务处理

· Kafka线程处理

Kafka构建微服务解耦消息通知架构

· 微服务解耦消息通知架构的接口设计

· 对Kafka应用的改造使其能够进行解耦处理

· 微服务消息发送方代码实现

· 微服务消息接收方代码实现

· 多实例微服务消息接收方设计与代码实现

· 多微服务消息接收方代码实现

· 极限并发下Redis替换Kafka的解决方案实现

· 替换Kafka时避免微服务调用端代码的修改

案例实践：对一个大型微服务系统的解耦架构进行解析，实现微服务解耦消息通知架构的代码，通过该案例代码完成微服务解耦框架的代码实现

Kafka性能测试设计

· Kafka性能工具的选型

· Kafka性能测试的环境设计

· Kafka 性能测试的基准测试设计

· Kafka 性能测试的峰值测试设计

· Kafka 性能测试的压力测试设计

· Kafka 性能测试的疲劳测试设计

案例实践：构建一个性能测试环境， 开展对Kafka多角度的性能测试

Kafka构建极高并发日志处理系统架构设计

· 日志处理系统的应用场景

· 日志处理系统的核心架构解析

· Kafka在日志处理系统中的设计

· Kafka构建日志处理系统的存储设计

· Kafka构建日志处理系统的

Apache Kafka与Storm集成案例实践

· Storm的运行机制和部署

· Storm的基本概念和编程模型

· Storm开发案例

· Maven pom的配置

· 版本冲突的解决

· Spout接入Kakfa消息

· 编写kafka bolt进行消息处理SenqueceBolt

· Kafka Topic的处理

· kafka提交topology到storm

· 实时处理应用JAR生成与调度

· Storm UI的实时监控

案例实践：通过Kafka集群集成Storm，实现流式数据的实时分析

Apache Kafka与HBase集成案例实践

· 为什么要集成Kafka与HBase

· HBase的运行机制和部署

· HBase的基本概念和编程模型

· Kafka消息在HBase中的存储模型的设计

· Maven pom的配置

· 版本冲突的解决

· Kafka到HBase连接编程模型

· Kafka消费消息到HBase编程模型

· 提取Kafka 消息 Offset，实现到HBase的顺序读

· 转换消息成为 DF

案例实践：通过Kafka集群集成HBase，实现Kafka与HBase的集成框架代码