某某网站欢迎您   设为首页
  加入收藏
  联系站长
           
首页 |  新闻中心 |  客服中心在线培训课程 
站内搜索

今天是:

2026-2-20 星期五
 集成电路中心欢迎您!

左侧上广告

左侧下广告 width=
当前位置 >> 首页 >> 课程列表 >> 数据Hadoop最佳实践培训内容有什么?
课程编号  659
课程名称  数据Hadoop最佳实践培训内容有什么?
开课时间  即将开课
是否促销  
关注程度 共有4312人关注过此课程
◇◇ 课程详 细 介 绍 ◇◇

本次Hadoop培训内容如下:

  第一部分

  第1个主题:Hadoop思考

  1.Hadoop的设计目标和适用场景

  2.Hadoop架构解析

  3.MapReduce工作原理和案例说明

  第2个主题:Hadoop集群与管理

  1、 Hadoop集群的搭建

  2、 Hadoop集群的监控

  3、 Hadoop集群的管理

  4、 集群下运行MapReduce程序

  第3主题:彻底掌握HDFS (具备修改HDFS具体源码实现的能力)

  1、HDFS体系架构剖析

  2、NameNode、DataNode、SecondaryNameNode架构

  3、保证NodeName高可靠性最佳实践

  4、DataNode中Block划分的原理和具体存储方式

  5、修改Namenode、DataNode数据存储位置

  6、使用CLI操作HDFS

  7、使用Java操作HDFS

  第4主题:彻底掌握HDFS (具备修改HDFS具体源码实现的能力)

  1、RPC架构剖析

  2、源码剖析Hadoop构建于RPC之上

  3、源码剖析HDFS的RPC实现

  4、源码剖析客户端与与NameNode的RPC通信

  第5个主题:彻底掌握MapReduce(从代码的角度剖析MapReduce执行的具体过程并具备开发MapReduce代码的能力)

  1、MapReduce执行的经典步骤

  2、wordcount运行过程解析

  3、Mapper和Reducer剖析

  4、自定义Writable

  5、新旧API的区别以及如何使用就API

  6、把MapReduce程序打包成Jar包并在命令行运行

  第6个主题:彻底掌握MapReduce(具备掌握Hadoop如何把HDFS文件转化为Key-Value让供Map调用的能力)

  1、 Hadoop是如何把HDFS文件转化为键值对的?

  2、 源码剖析Hadoop读取HDFS文件并转化为键值对的过程实现

  3、 源码剖析转化为键值对后供Map调用的过程实现

  第7个主题:彻底掌握MapReduce(具备掌握MapReduce内部运行和实现细节并改造MapReduce的能力)

  1、 Hadoop内置计数器及如何自定义计数器

  2、 Combiner具体的作用和使用以及其使用的限制条件

  3、 Partitioner的使用最佳实践

  4、 Hadoop内置的排序算法剖析

  5、 自定义排序算法

  6、 Hadoop内置的分组算法

  7、 自定义分组算法

  8、 MapReduce常见场景和算法实现

  第二部分

  第1个主题:HBase架构设计和实现剖析

  1、 HBase定义

  2、 HBase与RDBMS的对比

  3、 数据模型

  4、 系统架构

  5、 HBase上的MapReduce

  6、 表的设计

  第2个主题:HBase集群及其管理

  1、 集群的搭建过程讲解

  2、 集群的监控

  3、 集群的管理

  第3个主题:HBase客户端

  1、 HBase Shell以及演示

  2、 Java客户端以及代码演示

  第4个主题:HBase案例实战1---使用HBase实现微博系统

  1. 项目架构和设计

  2. 开发环境搭建

  3. 实现用户登录和注销

  4.“关注”功能的设计和实现

  5.“发微博”功能的设计和实现

  6.发布和运行整个基于HBase的微博系统

  第5个主题:HBase与MapReduce

  1. HBase与MapReduce的关系

  2. HBase如何使用MapReduce

  第6个主题:HBase案例实战2---话单查询与统计

  1. 项目架构设计

  2. 开发环境搭建

  3. 话单入库和查询的设计与实现

  4.统计功能的设计与实现

  第7个主题:安装和使用Hive

  1. Hive剖析

  2. 安装Hive

  3.Hive的基本使用

  第8个主题:Hive与HDFS、MapReduce

  1. Hive向HDFS存入结构化数据

  2. 使用MySQL作为Hive的元数据库

  3.Hive与MapReduce

  第三部分

  第1个主题:Hive

  1. Hive的Java扩展开发

  2. Hive UDF和UDAF开发

  3. Hive常见场景,实战练习

  第2个主题:Hive案例实战---数据统计

  1. 项目架构设计

  2. 表结构设计

  3.数据的插入与统计实现

  第3个主题:Sqoop

  1. Sqoop原理

  2. Sqoop使用详解

  3. 用Sqoop实现HDFS/Hive与关系数据库的数据交互

  4. 用Sqoop实现HBase与关系数据库的数据交互

  第4个主题:电商业日志流量分析项目

  电商业日志流量分析项目,互联网企业对海量日志的分析是Hadoop应用的一个重要用途,也是对网站流量、客户行为分析的重要途径。该项目整合Hive、Hbase、Sqoop等常用组件,涉及从后台处理到前台呈现的每一个技术环节。包括:

  1·业务需求介绍

  2·数据建模

  3·后台算法设计

  4·后台业务处理

  5·前台WEB展示等

  第5个主题:Hadoop开发者之路

  1. Hadoop技能模型

  2. Hadoop开发者最佳学习路线和方式

  3.Hadoop开发者最佳成长路线



首页公司简介常见问题  
 
 
版权所有 集成电路中心  备案:沪ICP备08026168号
办公电话:4008699035 传真:021-32300767 手机:15921673576 邮箱:officeoffice@126.com 客服QQ:点击这里给我发消息
公司地址:上海市云屏路1399号26#新城金郡商务楼310室 邮编:201821
SHUHAI IC TRAINING