- 课程概览
- 授课讲师
- 课程大纲
- 实验列表
- 课程概览
- 授课讲师
- 课程大纲
- 实验列表
大数据培训－Hadoop开发实战
Hadoop大数据开发实战是一个广泛且深入的话题，涵盖了Hadoop的基本概念、生态系统、架构原理、集群环境搭建、应用开发以及性能优化等多个方面。
课程概览
通过本课程你将学习到以下内容。
第1章：介绍了大数据的由来及 Hadoop 的特性。
第2章：介绍了 Hadoop 集群搭建。
第3章～第5章：介绍了 HDFS 分布式文件系统、 MapReduce 分布式计算框架以及 ZooKeeper 分布式协调服务，带领同学认识 Hadoop 的核心功能。
第6章：介绍了 Hadoop 2.0的新特性。
第7章～第10章：介绍了 Hadoop 生态圈中的相关辅助系统，包括 Hive 、 HBase 分布式存储系统、 Flume 、 Sqoop 。
一、Hadoop概述
Hadoop是一个由Apache基金会所开发的分布式系统基础架构，它允许用户在不了解分布式底层细节的情况下，开发分布式程序。Hadoop的核心是HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）和MapReduce（一种编程模型，用于大规模数据集（大于1TB）的并行运算）。Hadoop的生态系统非常庞大，包括了HDFS、MapReduce、YARN（Yet Another Resource Negotiator，另一种资源协调者）、HBase、Hive、Pig等多个组件。
二、Hadoop生态系统
Hadoop生态系统中的各个组件相互协作，共同提供了强大的大数据处理能力。
以下是Hadoop生态系统中几个核心组件的简介：
HDFS：Hadoop的分布式文件系统，具有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
MapReduce：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。MapReduce程序能够运行在由上千个商用机器组成的大型集群上，并以一种高度容错的方式，处理PB级的数据集。
YARN：YARN是Hadoop的下一代资源管理器，它负责整个集群的资源管理和调度。YARN将资源管理和作业调度/监控的功能分离，使得Hadoop集群可以运行更多类型的计算框架，如Spark、Flink等。
HBase：HBase是一个分布式的、面向列的开源数据库，它基于Google的Bigtable模型开发，建立在HDFS之上，提供了高可靠性、高性能、列存储、可伸缩、实时读写NoSQL数据库服务。
Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive的本质是将SQL语句转换为MapReduce任务进行运行，非常适合数据仓库的统计分析。
第1章：介绍了大数据的由来及 Hadoop 的特性。
第2章：介绍了 Hadoop 集群搭建。
第3章～第5章：介绍了 HDFS 分布式文件系统、 MapReduce 分布式计算框架以及 ZooKeeper 分布式协调服务，带领同学认识 Hadoop 的核心功能。
第6章：介绍了 Hadoop 2.0的新特性。
第7章～第10章：介绍了 Hadoop 生态圈中的相关辅助系统，包括 Hive 、 HBase 分布式存储系统、 Flume 、 Sqoop 。
一、Hadoop概述
Hadoop是一个由Apache基金会所开发的分布式系统基础架构，它允许用户在不了解分布式底层细节的情况下，开发分布式程序。Hadoop的核心是HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）和MapReduce（一种编程模型，用于大规模数据集（大于1TB）的并行运算）。Hadoop的生态系统非常庞大，包括了HDFS、MapReduce、YARN（Yet Another Resource Negotiator，另一种资源协调者）、HBase、Hive、Pig等多个组件。
二、Hadoop生态系统
Hadoop生态系统中的各个组件相互协作，共同提供了强大的大数据处理能力。
以下是Hadoop生态系统中几个核心组件的简介：
HDFS：Hadoop的分布式文件系统，具有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
MapReduce：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。MapReduce程序能够运行在由上千个商用机器组成的大型集群上，并以一种高度容错的方式，处理PB级的数据集。
YARN：YARN是Hadoop的下一代资源管理器，它负责整个集群的资源管理和调度。YARN将资源管理和作业调度/监控的功能分离，使得Hadoop集群可以运行更多类型的计算框架，如Spark、Flink等。
HBase：HBase是一个分布式的、面向列的开源数据库，它基于Google的Bigtable模型开发，建立在HDFS之上，提供了高可靠性、高性能、列存储、可伸缩、实时读写NoSQL数据库服务。
Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive的本质是将SQL语句转换为MapReduce任务进行运行，非常适合数据仓库的统计分析。
授课讲师
项目开发经验： 10年项目开发经验，曾领导团队成功研发CRM大型项目，展现项目管理和技术领导力。 教学经验： 10年教学经验，作为总监级讲师，专注于培养技术人才。 专业技能： 精通华为大数据平台和数据挖掘，具备扎实的大数据专业知识。 熟练Java软件开发，能够进行高效软件设计和开发。 认证资格： 持有HCIE-Big Data认证，华为认证体系中的最高级别，证明大数据领域的专业水平。 技术专长： 大数据技术与应用 Java软件开发 华为技术认证与教学
课程大纲
- 第1章 初识Hadoop
-
第1节 大数据简介 试听
-
第2节 大数据技术核心需求 试听
-
第3节 Hadoop简介
-
第4节 离线数据分析流程介绍
-
第5节 大数据学习流程
- 第2章搭建Hadoop集群
-
第1节 安装准备
-
第2节 Linux基本命令
-
第3节 Hadoop集群搭建
-
第4节 Hadoop集群测试
- 第3章HDFS分布式文件系统
-
第1节 HDFS的简介
-
第2节 HDFS的架构和原理
-
第3节 HDFS的Shell命令
-
第4节 Java程序操作HDFS
- 第4章MapReduce分布式计算框架
-
第1节 认识MapReduce
-
第2节 MapReduce作业解析
-
第3节 MapReduce工作原理
-
第4节 Shuffle阶段
- 第5章Zookeeper分布式协调服务
-
第1节 认识Zookeeper
-
第2节 Zookeeper的安装和常用命令
-
第3节 Zookeeper客户端编程
-
第4节 Zookeeper典型应用场景
- 第6章Hadoop2.0新特性
-
第1节 Hadoop2.0新特性
-
第2节 Yarn资源管理框架
-
第3节 Hadoop的HA模式
- 第7章Hive
-
第1节 数据仓库简介
-
第2节 认识Hive
-
第3节 Hive安装
-
第4节 Hive数据类型
-
第5节 Hive数据库操作
-
第6节 Hive表
-
第7节 Hive表的查询
-
第8节 Hive函数
-
第9节 Hive 案例分析
- 第8章HBase分布式存储系统
-
第1节 认识HBase
-
第2节 HBase表设计
-
第3节 HBase安装
-
第4节 HBase Shell常用操作
- 第9章 Flume
-
第1节 认识Flume
-
第2节 Flume基本组件
-
第3节 Flume安装
-
第4节 Flume数据流模型
-
第5节 采集案例
- 第10章Sqoop
-
第1节 认识Sqoop
-
第2节 Sqoop安装
-
第3节 Sqoop命令
-
第4节 Sqoop数据导入
-
第5节 Sqoop数据导出
-
第6节 Sqoop job
实验列表
- 实验名称Linux基本命令
- 实验描述在本练习中，您将练习使用Linux的基本命令
- 实验名称HDFS基本命令
- 实验描述在本练习中，您将练习使用HDFS、Hadoop分布式文件系统。您将使用HDFS命令行工具来操纵HDFS中的文件
- 实验名称Java程序操作HDFS
- 实验描述在本练习中，您将练习使用Java程序操作HDFS
- 实验名称MapReduce执行单词统计
- 实验描述在本练习中，您将练习使用MapReduce执行单词统计。
- 实验名称Zookeeper基础命令
- 实验描述在本练习中，您将练习使用Zookeeper基础命令
- 实验名称Zookeeper客户端编程
- 实验描述在本练习中，您将练习使用idea操作zookeeper
- 实验名称Hive数据库操作
- 实验描述在本练习中，您将练习使用Hive操作数据库
- 实验名称Hive表操作
- 实验描述在本练习中，您将练习使用Hive操作Hive表
- 实验名称Hive表查询
- 实验描述在本练习中，您将练习使用Hive操作Hive表查询
- 实验名称Hive函数
- 实验描述在本练习中，您将练习使用Hive操作Hive函数
- 实验名称Hive案例
- 实验描述在本练习中，您将练习使用idea操作hive
- 实验名称Hbase的命令操作
- 实验描述在本练习中，您将练习使用Hbase命令行操作Hbase
- 实验名称Flume采集目录数据
- 实验描述在本练习中，您将练习使用Flume采集目录数据，数据保存到hdfs
- 实验名称Sqoop命令
- 实验描述在本练习中，您将练习使用Sqoop命令
- 实验名称Sqoop数据导入
- 实验描述在本练习中，您将练习使用选择mysql中数据库的表，导入相对应的hdfs的表中
- 实验名称Sqoop数据导出
- 实验描述在本练习中，您将练习使用Sqoop的hdfs数据导出 mysql
- 实验名称Sqoop Job操作
- 实验描述在本练习中，您将练习使用Sqoop Job
| 节数 | 上课时间 | 星期一 | 星期二 | 星期三 | 星期四 | 星期五 | 星期六 | 星期天 |
|---|---|---|---|---|---|---|---|---|
| 第1节 | 08:00 - 08:40 | |||||||
| 第2节 | 09:00 - 09:40 | |||||||
| 第3节 | 10:00 - 10:40 | |||||||
| 第4节 | 11:00 - 11:40 | |||||||
| 第5节 | 14:00 - 14:40 | |||||||
| 第6节 | 15:00 - 15:40 | |||||||
| 第7节 | 16:00 - 16:40 | |||||||
| 第8节 | 17:00 - 17:40 |
| 天数 | 上课日期 | 上课时间 | 内容 |
|---|
相关课件 更多
-
pptx
第10章 Sqoop
大小：487.55KB
2023-08-04
-
pptx
第9章 Flume
大小：316.23KB
2023-08-04
-
pptx
第8章 HBase分布式存储系统
大小：538.4KB
2023-08-04
-
pptx
第7章 Hive
大小：1.21MB
2023-08-04
-
pptx
第6章 Hadoop2.0新特性
大小：1.1MB
2023-08-04
-
pptx
第5章 Zookeeper分布式协调服务
大小：366.55KB
2023-08-04
971957201
18503067430