- 课程概览
- 授课讲师
- 课程大纲
- 实验列表
- 课程概览
- 授课讲师
- 课程大纲
- 实验列表
大数据培训-离线分析项目实践
加入购物车
大数据培训中的离线分析项目实践是一个综合性的学习过程，旨在通过实际项目操作，使学生掌握大数据离线分析的核心技能和应用方法。
课程概览
项目实践内容
1. 数据收集与预处理
数据来源：模拟数据、开源数据集或企业实际业务数据。
数据收集：使用Flume、Kafka等工具从各种数据源中收集数据。
数据预处理：包括数据清洗（去除噪声、异常值等）、数据转换（格式统一、类型转换等）和数据集成（多源数据合并）。
2. 数据存储与管理
存储介质：HDFS、HBase等分布式存储系统。
数据分区与索引：根据业务需求对数据进行分区和索引，提高查询效率。
数据质量监控：建立数据质量监控机制，确保数据的准确性和完整性。
3. 数据分析与挖掘
分析工具：Hive、Spark SQL等SQL类工具，以及Spark MLlib等机器学习库。
分析模型：用户行为分析、点击流分析、关联规则挖掘、聚类分析、回归分析等。
分析结果可视化：使用Tableau、ECharts等工具将分析结果可视化展示。
4. 项目报告与总结
项目报告：编写详细的项目报告，包括项目背景、目标、实施过程、关键技术和难点、解决方案及最终成果等。
经验总结：对项目实践过程中遇到的问题和解决方案进行总结，提炼出可复用的经验和教训。
大数据培训-离线分析项目实践是一个综合性的学习过程，通过实际项目操作，学生可以深入理解大数据离线分析的核心技术和应用方法。未来，随着大数据技术的不断发展和应用场景的不断拓展，离线分析将在更多领域发挥重要作用。因此，持续学习和掌握新技术将是提升个人竞争力的关键。
1. 数据收集与预处理
数据来源：模拟数据、开源数据集或企业实际业务数据。
数据收集：使用Flume、Kafka等工具从各种数据源中收集数据。
数据预处理：包括数据清洗（去除噪声、异常值等）、数据转换（格式统一、类型转换等）和数据集成（多源数据合并）。
2. 数据存储与管理
存储介质：HDFS、HBase等分布式存储系统。
数据分区与索引：根据业务需求对数据进行分区和索引，提高查询效率。
数据质量监控：建立数据质量监控机制，确保数据的准确性和完整性。
3. 数据分析与挖掘
分析工具：Hive、Spark SQL等SQL类工具，以及Spark MLlib等机器学习库。
分析模型：用户行为分析、点击流分析、关联规则挖掘、聚类分析、回归分析等。
分析结果可视化：使用Tableau、ECharts等工具将分析结果可视化展示。
4. 项目报告与总结
项目报告：编写详细的项目报告，包括项目背景、目标、实施过程、关键技术和难点、解决方案及最终成果等。
经验总结：对项目实践过程中遇到的问题和解决方案进行总结，提炼出可复用的经验和教训。
大数据培训-离线分析项目实践是一个综合性的学习过程，通过实际项目操作，学生可以深入理解大数据离线分析的核心技术和应用方法。未来，随着大数据技术的不断发展和应用场景的不断拓展，离线分析将在更多领域发挥重要作用。因此，持续学习和掌握新技术将是提升个人竞争力的关键。
授课讲师
专业成就： 在云计算与云服务领域，拥有华为双IE专家资格认证。撰写的技术文章《云上主机安全设计》被收录于华为专家有料，并获得了1700次的阅读量。 教育贡献： 每年培养超过250名华为认证人才，包括HCIA、HCIP和HCIE不同级别的认证。去年，共有131名学员获得HCIA认证，85名获得HCIP认证，20名获得HCIE认证。 教学风格： 授课方式以深入浅出、通俗易懂为特点，能够与学生建立良好的互动关系，使课堂氛围生动有趣。课后讨论环节进一步加深学生对技术的理解，激发学习热情。 学术地位： 作为高校的客座教授，享有学术界和业界的广泛认可。
课程大纲
- 第1章 Linux基础知识
-
第1节 Linux安装 试听
-
第2节 Linux命令行 试听
-
第3节 Linux VIM编辑器
-
第4节 Linux用户管理
-
第5节 Linux安装Java环境
-
第6节 Linux安装MariaDB环境
- 第2章 Hadoop集群搭建
-
第1节 Hadoop介绍
-
第2节 Hadoop读写流程
-
第3节 Hadoop的前期准备
-
第4节 Hadoop安装
-
第5节 Hadoop测试
-
第6节 HDFS的shell命令
- 第3章 Maven的概述
-
第1节 Maven介绍
-
第2节 JDK安装
-
第3节 Maven安装
-
第4节 Idea集成Maven环境
-
第5节 Maven POM项目描述
-
第6节 使用Java操作HDFS数据
- 第4章MapReduce分布式计算框架
-
第1节 认识MapReduce
-
第2节 MapReduce工作流程
-
第3节 MapReduce词频统计
-
第4节 MapReduce编程示例
-
第5节 Yarn资源管理器
- 第5章Scala语言基础
-
第1节 Scala介绍
-
第2节 Scala安装
-
第3节 Scala基本语法
-
第4节 Idea集成Scala环境
-
第5节 Scala学习步骤
- 第6章Spark大数据处理框架
-
第1节 Spark介绍
-
第2节 Spark安装
-
第3节 Spark RDD常用操作
-
第4节 Spark词频统计程序
-
第5节 Spark词频统计编程开发
-
第6节 Spark词频统计本地调试
-
第7节 Spark SQL概述
-
第8节 Spark DataFrames操作
-
第9节 Spark读写Mysql操作
- 第7章 PythonWeb框架
-
第1节 PythonWeb前端UI框架
-
第2节 PythonWeb-Flask框架
-
第3节 PythonWeb连接Mysql
-
第4节 饼图通过数据库返回数据
-
第5节 柱图通过后台返回数据
- 第8章综合案例
-
第1节 Spark分析天猫的订单数据
-
第2节 Spark项目工程构建指标
-
第3节 PythonWeb前端页面实现
-
第4节 PythonWeb应用开发
-
第5节 项目程序效果图
实验列表
- 实验名称Linux命令行
- 实验描述在本练习中，您将练习使用Linux的基本命令
- 实验名称Linux VIM编辑器
- 实验描述在本练习中，您将练习使用Linux VIM编辑器
- 实验名称Linux用户管理
- 实验描述本练习中，您将练习使用Linux用户管理
- 实验名称HDFS的shell命令
- 实验描述在本练习中，您将练习使用HDFS、Hadoop分布式文件系统。您将使用HDFS命令行工具来操纵HDFS中的文件
- 实验名称Java程序操作HDFS
- 实验描述在本练习中，您将练习使用Java程序操作HDFS
- 实验名称MapReduce词频统计
- 实验描述在本练习中，您将练习使用MapReduce执行单词统计。
- 实验名称MapReduce编程示例
- 实验描述在本练习中，您将练习使用MapReduce编程示例
- 实验名称Spark RDD常用操作
- 实验描述在本练习中，您将练习Spark RDD常用操作
- 实验名称Spark词频统计程序
- 实验描述在本练习中，您将练习Spark词频统计程序
- 实验名称Spark词频统计编程开发
- 实验描述在本练习中，您将练习使用Spark词频统计编程开发
- 实验名称 Spark词频统计本地调试
- 实验描述在本练习中，您将练习使用Spark词频统计本地调试
- 实验名称 Spark DataFrames操作
- 实验描述在本练习中，您将练习使用 Spark DataFrames操作
- 实验名称 Spark读写Mysql操作
- 实验描述在本练习中，您将练习使用Spark读写Mysql操作
- 实验名称Spark项目工程构建指标
- 实验描述在本练习中，您将练习使用Spark项目工程构建指标
| 节数 | 上课时间 | 星期一 | 星期二 | 星期三 | 星期四 | 星期五 | 星期六 | 星期天 |
|---|---|---|---|---|---|---|---|---|
| 第1节 | 08:00 - 08:40 | |||||||
| 第2节 | 09:00 - 09:40 | |||||||
| 第3节 | 10:00 - 10:40 | |||||||
| 第4节 | 11:00 - 11:40 | |||||||
| 第5节 | 14:00 - 14:40 | |||||||
| 第6节 | 15:00 - 15:40 | |||||||
| 第7节 | 16:00 - 16:40 | |||||||
| 第8节 | 17:00 - 17:40 |
| 天数 | 上课日期 | 上课时间 | 内容 |
|---|
相关课件 更多
-
pptx
第八章 综合案例
大小：6.32MB
2023-08-04
-
pptx
第七章 PythonWeb框架
大小：10.73MB
2023-08-04
-
pptx
第六章 Spark大数据处理框架
大小：2.64MB
2023-08-04
-
pptx
第五章 Scala语言基础
大小：2.39MB
2023-08-04
-
pptx
第四章 MapReduce分布式计算框架
大小：1.92MB
2023-08-04
-
pptx
第三章 Maven的概述
大小：4.29MB
2023-08-04
18503067430
3693827403
