电话18503067430
在线咨询

二维码已过期

请重新获取

使用微信扫一扫

登录博睿慕课

全部课程> 大数据培训-离线分析项目实践

大数据培训-离线分析项目实践

  • 60课时(建议每周学习3小时)
  • 录播
学习人数

已有2533人报名学习

  • 课程概览
  • 授课讲师
  • 课程大纲
  • 实验列表
    大数据培训-离线分析项目实践
  • 课程概览
  • 授课讲师
  • 课程大纲
  • 实验列表

大数据培训中的离线分析项目实践是一个综合性的学习过程,旨在通过实际项目操作,使学生掌握大数据离线分析的核心技能和应用方法。

课程概览
项目实践内容
1. 数据收集与预处理
数据来源:模拟数据、开源数据集或企业实际业务数据。
数据收集:使用Flume、Kafka等工具从各种数据源中收集数据。
数据预处理:包括数据清洗(去除噪声、异常值等)、数据转换(格式统一、类型转换等)和数据集成(多源数据合并)。
2. 数据存储与管理
存储介质:HDFS、HBase等分布式存储系统。
数据分区与索引:根据业务需求对数据进行分区和索引,提高查询效率。
数据质量监控:建立数据质量监控机制,确保数据的准确性和完整性。
3. 数据分析与挖掘
分析工具:Hive、Spark SQL等SQL类工具,以及Spark MLlib等机器学习库。
分析模型:用户行为分析、点击流分析、关联规则挖掘、聚类分析、回归分析等。
分析结果可视化:使用Tableau、ECharts等工具将分析结果可视化展示。
4. 项目报告与总结
项目报告:编写详细的项目报告,包括项目背景、目标、实施过程、关键技术和难点、解决方案及最终成果等。
经验总结:对项目实践过程中遇到的问题和解决方案进行总结,提炼出可复用的经验和教训。
大数据培训-离线分析项目实践是一个综合性的学习过程,通过实际项目操作,学生可以深入理解大数据离线分析的核心技术和应用方法。未来,随着大数据技术的不断发展和应用场景的不断拓展,离线分析将在更多领域发挥重要作用。因此,持续学习和掌握新技术将是提升个人竞争力的关键。
授课讲师

伍老师

项目开发经验: 10年项目开发经验,曾领导团队成功研发CRM大型项目,展现项目管理和技术领导力。 教学经验: 10年教学经验,作为总监级讲师,专注于培养技术人才。 专业技能: 精通华为大数据平台和数据挖掘,具备扎实的大数据专业知识。 熟练Java软件开发,能够进行高效软件设计和开发。 认证资格: 持有HCIE-Big Data认证,华为认证体系中的最高级别,证明大数据领域的专业水平。 技术专长: 大数据技术与应用 Java软件开发 华为技术认证与教学

课程大纲
  • 第1章 Linux基础知识
  •     第1节 Linux安装
    视频名称:第一节.Linux安装.wmv
  •     第2节 Linux命令行
    视频名称:第二节.Linux命令行.wmv
  •     第3节 Linux VIM编辑器
  •     第4节 Linux用户管理
  •     第5节 Linux安装Java环境
  •     第6节 Linux安装MariaDB环境
  • 第2章 Hadoop集群搭建
  •     第1节 Hadoop介绍
  •     第2节 Hadoop读写流程
  •     第3节 Hadoop的前期准备
  •     第4节 Hadoop安装
  •     第5节 Hadoop测试
  •     第6节 HDFS的shell命令
  • 第3章 Maven的概述
  •     第1节 Maven介绍
  •     第2节 JDK安装
  •     第3节 Maven安装
  •     第4节 Idea集成Maven环境
  •     第5节 Maven POM项目描述
  •     第6节 使用Java操作HDFS数据
  • 第4章MapReduce分布式计算框架
  •     第1节 认识MapReduce
  •     第2节 MapReduce工作流程
  •     第3节 MapReduce词频统计
  •     第4节 MapReduce编程示例
  •     第5节 Yarn资源管理器
  • 第5章Scala语言基础
  •     第1节 Scala介绍
  •     第2节 Scala安装
  •     第3节 Scala基本语法
  •     第4节 Idea集成Scala环境
  •     第5节 Scala学习步骤
  • 第6章Spark大数据处理框架
  •     第1节 Spark介绍
  •     第2节 Spark安装
  •     第3节 Spark RDD常用操作
  •     第4节 Spark词频统计程序
  •     第5节 Spark词频统计编程开发
  •     第6节 Spark词频统计本地调试
  •     第7节 Spark SQL概述
  •     第8节 Spark DataFrames操作
  •     第9节 Spark读写Mysql操作
  • 第7章 PythonWeb框架
  •     第1节 PythonWeb前端UI框架
  •     第2节 PythonWeb-Flask框架
  •     第3节 PythonWeb连接Mysql
  •     第4节 饼图通过数据库返回数据
  •     第5节 柱图通过后台返回数据
  • 第8章综合案例
  •     第1节 Spark分析天猫的订单数据
  •     第2节 Spark项目工程构建指标
  •     第3节 PythonWeb前端页面实现
  •     第4节 PythonWeb应用开发
  •     第5节 项目程序效果图
实验列表
  • 实验名称Linux命令行
  • 实验描述在本练习中,您将练习使用Linux的基本命令
  • 实验名称Linux VIM编辑器
  • 实验描述在本练习中,您将练习使用Linux VIM编辑器
  • 实验名称Linux用户管理
  • 实验描述本练习中,您将练习使用Linux用户管理
  • 实验名称HDFS的shell命令
  • 实验描述在本练习中,您将练习使用HDFS、Hadoop分布式文件系统。您将使用HDFS命令行工具来操纵HDFS中的文件
  • 实验名称Java程序操作HDFS
  • 实验描述在本练习中,您将练习使用Java程序操作HDFS
  • 实验名称MapReduce词频统计
  • 实验描述在本练习中,您将练习使用MapReduce执行单词统计。
  • 实验名称MapReduce编程示例
  • 实验描述在本练习中,您将练习使用MapReduce编程示例
  • 实验名称Spark RDD常用操作
  • 实验描述在本练习中,您将练习Spark RDD常用操作
  • 实验名称Spark词频统计程序
  • 实验描述在本练习中,您将练习Spark词频统计程序
  • 实验名称Spark词频统计编程开发
  • 实验描述在本练习中,您将练习使用Spark词频统计编程开发
  • 实验名称 Spark词频统计本地调试
  • 实验描述在本练习中,您将练习使用Spark词频统计本地调试
  • 实验名称 Spark DataFrames操作
  • 实验描述在本练习中,您将练习使用 Spark DataFrames操作
  • 实验名称 Spark读写Mysql操作
  • 实验描述在本练习中,您将练习使用Spark读写Mysql操作
  • 实验名称Spark项目工程构建指标
  • 实验描述在本练习中,您将练习使用Spark项目工程构建指标
节数上课时间星期一 星期二星期三星期四 星期五星期六星期天
第1节08:00 - 08:40
第2节09:00 - 09:40
第3节10:00 - 10:40
第4节11:00 - 11:40
第5节14:00 - 14:40
第6节15:00 - 15:40
第7节16:00 - 16:40
第8节17:00 - 17:40
天数上课日期上课时间内容
相关课件 更多
  • pptx

    第八章 综合案例

    大小:6.32MB

    2023-08-04

  • pptx

    第七章 PythonWeb框架

    大小:10.73MB

    2023-08-04

  • pptx

    第六章 Spark大数据处理框架

    大小:2.64MB

    2023-08-04

  • pptx

    第五章 Scala语言基础

    大小:2.39MB

    2023-08-04

  • pptx

    第四章 MapReduce分布式计算框架

    大小:1.92MB

    2023-08-04

  • pptx

    第三章 Maven的概述

    大小:4.29MB

    2023-08-04


课程名称:
大数据培训-离线分析项目实践
课程现价:
0
支付方式:
支付宝支付
微信支付
确认支付
支付剩余时间: 15:00
视频试听
购买课程
当前课程仅限高级会员学习!
成为会员
取消