Big Data Technology Fundamentals 对大数据解决方案所用技术的一般性知识进行基本介绍。其中涵盖了使用 Hadoop 生态系统(包括 MapReduce、HDFS 和 Pig、Hive 编程框架)的大数据解决方案的开发。这套网页式课程可以帮助您掌握基础知识,更好地使用 AWS 服务来应对大数据解决方案。本课程免费提供,既可以独立使用,也可以用于 Big Data on AWS 导师指导课程的准备工作。
本课程中您将学习:
- 认识可用于创建大数据解决方案的常用工具和技术
- 理解 MapReduce 编程框架,包括 map、shuffle 与 sort 以及 reduce 组件
- 使用 Hive 编程框架在创建大数据解决方案时区分可用的选项
本课程适用于:
- 对大数据概念还不熟悉的个人,包括企业解决方案架构师、大数据解决方案架构师、数据科学家以及数据分析师。
我们建议以下人员参加此课程:
- 使用基本编程语言(例如 Java 或 C#)的工作知识
本课程将通过以下方式讲授:
- 基于 Web 的电子学习
- 3 小时
注意:课程大纲可能不尽相同,具体取决于授课的地区位置和/或语言。
本课程包含以下 4 个模块:
模块 1:大数据简介
- 大数据的商业意义
- Hadoop 生态系统
- 大数据的特征
- 大数据的处理
- 分析大数据会用到的工具和技术
- 实施大数据解决方案
- 案例研究:社交媒体分析
模块 2:MapReduce 和 Hadoop 简介
- Hadoop 架构
- MapReduce 框架
- MapReduce 编程
- MapReduce 和 HDFS/S3
- 使用案例:推荐引擎
模块 3:使用 Pig 编程的数据分析
- Pig 简介
- Pig 数据类型
- Pig 中的数据呈现
- Pig 的运行
- 用户定义的函数
- Pig 与传统 RDBMS
- Pig 中的高级技术
模块 4:使用 Hive 进行大数据查询
- Hive 简介
- 在 Hive 中呈现数据
- Hive 数据类型
- 使用 Hive 查询调查数据
- Hive 与 AWS
- 使用案例:临时分析与产品反馈