广州Hadoop大数据解决方案开发技术培训
课程班型小班
上课时间任意时段
课时数量0
课程简介
Hadoop 作为开源的云计算平台,为大数据处理提供了一整套解决方案,应用非常广泛。Hadoop 作为一个 平台框架,包括了如何存储海量数据,如何处理海量数据,以及相应的数据库、数据仓库、数据流处理、数 据分析和挖掘算法库等等。本次培训作为知识储备,主要讲解目前应用数据和大数据平台的数据同步工作以 及了解大数据理论体系结构, 应用 Hadoop 2.0 的大数据框架结构,文本文件与 Hadoop/Hive/Sqoop 数据 迁,Hadoop 的思想、原理,以及重要技术等相关知识。
第一天
一、Hadoop 的基本框架 :
大数据时代面临的问题 ;当前解决大数据的技术方案 ;Hadoop 架构和云计算 ;Hadoop 简史及安装部署 ;Hadoop 设计理念和生态系统
二、HDFS 分布式文件系统:海量数据存储的摇篮
HDFS 的设计目标 、HDFS 的基本架构 、 NameNode 名称节点 、 SecondaryNameNode 第二名称节点 、 DataNode 数据节点 、HDFS 的存储模型 数据块存储 、 元数据存储(空间镜像与编辑日志) 、多副本存储 多副本放置策略 多数据节点管理机制与交互过程 文件系统操作与管理 读文件过程 写文件过程(数据流管道) 数据完整性机制 数据校验和 数据完整性扫描线程 元数据备份与合并 数据可靠性设计 安全模式(数据块与节点映射关系管理) 心跳检测机制(节点失效管理) 租约机制(多线程并发控制) 其它 HDFS 的安全机制 负载均衡 文件压缩 操作接口与编程接口 HDFS Shell HDFS Commands 演练:HDFS 文件操作命令
三、MapReduce 分布式计算系统:海量数据处理的利器
MapReduce 的三层设计理念 、分布治之的设计思想(Map 与 Reduce) 、数据处理引擎(编程模型) 、 运行时环境(任务调度与执行) 、MapReduce 的基本架构 、JobTracker 作业跟踪器 、TaskTracker 任务跟踪器 MapReduce 与 HDFS 的部署关系
四、Yarn:平台
Yarn 平台的搭建 、 Yarn 实例的运行 、Yarn 应用的监控
免费领取试听名额
名额有限 领完为止
相关推荐
通知:本页信息由注册会员(机构)自行发布或提供,所有内容仅供参考,最终以机构的官方信息为准,任何关于对机构的推荐都不能替代您的考察核实,本站不承担相关内容和推荐所引起的法律责任。如果您的知识产权或其他合法权益被侵犯,请立即向我们发出"权利通知书",我们将根据相关法律法规采取相应的措施予以处理,切实维护您的合法权利。联系我们:18615226315@163.com