云计算架构与大数据分析(Hadoop)培训班(北京,2月5-10日)
报名咨询:4 0 0 6 8 2 0 8 2 5 0 1 0 -5 6 1 2 9 1 3 8 1 3 8 1 0 2 1 0 2 5 7 鲍老师
【培训日期】2015年2月5-10日
【培训地点】北京
【培训对象】软件工程师、数据库开发人员、网络后台开发人员、运维人员等。学员要求有一定的Java编程基础。
【课程目标】
■本课程以大数据架构与案例为驱动,采用一个完整地案例贯穿整个课程,让学员体验大数据架构的企业价值。在课程中学员将被赋予企业架构师角色,通过剖析企业对大数据的主要需求,使学员感悟大数据架构设计的过程与价值。具体课程目标包括:
■了解云计算的发展历史
■掌握云计算的实践应用
■学习云计算的核心技术
■通晓云计算的商业价值。
■全面掌握Hadoop的架构原理和使用场景;
■全程项目实战训练;
■彻底掌握使用Hadoop进行MapReduce程序开发;
■熟悉分布式计算领域的常用算法;
掌握Hive、HBase使用与优化技巧。
【课程大纲】
■云计算概述
■云的理想
■云的挑战
■发展的趋势
■云是什么
■不同工作负载适用不同的云
■选择合适的云平台
■几个云应用案例
■我们身边的云
■云架构
■云多层架构视图
■IaaS、PaaS与SaaS的定位与异同
■云平台的发展现状
■云数据中心技术架构
■ IAAS云层的原理与应用
IaaS的基础:虚拟化
■虚拟化相关技术
■Power云部署方案介绍
■VMWare云部署方案介绍
■OpenStack云部署方案介绍
■SONAS云存储方案介绍
■应用实例
■PaaS云层的原理与应用
■PaaS的架构原理
■基于WebSphere的PaaS设计实践
■SaaS云层的原理与应用
■SaaS的架构原理
■一个公有云SaaS的设计实践
■云计算的性能管理与容量规划
■什么是性能容量管理
■性能容量管理参考案例
■压力测试基本理论
■系统性能设计与调优
■大数据云的原理与架构
■存储子系统
■传统文件系统
■松耦合网络文件系统
■共享存储文件系统
■基于对象的存储子系统
■大数据存储子系统
■Google GFS
■Facebook Haystack
■AmazonDynamo
■Yahoo PNUTS
■Google BigTable
■云存储服务
■Amazon Simple Storage Service
■Google Storage for Developers
第1个主题:Hadoop的来源和动机
1.传统大规模系统存在的问题
2.对一种新的解决方案的需求
3.Hadoop应用案例解析
4.Hadoop 版本介绍
5.Hadoop与传统分布式环境的区别
第2个主题:Hadoop安装和部署准备
Hadoop系统模块组件概述
Hadoop试验集群的部署结构
Hadoop 安装依赖关系
Hadoop 生产环境的部署结构
Hadoop集群安装和部署
第3个主题:Hadoop组件详解
Hadoop HDFS 基本结构
Hadoop HDFS 副本存放策略
Hadoop NameNode 详解Hadoop SecondaryNameNode 详解
Hadoop DataNode 详解
Hadoop JobTracker 详解
Mapper
Reducer
API 使用Eclipse进行快速开发
新MapReduce API
第4个主题:Hadoop 核心代码剖析
1. Hadoop Mapper 类核心代码剖析
2. Hadoop Reducer 类核心代码剖析
第5个主题:HDFS分布式文件系统编程
1. Hadoop HDFS 剖析
2. Hadoop NameNode 剖析
3. Hadoop DataNode 剖析
4. hadoop I/O 操作
5. 使用Hadoop HDFS API对HDFS编程
第
五
天第1个主题:Hadoop MapReduce
1. Hadoop JobTracker 剖析
2.Hadoop TaskTracker 剖析
3.Hadoop 任务提交流程剖析
第2个主题: Hadoop MapReduce Streaming编程
1. Hadoop Streaming 和 Java MapReduce Api 差异
2. 使用 MapReduce 实现数据库功能
第3个主题:MapReduce分布式程序
1. MapReduce流程
2.剖析一个MapReduce程序
3.基本MapReduceAPI 概念
4.驱动代码
第4个主题:Hadoop Mapreduce高级编程
1.ToolRunner介绍
2.使用MRUnIT进行测试
3.利用Combiners来减少中间数据
4.使用Configure和Close方法来进行Map/Reduce设置和关闭
5.编写Partitioner来优化负载平衡
6.直接访问Hadoop分布式文件系统(HDFS)
7.使用分布式缓存(Distributed Cache)第5个主题:MapReduce的优化
1. map优化
2. reduce优化
3. 小文件优化
第6个主题:MapReduce的任务调度
1. Queue调度的使用
2. 公平调度的使用
3. 能力调度的使用
第7个主题Hadoop 生态系统介绍
分布式管理组件-Zookeeper
分布式数据仓库-Hive
分布式数据库-HBase
数据导入导出-Sqoop
工作流管理- OzzIE
Hadoop数据仓库-Hive
■Hive基础
■Hive的作用和原理说明
■Hadoop仓库和传统数据仓库的协作关系;Hive与传统数据库的对接使用
■Hadoop/Hive仓库数据数据流
Hadoop数据仓库-Hive
Hive Cli 的基本用法
HQL基本语法
自行编写数据库与Hadoop相互ETL工具的思路
Hadoop 分布式数据仓库-HBase
■Hbase概念与架构
■hbase核心知识点
■hbase安装、部署
■HBase配置优化综述
■表设计优化相关参数
■监控工具使用方法及注意事项
■常见异常现象级处理方法
【讲师介绍】
钱兴会老师,中国培训资讯网(******** 朱永春老师,中国培训资讯网(******** 0 0 6 8 2 0 8 2 5 0 1 0 -5 6 1 2 9 1 3 8 1 3 8 1 0 2 1 0 2 5 7 鲍老师
3、报名流程:电话登记-->填写报名表-->发出培训确认函
4、备注:如课程已过期,请访问我们的网站,查询最新课程
5、详细资料请访问曼顿培训网:******** (每月在全国开设四百多门公开课,欢迎报名学习)