課程長(zhǎng)度:10天/60小時(shí)
培訓(xùn)對(duì)象:
企業(yè)管理者、CIO、CTO、政府信息部門官員、項(xiàng)目(開(kāi)發(fā))經(jīng)理、顧問(wèn);IT經(jīng)理,IT顧問(wèn),IT支持專家;系統(tǒng)工程師、數(shù)據(jù)中心管理員、云計(jì)算管理員及想加入云計(jì)算隊(duì)伍的您。
學(xué)員基礎(chǔ):
計(jì)算機(jī)相關(guān)專業(yè);具備基本Linux系統(tǒng)管理經(jīng)驗(yàn);具備編程經(jīng)驗(yàn)的開(kāi)發(fā)人員;熟悉Java;不需要事先掌握Hadoop相關(guān)知識(shí)
課程目標(biāo):
通過(guò)考試可獲得Cloudera Certified Administrator for Apache Hadoop (CCAH) ;Cloudera Certified Developer for Apache Hadoop (CCDH) 證書(shū)
培訓(xùn)內(nèi)容:
主題
內(nèi)容
Hadoop基礎(chǔ)
初識(shí)Hadoop及其分布式文件系統(tǒng)
【主要內(nèi)容】Hadoop是什么,Hadoop可以做什么,Hadoop的分布式文件系統(tǒng)(HDFS)及其特點(diǎn),HDFS如何承載應(yīng)用
搭建偽分布式的Hadoop環(huán)境
【主要內(nèi)容】如何利用一臺(tái)Linux機(jī)器搭建你的個(gè)Hadoop環(huán)境?如何從Hadoop的日志中發(fā)現(xiàn)它的故障、異常等
開(kāi)發(fā)你的個(gè)MapReduce程序
【主要內(nèi)容】函式編程與MapReduce,MapReduce程序的主題結(jié)構(gòu),在Eclipse上搭建MapReduce開(kāi)發(fā)環(huán)境,如何運(yùn)行你的MapReduce程序,用ANT自動(dòng)化MapReduce程序的部署
在企業(yè)內(nèi)網(wǎng)中快速搭建真正分布式的Hadoop環(huán)境
【主要內(nèi)容】如何在企業(yè)內(nèi)網(wǎng)中快速搭建一個(gè)真正的分布式的Hadoop環(huán)境?涉及YUM源,部署腳本等。
HIVE基礎(chǔ)與實(shí)踐
【主要內(nèi)容】HIVE的架構(gòu)和實(shí)現(xiàn)方式,HIVE Metastore的類型和實(shí)現(xiàn)方式,HQL語(yǔ)言基礎(chǔ),如何用HIVE做大數(shù)據(jù)分析等
深入解析HDFS
深度解析HDFS系統(tǒng)配置
【主要內(nèi)容】HDFS及Linux中與HDFS相關(guān)的配置項(xiàng)詳解,常用的HDFS必配項(xiàng)及其在實(shí)踐中的設(shè)置方法
玩轉(zhuǎn)HDFS
【主要內(nèi)容】如何管理和維護(hù)HDFS,查找HDFS的基本命令,如何獲取幫助,HDFS中的兩個(gè)較常用命令集——dfs和dfsadmin
深度解析HDFS的五大關(guān)鍵特性
【主要內(nèi)容】EditLog、Checkpoint、Rebalance、Rack Awareness和Replication
深度解析HDFS的讀寫過(guò)程和性能優(yōu)化
【主要內(nèi)容】HDFS在文件讀寫過(guò)程(結(jié)合HDFS源代碼),HDFS的租約機(jī)制與無(wú)鎖讀寫特性,如何從操作系統(tǒng)、磁盤、文件系統(tǒng)和網(wǎng)絡(luò)等幾個(gè)層面來(lái)優(yōu)化的HDFS性能
Trouble Shooting HDFS
【主要內(nèi)容】HDFS的常見(jiàn)問(wèn)題,Namenode的常見(jiàn)問(wèn)題及其處理方法,元數(shù)據(jù)損壞時(shí)如何恢復(fù),Datanode的常見(jiàn)問(wèn)題及其處理方法
深入淺出Zookeeper
【主要內(nèi)容】Paxos與Google的分布式協(xié)同機(jī)制,Chubby與Zookeeper,Zookeeper的原理、部署方法和應(yīng)用技巧
Hadoop HA理論與實(shí)踐
【主要內(nèi)容】Hadoop HA的前世今生,Hadoop HA中是否存在數(shù)據(jù)丟失的風(fēng)險(xiǎn),Hadoop2中的兩種HA方式——QJM和NFS,QJM方案配置演示
HDFS RAID與HttpFS
案例分析:制作基于HDFS的對(duì)象存儲(chǔ)
深入解析MapReduce
深度刨析JobTracker和TaskTracker
【主要內(nèi)容】JobTracker和TaskTracker的工作原理詳解
MapReduce經(jīng)典案例刨析與開(kāi)發(fā)思想
【主要內(nèi)容】函式編程的回顧與深化,MapReduce典型程序分析:Wordcount、Top-k與Join
定制你的MapReduce
【主要內(nèi)容】Inputformat、OutputFormat和Partitioner等
讓MapReduce程序飛速運(yùn)行(一)
【主要內(nèi)容】深度解析Split、Sort、Shuffling、Merge四大MapReducce程序執(zhí)行過(guò)程中所經(jīng)歷的四大關(guān)鍵過(guò)程,如何利用這4大過(guò)程來(lái)優(yōu)化MapReduce程序
讓MapReduce程序飛速運(yùn)行(二)
【主要內(nèi)容】Combiner原理及其在MapReduce中的作用,MapReduce實(shí)際案例分析
MapReduce程序開(kāi)發(fā)的高級(jí)技巧
【主要內(nèi)容】用Python等第三方語(yǔ)言快速編寫MapReduce程序、自動(dòng)串接多個(gè)Mapper和Reducer、容忍一定程度的失敗任務(wù)和錯(cuò)誤記錄等
進(jìn)一步玩轉(zhuǎn)MapReduce的平臺(tái)級(jí)優(yōu)化
【主要內(nèi)容】MapReduce程序的主要性能瓶頸及各種“坑”,MapReduce的主要性能配置項(xiàng)及其配置方法
YARN和MRv2選講
案例分析:挖掘運(yùn)營(yíng)商中的大數(shù)據(jù)