Hadoop大數(shù)據(jù)開發(fā)實(shí)戰(zhàn)課程大綱
本課程將讓學(xué)員掌握 Hadoop 架構(gòu)原理和 使用場(chǎng)景，通過(guò)項(xiàng)目實(shí)戰(zhàn)鍛煉，獨(dú)立規(guī)劃及部署生產(chǎn)環(huán)境的Hadoop集群，掌握Hadoop基本運(yùn)維思路和方法，對(duì)Hadoop集群進(jìn)行管理和優(yōu)化，熟練使用Hadoop進(jìn)行MapReduce程序開發(fā)。
技術(shù)儲(chǔ)備階段
Hadoop以及相關(guān)模塊實(shí)操
Hadoop介紹
hadoop分為運(yùn)維和開發(fā)：
運(yùn)維一般是搭建集群環(huán)境，調(diào)優(yōu)集群，保證集群良好運(yùn)行；開發(fā)就是通過(guò)運(yùn)行mapreduce等程序，讓他完成我們想讓hadoop集群完成的事情。
本章節(jié)將讓學(xué)員了解Hadoop，把握分布式計(jì)算框架及未來(lái)發(fā)展方向，在大數(shù)據(jù)時(shí)代能為企業(yè)的技術(shù)選型及架構(gòu)設(shè)計(jì)提供決策參考。
數(shù)據(jù)倉(cāng)庫(kù)HIVE
Hive是大數(shù)據(jù)開發(fā)的核心工具，本章詳解數(shù)據(jù)倉(cāng)庫(kù)HIVE，讓學(xué)員了解并掌握Hadoop的數(shù)據(jù)倉(cāng)庫(kù)原理和運(yùn)行機(jī)制。
分布式數(shù)據(jù)庫(kù)Hbase
Hadoop介紹
計(jì)算模型MapReduce
Spark項(xiàng)目入門與提高
分布式文件系統(tǒng)HDFS體系結(jié)構(gòu)
分布式協(xié)作系統(tǒng)ZooKeeper
Scala介紹
Spark平臺(tái)下的機(jī)器學(xué)習(xí)
Spark項(xiàng)目編譯
Hbase是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，本章將詳細(xì)講解Hbase體系及存儲(chǔ)機(jī)制
是一個(gè)用來(lái)將Hadoop和關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)相互轉(zhuǎn)移的工具，是不同類型數(shù)據(jù)庫(kù)互操作的重要應(yīng)用工具。
MapReduce能夠讓用戶編寫的Hadoop并行應(yīng)用程序運(yùn)行更加簡(jiǎn)化高效，本章節(jié)將讓學(xué)員學(xué)習(xí)軟件的執(zhí)行原理，并通過(guò)實(shí)際編寫練習(xí)掌握
MapReduce
是用來(lái)解決分布式應(yīng)用中經(jīng)常遇到的一些數(shù)據(jù)管理問(wèn)題，簡(jiǎn)化分布式應(yīng)用協(xié)調(diào)及其管理的難度，提供高性能的分布式服務(wù)；本章節(jié)將介紹ZooKeeper原理和基本操作。
Hadoop中的分布式文件系統(tǒng)HDFS能夠?qū)崿F(xiàn)數(shù)據(jù)在計(jì)算機(jī)集群組成的云上高效的存儲(chǔ)和管理，是hadoop中核心體系，本章將讓學(xué)員通過(guò)理論及實(shí)際操作了解HDFS的體系結(jié)構(gòu)和操作規(guī)范。
Spark是應(yīng)對(duì)實(shí)時(shí)查詢和迭代計(jì)算的有力工具，本章幫助學(xué)員了解并掌握Spark的原理，開發(fā)環(huán)境的搭建，掌握各個(gè)算法的使用場(chǎng)景與適用范圍
作為流計(jì)算技術(shù)中的佼佼者和主流的Storm被譽(yù)為實(shí)時(shí)版的Hadoop，本章節(jié)將詳細(xì)介紹Storm，讓學(xué)員了解并掌握分布式實(shí)時(shí)大數(shù)據(jù)處理工具， 彌補(bǔ)hadoop在實(shí)時(shí)數(shù)據(jù)上的不足。
Spark在機(jī)器學(xué)習(xí)方面有著得天獨(dú)厚的優(yōu)勢(shì)，特別適合需要多次迭代計(jì)算的算法。
Scala在大數(shù)據(jù)，云計(jì)算方面有較為廣泛的運(yùn)用，而且由于Spark是由Scala語(yǔ)言開發(fā)的，所以大家在開發(fā)Spark應(yīng)用程序時(shí)，Scala成為必學(xué)語(yǔ)言之一。
Hadoop項(xiàng)目實(shí)戰(zhàn)
行業(yè)案例實(shí)戰(zhàn)
通過(guò)真實(shí)企業(yè)案例，讓學(xué)員從理論到實(shí)踐上都能掌握大數(shù)據(jù)企業(yè)開發(fā)必備技能，為就業(yè)打下堅(jiān)實(shí)理論與實(shí)戰(zhàn)基礎(chǔ)。
滬ICP備18048269號(hào)-1 
電子營(yíng)業(yè)執(zhí)照
教育
全國(guó)教育網(wǎng)站
企業(yè)信用等級(jí)AA級(jí)