
大數(shù)據(jù)開發(fā)工程師課程簡(jiǎn)介
對(duì)于“大數(shù)據(jù)”(Big data),研究機(jī)構(gòu)Gartner給出了這樣的定義:“大數(shù)據(jù)”是需要 新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來(lái)適應(yīng)海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。麥肯錫全球研究所給出的定義是:一種規(guī)大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合,具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低四大特征。
大數(shù)據(jù)時(shí)代的出現(xiàn),未來(lái)30年將對(duì)計(jì)劃經(jīng)濟(jì)和市場(chǎng)經(jīng)濟(jì)進(jìn)行重新定義。在大數(shù)據(jù)時(shí)代,人類獲得數(shù)據(jù)能力遠(yuǎn)遠(yuǎn)超過(guò)大家想象,我們對(duì)世界的<br>認(rèn)識(shí)要提升到新 的高度。在國(guó)內(nèi),普通大數(shù)據(jù)開發(fā)工程師的基本崗位薪資起步即10000元/月,一般入職薪資13000元/月 左右,2年以上工作經(jīng)驗(yàn)的大數(shù)據(jù)開發(fā)工程師薪資高達(dá)30000元/月以上。
課程特色:
1.完備且標(biāo)準(zhǔn)的大數(shù)據(jù)技術(shù)教程使你零基礎(chǔ)掌握大數(shù)據(jù)核心技術(shù)。
2.大數(shù)據(jù)*前沿分布式計(jì)算技術(shù)Spark的精講。
3.以企業(yè)實(shí)際項(xiàng)目為案例,掌握大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)的全面知識(shí)。
課程簡(jiǎn)介:
階段:大數(shù)據(jù)基礎(chǔ)之Java入門
第1章:Oracle數(shù)據(jù)庫(kù)
第二章:java8編程入門
第三章:java8面向?qū)ο?/p>
第四章:java8高級(jí)編程
第五章:深入java虛擬機(jī)
第六章:java業(yè)務(wù)分析設(shè)計(jì)實(shí)例
第二階段:大數(shù)據(jù)基礎(chǔ)之Linux知識(shí)
第*章:虛擬機(jī)知識(shí)
第二章:Linux shell基礎(chǔ)命令
第三階段:大數(shù)據(jù)入門(技術(shù)和思想上入門)
第1章:大數(shù)據(jù)介紹
第二章:Zookeeper
第三章:分布式存儲(chǔ)HDFS
第四章:分布式計(jì)算MapReduce
第五章:分布式資源管理Yarn
第四階段:大數(shù)據(jù)高效存儲(chǔ)之Hbase
第1章:Hbase應(yīng)用實(shí)戰(zhàn)
第二章:Hbase運(yùn)維相關(guān)
第五階段:Scala語(yǔ)言學(xué)習(xí)
第1章:認(rèn)識(shí)Scala
第二章:十二步體驗(yàn)Scala
第三章:Scala面向?qū)ο缶幊袒A(chǔ)
第四章:Scala函數(shù)式編程基礎(chǔ)
第五章:模式匹配
第六章:隱式系統(tǒng)
第七章:類型系統(tǒng)
第八章:集合框架
第六階段:大數(shù)據(jù)高效計(jì)算之Spark
第1章:正確理解Spark
第二章:Spark Core 之 RDD API
第三章:Spark Core之正確提交Spark應(yīng)用
第四章:Spark Core之Schedulers On Driver
第五章:Spark SQL的前世今生以及未來(lái)
第六章:玩轉(zhuǎn)Spark SQL
第七章:Spark Streaming編程模型
第八章:Spark Streaming性能與穩(wěn)定
第九章:Spark Streaming容錯(cuò)與語(yǔ)義
第十章:Flume Kafka Spark Streaming
第七階段:大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建
第1章:Spark SQL with Hive
第二章:Hive
第三章:Impala
第四章:Sqoop
第五章:CDH安裝
第六章:Data Warehouse
最終階段:職業(yè)規(guī)劃,多種類型的大數(shù)據(jù)崗位,將根據(jù)學(xué)員所擅長(zhǎng)的方向進(jìn)行選擇,并安排就業(yè)。
大數(shù)據(jù)數(shù)據(jù)分析方向
大數(shù)據(jù)清洗師
薪資:15K-20K
技能:1、掌握大數(shù)據(jù)平臺(tái)中常用數(shù)據(jù)采集、抽取、整理方法;
2、數(shù)據(jù)Python、Scala、SQL等語(yǔ)言,能夠?qū)?shù)據(jù)按照需求進(jìn)行轉(zhuǎn)換;
大數(shù)據(jù)分析師
薪資:25K-45K
技能:1、掌握大數(shù)據(jù)平臺(tái)數(shù)據(jù)分析方法,掌握Python、Scala、SQL等語(yǔ)言
2、熟悉常用的機(jī)器學(xué)習(xí)算法,處理各種類型復(fù)雜數(shù)據(jù),能從數(shù)據(jù)中提取有價(jià)值信息;
大數(shù)據(jù)科學(xué)家
薪資:50K
技能:1、掌握統(tǒng)計(jì)、概率、線性代數(shù)等數(shù)學(xué)理論;
2、掌握機(jī)器學(xué)習(xí)算法,熟悉業(yè)務(wù)和數(shù)據(jù),針對(duì)數(shù)據(jù)建立模型;
3、掌握Scala、Python等開發(fā)語(yǔ)言,熟悉在大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)挖掘;
4、掌握大數(shù)據(jù)生態(tài)系統(tǒng)架構(gòu),熟悉數(shù)據(jù)的ETL過(guò)程,熟悉業(yè)務(wù)數(shù)據(jù);
大數(shù)據(jù)應(yīng)用開發(fā)方向
大數(shù)據(jù)開發(fā)工程師
薪資:20K-30K
技能:1、掌握Python、Java、Scala等開發(fā)語(yǔ)言,能夠按照需求開發(fā)大數(shù)據(jù)平臺(tái)組件應(yīng)用
高級(jí)開發(fā)工程師
薪資:25K-45K
技能:1、具備良好的Hadoop生態(tài)系統(tǒng)的技術(shù)基礎(chǔ),熟悉業(yè)務(wù)和數(shù)據(jù),根據(jù)不同業(yè)務(wù)特性設(shè)計(jì)架構(gòu),對(duì)整個(gè)公司的數(shù)據(jù)中心架構(gòu)進(jìn)行審視和優(yōu)化改善;
2、熟悉數(shù)據(jù)中心安全策略;
組件代碼提交者
薪資:45K
技能:1、成為Hadoop生態(tài)系統(tǒng)組件代碼提交者(Commitor),對(duì)組件的發(fā)展方向具有影響;
大數(shù)據(jù)運(yùn)維管理方向
大數(shù)據(jù)運(yùn)維工程師
薪資:15K-20K
技能:1、掌握基本的Linux命令,會(huì)配置基礎(chǔ)服務(wù);搭建Hadoop集群,日常管理、監(jiān)控和維護(hù);
高級(jí)運(yùn)維工程師
薪資:18K-25K
技能:1、掌握Shell、Python等開發(fā)語(yǔ)言,具備運(yùn)行腳本語(yǔ)言自動(dòng)化集群部署、管理和監(jiān)控能力;
2、高效的維護(hù)企業(yè)數(shù)據(jù)中心,有效分隔來(lái)自不同數(shù)據(jù)部門的需求;掌握Hadoop常用組件的安裝、優(yōu)化;
大數(shù)據(jù)架構(gòu)師
薪資:20K-30K
技能:1、具備良好的Hadoop生態(tài)系統(tǒng)的技術(shù)基礎(chǔ),熟悉業(yè)務(wù)和數(shù)據(jù),根據(jù)不同業(yè)務(wù)特性設(shè)計(jì)架構(gòu),對(duì)整個(gè)公司的數(shù)據(jù)中心架構(gòu)進(jìn)行審視和優(yōu)化改善;
2、熟悉數(shù)據(jù)中心安全策略;