
大數(shù)據(jù)開發(fā)工程師課程簡介
對于“大數(shù)據(jù)”(Big data),研究機構(gòu)Gartner給出了這樣的定義:“大數(shù)據(jù)”是需要 新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。麥肯錫全球研究所給出的定義是:一種規(guī)大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合,具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征。
大數(shù)據(jù)時代的出現(xiàn),未來30年將對計劃經(jīng)濟和市場經(jīng)濟進行重新定義。在大數(shù)據(jù)時代,人類獲得數(shù)據(jù)能力遠(yuǎn)遠(yuǎn)超過大家想象,我們對世界的<br>認(rèn)識要提升到新 的高度。在國內(nèi),普通大數(shù)據(jù)開發(fā)工程師的基本崗位薪資起步即10000元/月,一般入職薪資13000元/月 左右,2年以上工作經(jīng)驗的大數(shù)據(jù)開發(fā)工程師薪資高達(dá)30000元/月以上。
課程特色:
1.完備且標(biāo)準(zhǔn)的大數(shù)據(jù)技術(shù)教程使你零基礎(chǔ)掌握大數(shù)據(jù)核心技術(shù)。
2.大數(shù)據(jù)*前沿分布式計算技術(shù)Spark的精講。
3.以企業(yè)實際項目為案例,掌握大數(shù)據(jù)數(shù)據(jù)倉庫的全面知識。
課程簡介:
階段:大數(shù)據(jù)基礎(chǔ)之Java入門
第1章:Oracle數(shù)據(jù)庫
第二章:java8編程入門
第三章:java8面向?qū)ο?/p>
第四章:java8高級編程
第五章:深入java虛擬機
第六章:java業(yè)務(wù)分析設(shè)計實例
第二階段:大數(shù)據(jù)基礎(chǔ)之Linux知識
第*章:虛擬機知識
第二章:Linux shell基礎(chǔ)命令
第三階段:大數(shù)據(jù)入門(技術(shù)和思想上入門)
第1章:大數(shù)據(jù)介紹
第二章:Zookeeper
第三章:分布式存儲HDFS
第四章:分布式計算MapReduce
第五章:分布式資源管理Yarn
第四階段:大數(shù)據(jù)高效存儲之Hbase
第1章:Hbase應(yīng)用實戰(zhàn)
第二章:Hbase運維相關(guān)
第五階段:Scala語言學(xué)習(xí)
第1章:認(rèn)識Scala
第二章:十二步體驗Scala
第三章:Scala面向?qū)ο缶幊袒A(chǔ)
第四章:Scala函數(shù)式編程基礎(chǔ)
第五章:模式匹配
第六章:隱式系統(tǒng)
第七章:類型系統(tǒng)
第八章:集合框架
第六階段:大數(shù)據(jù)高效計算之Spark
第1章:正確理解Spark
第二章:Spark Core 之 RDD API
第三章:Spark Core之正確提交Spark應(yīng)用
第四章:Spark Core之Schedulers On Driver
第五章:Spark SQL的前世今生以及未來
第六章:玩轉(zhuǎn)Spark SQL
第七章:Spark Streaming編程模型
第八章:Spark Streaming性能與穩(wěn)定
第九章:Spark Streaming容錯與語義
第十章:Flume Kafka Spark Streaming
第七階段:大數(shù)據(jù)數(shù)據(jù)倉庫構(gòu)建
第1章:Spark SQL with Hive
第二章:Hive
第三章:Impala
第四章:Sqoop
第五章:CDH安裝
第六章:Data Warehouse
最終階段:職業(yè)規(guī)劃,多種類型的大數(shù)據(jù)崗位,將根據(jù)學(xué)員所擅長的方向進行選擇,并安排就業(yè)。
大數(shù)據(jù)數(shù)據(jù)分析方向
大數(shù)據(jù)清洗師
薪資:15K-20K
技能:1、掌握大數(shù)據(jù)平臺中常用數(shù)據(jù)采集、抽取、整理方法;
2、數(shù)據(jù)Python、Scala、SQL等語言,能夠?qū)?shù)據(jù)按照需求進行轉(zhuǎn)換;
大數(shù)據(jù)分析師
薪資:25K-45K
技能:1、掌握大數(shù)據(jù)平臺數(shù)據(jù)分析方法,掌握Python、Scala、SQL等語言
2、熟悉常用的機器學(xué)習(xí)算法,處理各種類型復(fù)雜數(shù)據(jù),能從數(shù)據(jù)中提取有價值信息;
大數(shù)據(jù)科學(xué)家
薪資:50K
技能:1、掌握統(tǒng)計、概率、線性代數(shù)等數(shù)學(xué)理論;
2、掌握機器學(xué)習(xí)算法,熟悉業(yè)務(wù)和數(shù)據(jù),針對數(shù)據(jù)建立模型;
3、掌握Scala、Python等開發(fā)語言,熟悉在大數(shù)據(jù)平臺實現(xiàn)數(shù)據(jù)挖掘;
4、掌握大數(shù)據(jù)生態(tài)系統(tǒng)架構(gòu),熟悉數(shù)據(jù)的ETL過程,熟悉業(yè)務(wù)數(shù)據(jù);
大數(shù)據(jù)應(yīng)用開發(fā)方向
大數(shù)據(jù)開發(fā)工程師
薪資:20K-30K
技能:1、掌握Python、Java、Scala等開發(fā)語言,能夠按照需求開發(fā)大數(shù)據(jù)平臺組件應(yīng)用
高級開發(fā)工程師
薪資:25K-45K
技能:1、具備良好的Hadoop生態(tài)系統(tǒng)的技術(shù)基礎(chǔ),熟悉業(yè)務(wù)和數(shù)據(jù),根據(jù)不同業(yè)務(wù)特性設(shè)計架構(gòu),對整個公司的數(shù)據(jù)中心架構(gòu)進行審視和優(yōu)化改善;
2、熟悉數(shù)據(jù)中心安全策略;
組件代碼提交者
薪資:45K
技能:1、成為Hadoop生態(tài)系統(tǒng)組件代碼提交者(Commitor),對組件的發(fā)展方向具有影響;
大數(shù)據(jù)運維管理方向
大數(shù)據(jù)運維工程師
薪資:15K-20K
技能:1、掌握基本的Linux命令,會配置基礎(chǔ)服務(wù);搭建Hadoop集群,日常管理、監(jiān)控和維護;
高級運維工程師
薪資:18K-25K
技能:1、掌握Shell、Python等開發(fā)語言,具備運行腳本語言自動化集群部署、管理和監(jiān)控能力;
2、高效的維護企業(yè)數(shù)據(jù)中心,有效分隔來自不同數(shù)據(jù)部門的需求;掌握Hadoop常用組件的安裝、優(yōu)化;
大數(shù)據(jù)架構(gòu)師
薪資:20K-30K
技能:1、具備良好的Hadoop生態(tài)系統(tǒng)的技術(shù)基礎(chǔ),熟悉業(yè)務(wù)和數(shù)據(jù),根據(jù)不同業(yè)務(wù)特性設(shè)計架構(gòu),對整個公司的數(shù)據(jù)中心架構(gòu)進行審視和優(yōu)化改善;
2、熟悉數(shù)據(jù)中心安全策略;