滴滴認(rèn)證資深大數(shù)據(jù)工程師培養(yǎng)計(jì)劃
為什么選擇后廠理工學(xué)院&滴滴出行大數(shù)據(jù)課程
課程定位
資深課程依托于滴滴蓋亞開放數(shù)據(jù)計(jì)劃脫敏后的開放數(shù)據(jù)集,使用前沿的大數(shù)據(jù)技術(shù)對(duì)海量數(shù)據(jù)進(jìn)行采集、存儲(chǔ)、分析處理、展現(xiàn)等端到端全鏈路處理過程,理論、實(shí)戰(zhàn)相結(jié)合的課程.區(qū)別于市面上多數(shù)技術(shù)難點(diǎn)和深度較低的課程,更區(qū)別于一些拼湊式的demo項(xiàng)目
課程實(shí)戰(zhàn)項(xiàng)目
資深課程中涉及到的技術(shù),我們都采用開源技術(shù),同時(shí)部分需求需要在開源技術(shù)的基礎(chǔ)之上進(jìn)行二次源碼級(jí)的開發(fā)和優(yōu)化,區(qū)別普通大數(shù)據(jù)項(xiàng)目的開發(fā),對(duì)人員的編碼能力要求極具挑戰(zhàn)。適合具有多年編程經(jīng)驗(yàn),想通過完整項(xiàng)目實(shí)戰(zhàn)提升自身實(shí)戰(zhàn)能力的人群,同時(shí)適應(yīng)多年DBA工作經(jīng)驗(yàn)的人群想做最后一次努力去擁抱大數(shù)據(jù),跟上技術(shù)潮流
課程知識(shí)體系
課程在設(shè)計(jì)上與滴滴進(jìn)行了深入的探討,對(duì)于項(xiàng)目涉及到的訂單和軌跡數(shù)據(jù)中的敏感信息進(jìn)行了脫敏,把授課的內(nèi)容重點(diǎn)放在數(shù)據(jù)處理的解決方案和實(shí)現(xiàn)上,知識(shí)點(diǎn)貫穿前端,java中臺(tái),大數(shù)據(jù)后端,項(xiàng)目代碼管理等多個(gè)環(huán)節(jié),重塑學(xué)生的知識(shí)體系,系統(tǒng)而又全面的將工作中需要技術(shù)解決方案和經(jīng)驗(yàn)教授給大家,幫助大家對(duì)于一個(gè)完成項(xiàng)目開發(fā)過程有一個(gè)整體的掌握
授課形式
資深課程以正式直播課為主,直播答疑課為輔,幫助學(xué)生解決學(xué)習(xí)中的難點(diǎn)和問題進(jìn)行自身能力全面提升。真正做到為學(xué)生負(fù)責(zé),為我們的教育結(jié)果負(fù)責(zé)。整個(gè)課程不單單只是一門課,而是培養(yǎng)一位具有職業(yè)全能競(jìng)爭(zhēng)力的大數(shù)據(jù)工程師
課程適合人群
具有一定的大數(shù)據(jù)技術(shù)與分布式系統(tǒng)的理論基礎(chǔ),需要了解大數(shù)據(jù)技術(shù)在實(shí)際業(yè)務(wù)中如何使用的人員
有過Java,Scala編程經(jīng)驗(yàn),想要系統(tǒng)地學(xué)習(xí)大數(shù)據(jù)項(xiàng)目開發(fā)完整流程的人員
具有3-5年大數(shù)據(jù)開發(fā)經(jīng)驗(yàn),想要積累自己的項(xiàng)目經(jīng)驗(yàn)的人群
有較強(qiáng)的思維邏輯能力,應(yīng)對(duì)復(fù)雜業(yè)務(wù)場(chǎng)景處理,需要提升自身端到端大數(shù)據(jù)全棧開發(fā)能力的人群
學(xué)習(xí)本課程您能掌握
1. 掌握數(shù)據(jù)從終端(APP)的產(chǎn)生到數(shù)據(jù)中臺(tái)處理再到大數(shù)據(jù)后臺(tái)處理的整個(gè)鏈路技術(shù)
2. 掌握大數(shù)據(jù)量計(jì)算與存儲(chǔ)分離解決方案,海量級(jí)數(shù)據(jù)秒查詢優(yōu)化方案
3. 掌握真實(shí)企業(yè)大數(shù)據(jù)平臺(tái)(CDH)調(diào)優(yōu)
4. 大數(shù)據(jù)主流技術(shù)hadoop二次開發(fā)修改NameNode的bug,hbase,kafka源碼,spark自定義數(shù)據(jù)源實(shí)現(xiàn)列剪枝靈活查詢海量數(shù)據(jù)
5. 重構(gòu)SparkSql構(gòu)建多數(shù)據(jù)源(hbase,redis,jdbc,kafka,elasticsearch)的數(shù)據(jù)查詢平臺(tái)
課程大綱
后廠理工學(xué)院嚴(yán)格遵守滴滴出行的數(shù)據(jù)安全標(biāo)準(zhǔn),本培養(yǎng)計(jì)劃中:訂單、車輛分布和收入總數(shù)等數(shù)據(jù)均采用模擬數(shù)據(jù)集實(shí)現(xiàn),此類功能點(diǎn)在大綱中用標(biāo)注。
海量數(shù)據(jù)實(shí)時(shí)可視化項(xiàng)目
hadoop nameNode秒級(jí)千次高并發(fā)源碼改造項(xiàng)目
Kafka核心源碼剖析與每秒GB級(jí)數(shù)據(jù)場(chǎng)景實(shí)例分析
SparkSQl重構(gòu)自定義多數(shù)據(jù)源處理平臺(tái)項(xiàng)目