課程優(yōu)勢:
1. 真正的大數(shù)據(jù)處理及開發(fā)技術(shù)課程
2. 課程源于甲骨文雇主企業(yè)的需求,真正符合企業(yè)用人需要
3. 由獲取甲骨文原廠國際認證的講師授課
4. 理論與實踐并重,多個企業(yè)真實項目案例貫穿其中
5. 真正的Oracle原廠教材,完整規(guī)范的技術(shù)知識體系
6. Oracle標準課程與國內(nèi)主流技術(shù)的有機整合,實用性與指導(dǎo)性并重
7. 涵蓋最為流行Hadoop、MapReduce、HDFS、Hive、Pig、Spark等技術(shù)
8. 涵蓋NoSQL海量存儲數(shù)據(jù)庫HBase與開源關(guān)系型數(shù)據(jù)庫MySQL
9. 涵蓋大數(shù)據(jù)分析和統(tǒng)計專業(yè)R編程語言和Java編程語言
10. 具備獲取Oracle原廠國際認證OCJP和OCE-WCD的能力
適用群體:大專及以上學(xué)歷,具備基本的計算機操作能力、基本的英語閱讀能力
培養(yǎng)目標:具備高端、多方位、專業(yè)級水平的大數(shù)據(jù)軟件開發(fā)人才
就業(yè)崗位:大數(shù)據(jù)工程師、大數(shù)據(jù)應(yīng)用開發(fā)工程師、Hadoop開發(fā)工程師、Java研發(fā)工程師、Spark開發(fā)工程師、數(shù)據(jù)分析師、大數(shù)據(jù)云維工程師、大數(shù)據(jù)系統(tǒng)研發(fā)工程師、大數(shù)據(jù)監(jiān)控工程師
課程內(nèi)容:
課程名稱
課程及實訓(xùn)內(nèi)容
C1 Linux操作系統(tǒng)使用與管理
主題
主要知識點
Linux發(fā)展歷史
UNIX和Linux的歷史、現(xiàn)狀及發(fā)展;Linux操作的不同產(chǎn)品。
安裝Linux操作系統(tǒng)
Linux操作系統(tǒng)的安裝與初始化配置。
常用命令
Linux基本命令、常用命令操作;vi編輯器的三種狀態(tài)及狀態(tài)間的切換、常用的編輯命令。
用戶管理
用戶和組的概念、口令、權(quán)限等管理機制;系統(tǒng)管理、啟動過程、任務(wù)調(diào)度;root密碼安全設(shè)置。
服務(wù)管理
Service概念;環(huán)境變量設(shè)置;進程的查看、監(jiān)視、調(diào)度和控制;遠程Telnet,F(xiàn)TP等網(wǎng)絡(luò)技術(shù)。
文件管理
Linux的基本的目錄結(jié)構(gòu)、文件屬性和訪問權(quán)限。
磁盤管理
磁盤分區(qū)、磁盤的掛接原理;為Linux增加磁盤;邏輯卷管理。
進程管理
Linux進程的概念,進程的基本原理;進程相關(guān)的管理命令。
C2 Linux操作系統(tǒng)管理與維護
主題
主要知識點
Vi編輯器高級應(yīng)用
Vi編輯器的高級命令,包括文本位移、字符串檢索、全局替換、shell插入、緩沖區(qū)等。
使用udev工具
udev的概念和用途,使用udev設(shè)定設(shè)備文件屬性。
軟件管理
配置系統(tǒng)參數(shù),加載RPM包,啟動與關(guān)閉,賬戶安全、目錄樹等基本概念。
模塊管理
Linux的構(gòu)成,存儲模塊、文件管理模塊、用戶組群管理模塊、網(wǎng)絡(luò)管理模塊、磁盤管理模塊。
文件系統(tǒng)
Linux文件及目錄屬性,用戶組群管理時對其訪問權(quán)限的設(shè)定,實際工作中的應(yīng)用范例。
主機信任關(guān)系
Linux兩節(jié)點間如何設(shè)置信任關(guān)系,無障礙收發(fā)信息等實用功能設(shè)置。
網(wǎng)絡(luò)管理與服務(wù)
TCP/IP基礎(chǔ),網(wǎng)絡(luò)和主機地址、網(wǎng)關(guān)、子網(wǎng)、路由等概念,NTP、NFS、Samba、DNS、Web服務(wù)的配置。
高級服務(wù)管理
日志的原理及用途、日志的結(jié)構(gòu),設(shè)置服務(wù)屬性,調(diào)整服務(wù)的啟動和關(guān)閉順序。
備份與恢復(fù)
系統(tǒng)備份和恢復(fù)技; 日志分析;調(diào)節(jié)和維護系統(tǒng)內(nèi)核參數(shù)。
P1 項目實訓(xùn)
名稱
項目描述
TNA系統(tǒng)Linux基礎(chǔ)架構(gòu)
實現(xiàn)一個真實的、基于B/S架構(gòu)的《電信網(wǎng)絡(luò)學(xué)院(TNA)系統(tǒng)》的Linux基礎(chǔ)架構(gòu),項目關(guān)注于在Linux操作系統(tǒng)上搭建項目所需的基礎(chǔ)架構(gòu)平臺。根據(jù)TNA項目的要求,完成底層Linux操作系統(tǒng)的用戶、權(quán)限配置、磁盤及文件的規(guī)劃和配置,以及中間件(如JDK和Tomcat)和IDE開發(fā)環(huán)境的安裝和配置等工作。
C3 Java編程語言基礎(chǔ)
主題
主要知識點
走進Java語言
Java編程語言的特性;三大平臺;JVM/ JRE/ JDK的概念和區(qū)別;JDK開發(fā)環(huán)境
變量和數(shù)據(jù)類型
變量和運算符;表達式;十六進制、二進制、八進制及轉(zhuǎn)換;字節(jié)與位;位的與、或、異或、補運算;八種基本數(shù)據(jù)類型;字符串與標識符;注釋語句
分支和循環(huán)語句
if /switch分支語句、while/ do-while/ for循環(huán)語句、增強型for循環(huán)
聲明和使用方法
方法的聲明和調(diào)用;重載方法
類和對象
面向?qū)ο蟮木幊蹋活惡蛯ο?;字?屬性;垃圾回收
類的封裝
類的封裝;public與private訪問控制修飾符
聲明和使用構(gòu)造器
構(gòu)造器的聲明和使用;對象的內(nèi)存模型
創(chuàng)建和使用數(shù)組
聲明和使用數(shù)組、多維數(shù)組;命令行參數(shù);方法的可變參數(shù)
P2 項目實訓(xùn)
名稱
項目描述
A.家庭收支記賬軟件
模擬實現(xiàn)一個基于文本界面的《家庭收支記賬軟件》,該軟件能夠記錄家庭的收入、支出,并能夠生成收支明細表。該項目的目的在于掌握初步的編程技巧和調(diào)試技巧。主要涉及以下知識點:局部變量和基本數(shù)據(jù)類型、循環(huán)語句、分支語句、方法調(diào)用和返回值的接收、簡單的屏幕輸出格式控制。
B.客戶信息管理軟件
模擬實現(xiàn)一個基于文本界面的《客戶信息管理軟件》,該軟件能夠?qū)崿F(xiàn)對客戶對象的插入、修改和刪除,并能夠打印生成客戶明細表。該項目的目的是進一步掌握編程技巧和調(diào)試技巧,熟悉面向?qū)ο缶幊獭V饕婕耙韵轮R點:類和對象(屬性、方法及構(gòu)造器)、類的封裝、引用數(shù)組、數(shù)組的插入刪除和替換、對象的聚集處理、多對象協(xié)同工作。
C4 Java面向?qū)ο蟮暮诵倪壿?/p>
主題
主要知識點
類的繼承
類的繼承;方法覆蓋
多 態(tài)
多態(tài)引用和多態(tài)參數(shù)、instanceof運算符與對象的強制類型轉(zhuǎn)換
對象關(guān)聯(lián)與Object類
對象的關(guān)聯(lián)與包容;繼承Object類并使用equals、hashcode和toString方法
static與final修飾符
static與final修飾符的功能;修飾類、屬性、方法的作用
抽象類、接口和枚舉
聲明和使用抽象類、接口、枚舉類
包的管理
package與import;jar包的管理;靜態(tài)導(dǎo)入
異 常
異常的概念和用途、受檢異常和非受檢異常;異常的常用處理手段
P3項目實訓(xùn)
名稱
項目描述
開發(fā)團隊調(diào)度軟件
模擬實現(xiàn)一個基于文本界面的《開發(fā)團隊人員調(diào)度軟件》,該軟件實現(xiàn)以下功能:
“根據(jù)給定的數(shù)據(jù)創(chuàng)建公司部分成員列表,基于現(xiàn)有的公司成員,組建一個開發(fā)團隊以開發(fā)一個新的項目。開發(fā)團隊成員包括架構(gòu)師、設(shè)計師和程序員。”;該項目的目的是熟悉Java面向?qū)ο蟮母呒壧匦裕M一步掌握編程技巧和調(diào)試技巧;主要涉及以下知識點:類的繼承和多態(tài)、對象的關(guān)聯(lián)、static和final修飾符、特殊類的使用、異常處理等。
C5 開發(fā)JavaSE高級應(yīng)用程序
主題
主要知識點
使用基礎(chǔ)API
包裹類與拆箱/裝箱、java.util.Math類、String/ StringBuffer/ StringBuilder類
集合與泛型
集合框架;Collection/Set/List類型的集合;泛型的使用;泛型的通配符類型參數(shù)
集合高級應(yīng)用
HastSet/TreeSet集合算法與數(shù)據(jù)結(jié)構(gòu);;ArrayList/LinkedList集合算法與數(shù)據(jù)結(jié)構(gòu);Map集合;迭代器與遍歷集合
I/O數(shù)據(jù)流訪問
I/O的輸入輸出流、字節(jié)流與字符流;字符流鏈接與包裝;字符節(jié)鏈接與包裝
文件與對象序列化
File對象API;文件信息封裝、目錄信息封裝;標準對象的序列化與反序列化;自定義序列化對象
控制臺與格式化I/O
標準控制臺I/O;scanf格式化輸入;字符串格式化輸出、日期時間格式化輸出
創(chuàng)建和使用線程
多線程的創(chuàng)建與啟動;線程的控制和結(jié)束;線程的基本狀態(tài)、Sleep()、Join()方法
線程同步與交互
線程的共享數(shù)據(jù);線程的同步、synchronized;線程的交互、wait()與notify()
P4項目實訓(xùn)
名稱
項目描述
單機考試管理軟件
仿真實現(xiàn)一個基于文本界面的《單機考試系統(tǒng)》,該系統(tǒng)能夠提供機上考試功能,并且能夠自動判分;能夠自動記錄最后考試成績、查詢顯示考試的答題情況和成績。該項目以增量方式開發(fā),幫助學(xué)員建立查看使用API文檔的習(xí)慣、掌握編程技巧和調(diào)試技巧。項目主要涉及以下主要知識點:基礎(chǔ)API、集合的存儲與遍歷、I/O流基礎(chǔ)知識、I/O流的鏈接、將散裝數(shù)據(jù)合成對象、控制臺I/O等。
C6 MySQL數(shù)據(jù)庫設(shè)計與開發(fā)
主題
主要知識點
走進MySQL數(shù)據(jù)庫
MySQL發(fā)展簡史與產(chǎn)品構(gòu)成;MySQL數(shù)據(jù)庫安裝;經(jīng)典world數(shù)據(jù)庫。
服務(wù)器與客戶端
MySQL服務(wù)器的啟動與停止、客戶端常用命令。
表數(shù)據(jù)查詢
使用SELECT語句查詢表數(shù)據(jù);MySQL的數(shù)值、字符串、日期/時間等數(shù)據(jù)類型;使用SQL表達式。
管理數(shù)據(jù)庫和表
創(chuàng)建、修改和刪除數(shù)據(jù)庫;創(chuàng)建、修改和刪除表。
操作表數(shù)據(jù)
使用INSERT/UPDATE/DELETE進行數(shù)據(jù)的插入、修改和刪除。
表的聯(lián)接
聯(lián)接(join)概念;在SQL中聯(lián)接表;基本聯(lián)接、內(nèi)聯(lián)接、外聯(lián)接。
預(yù)處理語句
預(yù)備、關(guān)閉預(yù)處理語句,基于參數(shù)執(zhí)行預(yù)處理。
使用外鍵
外鍵、外鍵約束和引用完整性。
事務(wù)與隔離級別
使用事務(wù)控制語句執(zhí)行多個并發(fā)的SQL語句;理解事務(wù)的ACID屬性;事務(wù)的隔離級別。
C7 Hadoop大數(shù)據(jù)處理
主題
主要知識點
大數(shù)據(jù)與Hadoop
大數(shù)據(jù)的概念與特點;Hadoop發(fā)展歷史;Hadoop在大數(shù)據(jù)處理中的應(yīng)用;Hadoop生態(tài)系統(tǒng)
配置Hadoop運行環(huán)境
Hadoop的三種運行模式;Hadoop安裝環(huán)境配置;Hadoop進程啟停;執(zhí)行經(jīng)典案例WordCount
Hadoop系統(tǒng)架構(gòu)
Hadoop 基本原理;Hadoop 1.x架構(gòu)及后臺進程;HDFS架構(gòu)與命名空間;HDFS數(shù)據(jù)存儲與復(fù)制
使用HDFS文件系統(tǒng)
HDFS常用命令,如ls、cat、put、get等;HDFS管理與維護,safemode管理,balancer工具等
開發(fā)HDFS應(yīng)用程序
使用Eclipse IDE,安裝Hadoop插件;使用Hadoop API訪問HDFS,包括文件讀寫、管理等
MapReduce分布式計算
MapReduce編程模型及工作原理; MapReduce作業(yè)調(diào)度;分析WordCount運行原理,分析源代碼
開發(fā)MapReduce應(yīng)用程序
MapReduce程序自定義Combiner;內(nèi)置數(shù)據(jù)類型、自定義數(shù)據(jù)類型;實現(xiàn)MapReduce組合式作業(yè)
大數(shù)據(jù)處理平臺Pig
Pig大數(shù)據(jù)處理平臺;Pig工作模式;Pig運行方式;Pig Latin語法、操作命令、數(shù)據(jù)類型、表達式等
開發(fā)Pig腳本應(yīng)用
Pig常用函數(shù)、不同類型的數(shù)據(jù)檢索,包括建表、查詢、關(guān)聯(lián)查詢等;開發(fā)Pig腳本應(yīng)用程序
數(shù)據(jù)倉庫工具Hive
數(shù)據(jù)倉庫簡介;數(shù)據(jù)倉庫工具Hive的用途;Hive架構(gòu);Hive三種運行模式;Hive QL的JDBC編程
無限大表數(shù)據(jù)庫HBase
Hadoop數(shù)據(jù)庫HBase用途;HBase邏輯模型與物理模型;HBase Shell模式命令、HBase API編程
P5 項目實訓(xùn)
名稱
項目描述
HDFS大數(shù)據(jù)云盤
實現(xiàn)一個Web客戶端的大數(shù)據(jù)云盤系統(tǒng)。該系統(tǒng)以Hadoop的HDFS文件系統(tǒng)為存儲介質(zhì),因些具有海量存儲的能力。云盤系統(tǒng)可供用戶上傳文件、查看、管理和共享云文件。項目主要涉及以下知識點:搭建和配置Hadoop環(huán)境,啟動Hadoop進程,HDFS文件命令使用,使用HDFS API,編寫處理HDF云盤處理程序,用Web界面查看操作HDFS等。
C8 Hadoop管理與維護
主題
主要知識點
Hadoop系統(tǒng)部署
Hadoop系統(tǒng)部署的相關(guān)因素,包括機架、主從節(jié)點、網(wǎng)絡(luò)等;集群的規(guī)模規(guī)劃;虛擬機和云部署
Hadoop日常維護
Hadoop系統(tǒng)的均衡性、Hadoop性能調(diào)優(yōu);常用維護命令;系統(tǒng)監(jiān)控與日志;數(shù)據(jù)可靠性和容錯性
基于Kerberos的安全配置
Hadoop系統(tǒng)安全問題;Kerberos工作原理;Kerberos運行過程;Kerberos安全機制的配置
Hadoop管理工具
Hadoop Web界面管理工具Hue;Hadoop集群部署與監(jiān)控工具Ambari
ZooKeeper與配置管理
集群環(huán)境下的配置管理;ZooKeeper的用途;ZooKeeper架構(gòu);Zookeeper數(shù)據(jù)模型;ZooKeeper應(yīng)用
HDFS的維護與性能優(yōu)化
HDFS文件訪問與控制、命令行與API方式;HDFS性能優(yōu)化、數(shù)據(jù)塊、存儲平衡;HDFS小文件存儲
內(nèi)數(shù)據(jù)整合工具HCatalog
HCatalog的需求與實現(xiàn);MapReduce、Pig使用HCatalog管理數(shù)據(jù);HCatalog的命令行與通知
外數(shù)據(jù)整合工具Sqoop
Sqoop的功能與用途;Sqoop導(dǎo)入數(shù)據(jù)、導(dǎo)出數(shù)據(jù);Sqoop與Hive結(jié)合使用;處理大對象數(shù)據(jù)
P6 項目實訓(xùn)
美國歷年航班大數(shù)據(jù)統(tǒng)計分析
本項目基于美國民航航班的歷年數(shù)據(jù)(1987年-2008年),計算處理某一年各個航班的飛行架次等數(shù)據(jù)。項目將原始數(shù)據(jù)上傳到Hadoop的HDFS上,通過編寫MapReduce程序讀取航班數(shù)據(jù)并計算和統(tǒng)計航班相關(guān)數(shù)據(jù)。項目主要涉及以下知識點:搭建和配置Hadoop環(huán)境,啟動Hadoop進程,開發(fā)航班處理MapReduce程序、Pig腳本程序,使用Hive JDBC處理數(shù)據(jù),通過JSP查詢處理過結(jié)果。
C9 Spark大數(shù)據(jù)處理
主題
主要知識點
Spark簡介
Spark的發(fā)展史;Spark的特點和作用;Spark的體系結(jié)構(gòu);Spark的框架;Spark的生態(tài)系統(tǒng);Spark的數(shù)據(jù)存儲
Spark環(huán)境配置
Spark運行環(huán)境配置;Spark開發(fā)環(huán)境的配置;Spark編譯環(huán)境配置
Spark編程模型概述
Spark編程模型概述;SparkContext;RDD簡介;共享變量;Spark核心開發(fā)實踐
Spark內(nèi)部機制
RDD接口;RDD分區(qū)和依賴關(guān)系;RDD計算函數(shù);RDD的分區(qū)器和持久化;Spark調(diào)度機制;Shuffle過程
Spark SQL
Spark SQL入門;數(shù)據(jù)源;分布式SQL引擎;Shark遷移至Spark SQL指南;Spark SQL數(shù)據(jù)類型
Spark Streaming
Spark Streaming簡介;入門實例;基本概念
Spark GraphX
Spark GraphX簡介;屬性圖;圖操作;圖構(gòu)造器;頂點與邊相關(guān)RDD;最優(yōu)化表示;圖算法
Spark MLib
Spark MLib簡介;數(shù)據(jù)類型;基本統(tǒng)計分析;分類與回歸;協(xié)同過濾;聚類;降維;特征提取與轉(zhuǎn)換;最優(yōu)化算法
SparkR
SparkR DataFrame DataFrame的相關(guān)操作;從SparkR運行SQL查詢
P7 項目實訓(xùn)
名稱
項目描述
基于大數(shù)據(jù)的百萬歌曲音樂軌跡分析系統(tǒng)
基于公共網(wǎng)站的百萬歌曲音樂實戰(zhàn)大數(shù)據(jù)處理。本項目采用公共網(wǎng)站的百萬歌曲音樂軌跡作為真實的數(shù)據(jù)集,遍歷所有歌曲,進行基本的統(tǒng)計分析,實現(xiàn)歌曲類型分類、排名、年度獲獎歌曲預(yù)測、獲取歌手名單,以及獲取指定歌手的歌曲等功能。項目主要涉及以下知識點:Spark系統(tǒng)部署,Spark編程模型的建立,SparkContext、RDD接口的開發(fā),SparkSQL數(shù)據(jù)引擎的配置開發(fā),Spark MLib的基本數(shù)據(jù)統(tǒng)計與分析。
C10 R語言大數(shù)據(jù)分析與統(tǒng)計
主題
主要知識點
R 語言介紹
R語言歷史;R語言下載和運行環(huán)境;R語言的安裝;R語言的命令包
R語言的基本使用規(guī)則
簡單數(shù)學(xué)運算;數(shù)據(jù)讀取并放入R中;數(shù)據(jù)項的類型和結(jié)構(gòu)保存和加載數(shù)據(jù)
R語言處理數(shù)據(jù)對象
構(gòu)造數(shù)據(jù)對象;匯總數(shù)據(jù)對象;提取并處理數(shù)據(jù)對象;對象不同形式下進行轉(zhuǎn)換
R語言描述統(tǒng)計和制表
匯總數(shù)據(jù)樣本;使用累計統(tǒng)計;創(chuàng)建匯總表格;交叉制表;驗證對象類型
R語言處理數(shù)據(jù)分布
創(chuàng)建直方圖及樣本分布的其他圖表;檢驗各種分布;驗證正太分布;生成隨機數(shù)
R語言簡單假設(shè)驗證
基礎(chǔ)假設(shè)驗證;學(xué)生t檢驗;非參數(shù)數(shù)據(jù)執(zhí)行U檢驗;配對檢驗;生成相關(guān)性和協(xié)方差矩陣;相關(guān)性檢驗;使用卡方分析進行關(guān)聯(lián)關(guān)系檢驗;計算擬合度檢驗的優(yōu)良性
R語言在Hadoop環(huán)境的應(yīng)用
由HDFS收集數(shù)據(jù);處理數(shù)據(jù);描述統(tǒng)計并制表;獲取數(shù)據(jù)分布;對數(shù)據(jù)進行假設(shè)驗證
R語言在Spark環(huán)境的應(yīng)用
由Spark收集數(shù)據(jù);處理數(shù)據(jù);描述統(tǒng)計并制表;獲取數(shù)據(jù)分布;對數(shù)據(jù)進行假設(shè)驗證
P8 項目實訓(xùn)
名稱
項目描述
氣象大數(shù)據(jù)分析與統(tǒng)計系統(tǒng)
基于美國國家氣候數(shù)據(jù)中心收集的全球各地的氣象數(shù)據(jù),進行天氣數(shù)據(jù)的存儲,每日更新,地圖和天氣的可視化,以及用戶的交互,并對天氣數(shù)據(jù)進行基本的統(tǒng)計分析,并對未來的天氣進行預(yù)測。項目主要涉及以下知識點: 導(dǎo)入數(shù)據(jù)到R語言;用R語言構(gòu)造并處理數(shù)據(jù),統(tǒng)計并制表,用R語言創(chuàng)建樣本分布圖及可視化處理,使用基礎(chǔ)的檢驗進行預(yù)測。
開課時間:循環(huán)開課
上課地點:北京市海淀區(qū)北四環(huán)中路229號海泰大廈/鄭州市金水區(qū)農(nóng)業(yè)路東23號 豫星大廈