北京中科院計算所培訓(xùn)中心
7x24小時咨詢熱線
7x24小時咨詢熱線
各有關(guān)單位：
中國科學(xué)院計算技術(shù)研究所是國家專門的計算技術(shù)研究機構(gòu)，同時也是中國信息化建設(shè)的重要支撐單位，中科院計算所培訓(xùn)中心是致力于高端IT類人才培養(yǎng)及企業(yè)內(nèi)訓(xùn)的專業(yè)培訓(xùn)機構(gòu)。中心憑借科學(xué)院的強大師資力量，在總結(jié)多年大型軟件開發(fā)和組織經(jīng)驗的基礎(chǔ)上，自主研發(fā)出一整套課程體系，其目的是希望能夠切實幫助中國軟件企業(yè)培養(yǎng)高級軟件技術(shù)人才，提升整體研發(fā)能力，迄今為止已先后為國家培養(yǎng)了數(shù)萬名計算機專業(yè)人員，并先后為數(shù)千家大型國內(nèi)外企業(yè)進行過專門的定制培訓(xùn)服務(wù)。
Python是數(shù)據(jù)分析常用的語言之一，而Apache
Spark是一個開源的強大的分布式查詢和處理引擎。本培訓(xùn)用詳盡的例子介紹了如何使用Python來調(diào)用Spark的新特性，如何處理結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，如何使用PySpark中一些基本的可用數(shù)據(jù)類型，如何生成機器學(xué)習(xí)模型、操作圖像、閱讀串流數(shù)據(jù)以及在云上部署你的模型。
本培訓(xùn)結(jié)合實例來介紹PySpark大數(shù)據(jù)處理。內(nèi)容包括對Apache Spark基礎(chǔ)知識介紹，彈性分布式數(shù)據(jù)集RDD的內(nèi)部運行方式講解，分析利用DataFrame加速PySpark，準(zhǔn)備數(shù)據(jù)建模，檢查重復(fù)數(shù)據(jù)及異常數(shù)據(jù)，分析描述性統(tǒng)計、數(shù)據(jù)相關(guān)性，介紹MLlib數(shù)據(jù)挖掘工具應(yīng)用，講解ML機器學(xué)習(xí)包功能，使用Blaze實現(xiàn)持久化，講解Tensorflow基礎(chǔ)，分析結(jié)構(gòu)化流Streaming，以及打包Spark應(yīng)用程序，提交作業(yè)和監(jiān)控執(zhí)行等。通過實際操作，了解云環(huán)境下，大數(shù)據(jù)處理、數(shù)據(jù)探索的方法。
一、培訓(xùn)對象
1，有志于成為一名數(shù)據(jù)科學(xué)家的從業(yè)人員。
2，對大數(shù)據(jù)的前沿技術(shù)非常感興趣的人員，有一定算法和編程基礎(chǔ)的技術(shù)愛好者。
3，政府機關(guān)，金融保險、移動等以互聯(lián)網(wǎng)信息為數(shù)據(jù)來源單位的負責(zé)人。
4，高校、科研院所牽涉到網(wǎng)絡(luò)數(shù)據(jù)采集與數(shù)據(jù)處理及展現(xiàn)的項目負責(zé)人。
5，牽涉到網(wǎng)絡(luò)采集、處理和規(guī)劃的負責(zé)人、設(shè)計人員。
二、學(xué)員基礎(chǔ)
1，對IT系統(tǒng)設(shè)計有一定的理論與實踐經(jīng)驗。
2，有一定的python和大數(shù)據(jù)基礎(chǔ)知識和開發(fā)經(jīng)驗。
三、師資
由業(yè)界知名大數(shù)據(jù)專家親自授課：
楊老師
主要研究網(wǎng)絡(luò)信息分析以及云計算相關(guān)技術(shù)，長期從事通信網(wǎng)管系統(tǒng)、網(wǎng)絡(luò)信息處理、商務(wù)智能(BI)以及電信決策支持系統(tǒng)的研究開發(fā)工作，主持和參與了多個國家和省部級基金項目，具有豐富的工程實踐及軟件研發(fā)經(jīng)驗。
三、培訓(xùn)目的
1, 學(xué)習(xí)Python和Spark的相關(guān)知識。
2，學(xué)習(xí)Python和Spark的核心技術(shù)方法及應(yīng)用。
3，了解Python和Spark在數(shù)據(jù)分析中的使用。
四、培訓(xùn)內(nèi)容
第1講 Spark基礎(chǔ)知識
1)什么是Apache Spark
2)Spark作業(yè)和API
3)DataFrame和Dataset
4)Spark 2.0的架構(gòu)
5)SparkSession介紹
6)Tungsten Phase 2
7)結(jié)構(gòu)化流
第二講 彈性分布式數(shù)據(jù)集
1)RDD的內(nèi)部運行方式
2)創(chuàng)建RDD
3)全局作用域和局部作用域
4)RDD轉(zhuǎn)換
5)RDD操作
第三講 利用DataFrame加速PySpark
1)Python到RDD之間的通信
2)Catalyst優(yōu)化器刷新
3)創(chuàng)建DataFrame
4)RDD的交互操作
5)利用DataFrame API查詢
6)利用SQL查詢
7)DataFrame應(yīng)用實例
第四講 準(zhǔn)備數(shù)據(jù)建模
1)檢查重復(fù)數(shù)據(jù)及異常數(shù)據(jù)
2)描述性統(tǒng)計
3)數(shù)據(jù)相關(guān)性
4)數(shù)據(jù)可視化
5)直方圖
第五講 MLlib數(shù)據(jù)挖掘工具
1)MLlib包概述
2)加載和轉(zhuǎn)換數(shù)據(jù)
3)數(shù)據(jù)相關(guān)性和描述性統(tǒng)計
4)創(chuàng)建終數(shù)據(jù)集
5)MLlib應(yīng)用實例-預(yù)測嬰兒生存機會
第六講 ML機器學(xué)習(xí)包
1)ML包的概述
2)分類、回歸和聚類
3)使用ML預(yù)測嬰兒生存率
4)ML超參調(diào)優(yōu)
5)ML的特征提取
6)ML的其他功能
第七講 使用Blaze實現(xiàn)持久化
1)安裝Blaze
2)混合持久化
3)使用NumPy和pandas數(shù)據(jù)
4)與關(guān)系型數(shù)據(jù)庫進行交互
5)數(shù)據(jù)操作和訪問
6)數(shù)據(jù)連接
第八講 Tensorflow基礎(chǔ)
1)神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)
2)TensorFlow介紹和安裝
3)配置和設(shè)置TensorFlow
4)使用TensorFlow進行矩陣分析
5)TensorFlow操作示例
第九講 結(jié)構(gòu)化流Streaming
1)Streaming介紹
2)Streaming的基本組件
3)Streaming應(yīng)用程序數(shù)據(jù)流
4)用DStream簡化Streaming應(yīng)用程序
5)全局聚合
6)結(jié)構(gòu)化流介紹
第十講 打包Spark應(yīng)用程序
1)spark-submit命令
2)以編程方式部署應(yīng)用程序
3)配置你的SparkSession
4)創(chuàng)建SparkSession
5)模塊化代碼
6)提交作業(yè)和監(jiān)控執(zhí)行
五、培訓(xùn)時間、地點
時間： 2018年8月8日-8月10日 地點：北京
六、證書
培訓(xùn)結(jié)束，頒發(fā)中科院計算所職業(yè)培訓(xùn)中心“基于Python的Spark大數(shù)據(jù)處理技術(shù)”結(jié)業(yè)證書。
七、費用
培訓(xùn)費：5800元/人（含教材、證書、午餐、學(xué)習(xí)用具等）。住宿協(xié)助安排，費用自理。
三位一體”的核心理念解析
請詢價 已售658
Python和R數(shù)據(jù)挖掘技術(shù)
請詢價 已售441
Python語言基礎(chǔ)及數(shù)據(jù)分析技術(shù)
請詢價 已售652
大數(shù)據(jù)分析挖掘
請詢價 已售622
大數(shù)據(jù)可視化技術(shù)與應(yīng)用
請詢價 已售628
大數(shù)據(jù)實時處理-基于Spark的大數(shù)據(jù)實時處理及應(yīng)用技術(shù)
請詢價 已售686
高級系統(tǒng)架構(gòu)師
請詢價 已售619
高級項目管理師
請詢價 已售517
美國軍用仿真系統(tǒng)剖析
請詢價 已售431
人工智能核心-機器學(xué)習(xí)上海
請詢價 已售511
人工智能核心-機器學(xué)習(xí)北京
請詢價 已售361
人工智能-模式識別
請詢價 已售459學(xué)校首頁| 學(xué)校簡介| 課程列表| 學(xué)校新聞| 學(xué)校相冊| 教師團隊| 聯(lián)系我們
北京中科院計算所培訓(xùn)中心課程請咨詢：
滬ICP備18048269號-1 
電子營業(yè)執(zhí)照
教育
全國教育網(wǎng)站
企業(yè)信用等級AA級
合作/版權(quán)/投訴
本頁信息由注冊用戶（機構(gòu)和個人）自行發(fā)布或提供，所有內(nèi)容僅供參考，任何關(guān)于對該用戶的推薦都不能替代您的考察核實，本站不承擔(dān)該用戶發(fā)布/提供信息的行為或內(nèi)容所引起的法律責(zé)任
