2017年大數(shù)據(jù)平臺(tái)搭建與高性能計(jì)算最佳實(shí)戰(zhàn)

2017年大數(shù)據(jù)平臺(tái)搭建與高性能計(jì)算最佳實(shí)戰(zhàn)(多名講師)課程介紹：

    根據(jù)黨中央和國務(wù)院“互聯(lián)網(wǎng)+”行動(dòng)計(jì)劃戰(zhàn)略布局，落實(shí)國務(wù)院促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要，響應(yīng)工業(yè)和信息化部培養(yǎng)大數(shù)據(jù)技術(shù)高端人才的號(hào)召,中國信息化培訓(xùn)中心特推出了大數(shù)據(jù)平臺(tái)搭建與高性能計(jì)算實(shí)戰(zhàn)課程培訓(xùn)班。通過專業(yè)的大數(shù)據(jù)技術(shù)架構(gòu)體系與業(yè)界真實(shí)案例來全面提升大數(shù)據(jù)項(xiàng)目高管、大數(shù)據(jù)平臺(tái)架構(gòu)師，以及大數(shù)據(jù)開發(fā)工程師與大數(shù)據(jù)應(yīng)用設(shè)計(jì)人員的專業(yè)水平，旨在培養(yǎng)專業(yè)的大數(shù)據(jù)技術(shù)架構(gòu)專家，培養(yǎng)大數(shù)據(jù)技術(shù)和應(yīng)用創(chuàng)新型人才，促進(jìn)大數(shù)據(jù)技術(shù)在各行業(yè)內(nèi)部及跨行業(yè)進(jìn)行實(shí)施應(yīng)用，以及企事業(yè)單位的大數(shù)據(jù)項(xiàng)目開發(fā)和落地，并利用大數(shù)據(jù)提升競爭力優(yōu)勢。

一、 培訓(xùn)特色
1. 課程培訓(xùn)業(yè)界最流行、應(yīng)用最廣泛的Hadoop與Spark大數(shù)據(jù)技術(shù)體系。
強(qiáng)化大數(shù)據(jù)平臺(tái)的分布式集群架構(gòu)和核心關(guān)鍵技術(shù)實(shí)現(xiàn)、大數(shù)據(jù)應(yīng)用項(xiàng)目開發(fā)和大數(shù)據(jù)集群運(yùn)維實(shí)踐、以及Hadoop與Spark大數(shù)據(jù)項(xiàng)目應(yīng)用開發(fā)與調(diào)優(yōu)的全過程沙盤模擬實(shí)戰(zhàn)。
2. 通過一個(gè)完整的大數(shù)據(jù)開發(fā)項(xiàng)目及一組實(shí)際項(xiàng)目訓(xùn)練案例，完全覆蓋Hadoop與Spark生態(tài)系統(tǒng)平臺(tái)的應(yīng)用開發(fā)與運(yùn)維實(shí)踐。課堂實(shí)踐項(xiàng)目以項(xiàng)目小組的形式進(jìn)行沙盤實(shí)操練習(xí)，重點(diǎn)強(qiáng)化理解Hadoop與Spark大數(shù)據(jù)項(xiàng)目各個(gè)階段的工作重點(diǎn)，同時(shí)掌握作為大數(shù)據(jù)項(xiàng)目管理者的基本技術(shù)與業(yè)務(wù)素養(yǎng)。
3. 本課程的授課師資都是有著多年在一線從事Hadoop與Spark大數(shù)據(jù)項(xiàng)目的資深講師，采用原理技術(shù)剖析和實(shí)戰(zhàn)案例相結(jié)合的方式開展互動(dòng)教學(xué)、強(qiáng)化以建立大數(shù)據(jù)項(xiàng)目解決方案為主體的應(yīng)用開發(fā)、技術(shù)討論與交流咨詢，在學(xué)習(xí)的同時(shí)促進(jìn)講師學(xué)員之間的交流，讓每個(gè)學(xué)員都能在課程培訓(xùn)過程中學(xué)到實(shí)實(shí)在在的大數(shù)據(jù)技術(shù)知識(shí)體系，以及大數(shù)據(jù)技術(shù)應(yīng)用實(shí)戰(zhàn)技能，具備實(shí)際大數(shù)據(jù)應(yīng)用項(xiàng)目的動(dòng)手開發(fā)實(shí)踐與運(yùn)維管理部署能力。授課過程中，根據(jù)學(xué)員需求，增設(shè)交流環(huán)節(jié)，可將具體工作中遇到的實(shí)際問題展開討論，講師會(huì)根據(jù)學(xué)員的實(shí)際情況微調(diào)授課內(nèi)容，由講師帶著全部學(xué)員積極討論，并給出一定的時(shí)間讓學(xué)員上臺(tái)發(fā)言，現(xiàn)場剖析問題的癥結(jié)，規(guī)劃出可行的解決方案。

二、培訓(xùn)目標(biāo)
1.深刻理解在“互聯(lián)網(wǎng)+”時(shí)代下大數(shù)據(jù)的產(chǎn)生背景、發(fā)展歷程和演化趨勢；
2.了解業(yè)界市場需求和國內(nèi)外最新的大數(shù)據(jù)技術(shù)潮流，洞察大數(shù)據(jù)的潛在價(jià)值；
3.理解大數(shù)據(jù)項(xiàng)目解決方案及業(yè)界大數(shù)據(jù)應(yīng)用案例，從而為企業(yè)在大數(shù)據(jù)項(xiàng)目
中的技術(shù)選型及技術(shù)架構(gòu)設(shè)計(jì)提供決策參考；
4.掌握業(yè)界最流行的Hadoop與Spark大數(shù)據(jù)技術(shù)體系；
5.掌握大數(shù)據(jù)采集技術(shù)；
6.掌握大數(shù)據(jù)分布式存儲(chǔ)技術(shù)；
7.掌握NoSQL與NewSQL分布式數(shù)據(jù)庫技術(shù)；
8.掌握大數(shù)據(jù)倉庫與統(tǒng)計(jì)機(jī)器學(xué)習(xí)技術(shù)；
9.掌握大數(shù)據(jù)分析挖掘與商業(yè)智能（BI）技術(shù)；
10.掌握大數(shù)據(jù)離線處理技術(shù)；
11.掌握Storm流式大數(shù)據(jù)處理技術(shù)；
12.掌握基于內(nèi)存計(jì)算的大數(shù)據(jù)實(shí)時(shí)處理技術(shù)；
13.掌握大數(shù)據(jù)管理技術(shù)的原理知識(shí)和應(yīng)用實(shí)戰(zhàn)；
14.深入理解大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)和使用場景；
15.嫻熟運(yùn)用Hadoop與Spark大數(shù)據(jù)技術(shù)體系規(guī)劃解決方案滿足實(shí)際項(xiàng)目需求；
16.熟練地掌握基于Hadoop與Spark大數(shù)據(jù)平臺(tái)進(jìn)行應(yīng)用程序開發(fā)、集群運(yùn)維管理和性能調(diào)優(yōu)技巧。

三、課程大綱

第一天上午
大數(shù)據(jù)技術(shù)基礎(chǔ)
1. 大數(shù)據(jù)的產(chǎn)生背景與發(fā)展歷程
2. 大數(shù)據(jù)的4V特征，以及與云計(jì)算的關(guān)系
3. 大數(shù)據(jù)應(yīng)用需求以及潛在價(jià)值分析
4. 業(yè)界最新的大數(shù)據(jù)技術(shù)發(fā)展態(tài)勢與應(yīng)用趨勢
5. 大數(shù)據(jù)項(xiàng)目的系統(tǒng)與技術(shù)選型，及落地實(shí)施的挑戰(zhàn)
6. “互聯(lián)網(wǎng)+”時(shí)代下的電子商務(wù)、制造業(yè)、零售批發(fā)、電信運(yùn)營商、互聯(lián)網(wǎng)金融業(yè)、電子政務(wù)、移動(dòng)互聯(lián)網(wǎng)、教育信息化等行業(yè)應(yīng)用實(shí)踐與應(yīng)用案例介紹

業(yè)界主流的大數(shù)據(jù)技術(shù)方案 1. 大數(shù)據(jù)軟硬件系統(tǒng)全棧與關(guān)鍵技術(shù)介紹
2. 主流的大數(shù)據(jù)解決方案介紹
3. Apache大數(shù)據(jù)平臺(tái)方案剖析
4. CDH大數(shù)據(jù)平臺(tái)方案剖析
5. HDP大數(shù)據(jù)平臺(tái)方案剖析
6. 大數(shù)據(jù)解決方案與傳統(tǒng)數(shù)據(jù)庫方案比較

大數(shù)據(jù)計(jì)算模型（一）——批處理MapReduce
1. MapReduce產(chǎn)生背景與適用場景
2. MapReduce計(jì)算模型的基本原理
3. MapReduce作業(yè)執(zhí)行流程
4. MapReduce基本組件，JobTracker和TaskTracker
5. MapReduce高級(jí)編程應(yīng)用，Combiner和Partitioner
6. MapReduce性能優(yōu)化技巧
7. MapReduce案例分析與開發(fā)實(shí)踐操作

第一天下午
大數(shù)據(jù)存儲(chǔ)系統(tǒng)與應(yīng)用實(shí)踐
1. 分布式文件系統(tǒng)HDFS產(chǎn)生背景與適用場景
2. HDFS master-slave系統(tǒng)架構(gòu)與工作原理
3. HDFS核心組件技術(shù)講解
4. HDFS高可用保證機(jī)制
5. HDFS集群的安裝、部署與配置，熟練HDFS shell命令操作
6. 分布式小文件存儲(chǔ)系統(tǒng)的平臺(tái)架構(gòu)、核心技術(shù)與應(yīng)用場景
7. 分布式對象存儲(chǔ)系統(tǒng)的平臺(tái)架構(gòu)、核心技術(shù)與應(yīng)用場景

 Hadoop框架與生態(tài)發(fā)展，以及應(yīng)用實(shí)踐操作 1. Hadoop的發(fā)展歷程
2. Hadoop大數(shù)據(jù)生態(tài)圈系統(tǒng)與工具全貌介紹
3. Hadoop 1.0的核心組件與適用范圍
4. Hadoop 2.0的核心組件YARN工作原理，以及與Hadoop 1.0的區(qū)別
5. Hadoop資源管理與作業(yè)調(diào)度機(jī)制
6. Hadoop 常用性能優(yōu)化技術(shù)
7. Hadoop集群安裝與部署實(shí)踐，以及MapReduce程序在YARN上執(zhí)行

第二天上午
大數(shù)據(jù)計(jì)算模型（二）——實(shí)時(shí)處理/內(nèi)存計(jì)算 Spark
 1. MapReduce計(jì)算模型的瓶頸
2. Spark產(chǎn)生動(dòng)機(jī)、基本概念與適用場景
3. Spark編程模型與RDD彈性分布式數(shù)據(jù)集的工作原理與機(jī)制
4. Spark實(shí)時(shí)處理平臺(tái)運(yùn)行架構(gòu)與核心組件
5. Spark容錯(cuò)機(jī)制
6. Spark作業(yè)調(diào)度機(jī)制
7. Scala開發(fā)介紹與實(shí)踐
8. Spark集群部署與配置實(shí)踐，Spark開發(fā)環(huán)境構(gòu)建，Spark案例程序分析，Spark程序開發(fā)與運(yùn)行，Spark與Hadoop集群集成實(shí)踐

第二天下午
大數(shù)據(jù)倉庫查詢技術(shù)Hive、SparkSQL、Impala，以及應(yīng)用實(shí)踐
1. 基于MapReduce的大型分布式數(shù)據(jù)倉庫Hive基礎(chǔ)知識(shí)與應(yīng)用場景
2. Hive數(shù)據(jù)倉庫的平臺(tái)架構(gòu)與核心技術(shù)剖析
3. Hive metastore的工作機(jī)制與應(yīng)用
4. Hive數(shù)據(jù)倉庫實(shí)踐：Hive集群安裝部署，數(shù)據(jù)倉庫表導(dǎo)入導(dǎo)出與分區(qū)操作，Hive SQL操作，Hive客戶端操作
5. 基于Spark的大型分布式數(shù)據(jù)倉庫SparkSQL基礎(chǔ)知識(shí)與應(yīng)用場景
6. Spark SQL實(shí)時(shí)數(shù)據(jù)倉庫的實(shí)現(xiàn)原理與工作機(jī)制
7. SparkSQL應(yīng)用分析與操作實(shí)踐
8. 基于MPP的大型分布式數(shù)據(jù)倉庫Impala基礎(chǔ)知識(shí)與應(yīng)用場景
9. Impala實(shí)時(shí)查詢系統(tǒng)平臺(tái)架構(gòu)、關(guān)鍵技術(shù)剖析

Hadoop集群運(yùn)維監(jiān)控工具
1. Hadoop大數(shù)據(jù)運(yùn)維監(jiān)控管理系統(tǒng)HUE平臺(tái)介紹
2. Hadoop運(yùn)維管理監(jiān)控系統(tǒng)Ambari工具介紹
3. 第三方運(yùn)維系統(tǒng)與工具Ganglia, Nagios

第三天上午

大數(shù)據(jù)計(jì)算模型（三）——流處理Storm, SparkStreaming
1. 流數(shù)據(jù)處理應(yīng)用場景與流數(shù)據(jù)處理的特點(diǎn)
2. 流數(shù)據(jù)處理工具Storm的平臺(tái)架構(gòu)與集群工作原理
3. Storm關(guān)鍵技術(shù)與并發(fā)機(jī)制
4. Storm編程模型與基本開發(fā)模式
5. Storm數(shù)據(jù)流分組
6. Storm可靠性保證與Acker機(jī)制
7. Storm應(yīng)用案例分析與實(shí)踐：Storm集群安裝部署，Storm程序開發(fā)運(yùn)行操作實(shí)踐，Storm與Hadoop集群的集成
8. 流數(shù)據(jù)處理工具Spark Streaming基本概念與數(shù)據(jù)模型
9. Spark Streaming工作機(jī)制

 大數(shù)據(jù)ETL操作工具，與大數(shù)據(jù)分布式采集系統(tǒng)
1. Hadoop與DBMS之間數(shù)據(jù)交互工具的應(yīng)用
2. Sqoop導(dǎo)入導(dǎo)出數(shù)據(jù)的工作原理，以及Sqoop工具的安裝部署與實(shí)踐操作，利用Sqoop實(shí)現(xiàn)MySQL與Hadoop集群之間的數(shù)據(jù)導(dǎo)入導(dǎo)出交互
3. Flume-NG數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)流模型與系統(tǒng)架構(gòu)
4. Kafka分布式消息訂閱系統(tǒng)的應(yīng)用介紹與平臺(tái)架構(gòu)，及其使用模式

第三天下午
面向OLTP型應(yīng)用的NoSQL數(shù)據(jù)庫及應(yīng)用實(shí)踐
1. 關(guān)系型數(shù)據(jù)庫瓶頸，以及NoSQL數(shù)據(jù)庫的發(fā)展，概念，分類，及其在半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)場景下的適用范圍
2. 列存儲(chǔ)NoSQL數(shù)據(jù)庫HBase簡介與數(shù)據(jù)模型剖析
3. HBase分布式集群系統(tǒng)架構(gòu)與讀寫機(jī)制，ZooKeeper分布式協(xié)調(diào)服務(wù)系統(tǒng)的工作原理與應(yīng)用
4. HBase表設(shè)計(jì)模式與primary key設(shè)計(jì)規(guī)范
5. HBase分布式集群安裝、部署與操作實(shí)踐
6. 文檔NoSQL數(shù)據(jù)庫MongoDB簡介與數(shù)據(jù)模型剖析
7. MongoDB集群模式、讀寫機(jī)制與常用API操作
8. Cassandra分布式數(shù)據(jù)庫的平臺(tái)架構(gòu)以及關(guān)鍵技術(shù)
9. Cassandra一致性哈希算法與數(shù)據(jù)分布策略，以及NWR策略
10.鍵值型NoSQL數(shù)據(jù)庫Redis簡介與數(shù)據(jù)模型剖析
11.Redis多實(shí)例集群架構(gòu)與關(guān)鍵技術(shù)
12.NewSQL數(shù)據(jù)庫技術(shù)簡介及其適用場景
 大數(shù)據(jù)項(xiàng)目選型、實(shí)施、優(yōu)化等問題交流討論 大數(shù)據(jù)項(xiàng)目的需求分析、應(yīng)用實(shí)施、系統(tǒng)優(yōu)化，以及解決方案等咨詢與交流討論

第四天 學(xué)習(xí)考核與業(yè)內(nèi)經(jīng)驗(yàn)交流

四、授課師資
鐘老師  現(xiàn)任職于中科院某研究所，高級(jí)工程師，副高職稱，博士畢業(yè)于中國科學(xué)院計(jì)算技術(shù)研究所，獲工學(xué)博士學(xué)位（計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)方向）。中培教育的大數(shù)據(jù)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)系列課程建設(shè)與教學(xué)專家。近六年來帶領(lǐng)團(tuán)隊(duì)主要從事大數(shù)據(jù)與云計(jì)算技術(shù)項(xiàng)目的研發(fā)與IT項(xiàng)目管理工作。鐘老師有著多年的企業(yè)內(nèi)訓(xùn)和公開課培訓(xùn)講師經(jīng)歷，主要講授大數(shù)據(jù)平臺(tái)技術(shù)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、電子商務(wù)、IT信息軟件項(xiàng)目管理、企業(yè)信息化規(guī)劃與管理、IT戰(zhàn)略規(guī)劃與企業(yè)架構(gòu)、數(shù)據(jù)中心主機(jī)規(guī)劃與IDC系統(tǒng)運(yùn)營等企業(yè)實(shí)戰(zhàn)類培訓(xùn)課程。鐘老師將原理技術(shù)剖析和應(yīng)用實(shí)戰(zhàn)相結(jié)合的授課風(fēng)格受到廣大公開課學(xué)員和企業(yè)內(nèi)訓(xùn)學(xué)員的歡迎。

蔣老師  清華大學(xué)博士，云計(jì)算專家 熟悉主流的云計(jì)算平臺(tái)，并有商業(yè)與開源云計(jì)算平臺(tái)的實(shí)踐經(jīng)驗(yàn),對云計(jì)算關(guān)鍵技術(shù)有深刻了解和實(shí)踐經(jīng)驗(yàn)，如分布式系統(tǒng)、虛擬化、分布式文件系統(tǒng)、云存儲(chǔ)等，參與并領(lǐng)導(dǎo)多個(gè)大型云計(jì)算項(xiàng)目。對大數(shù)據(jù)關(guān)鍵技術(shù)有深刻了解和實(shí)踐經(jīng)驗(yàn)，如NoSQL數(shù)據(jù)庫、大數(shù)據(jù)處理、Hadoop、Hive、HBase、Spark等。

更多2017年大數(shù)據(jù)平臺(tái)搭建與高性能計(jì)算最佳實(shí)戰(zhàn)相關(guān)課程：