大數(shù)據(jù)Hadoop開發(fā)培訓(xùn)實(shí)踐

大數(shù)據(jù)Hadoop開發(fā)培訓(xùn)實(shí)踐(錢興會(huì)、鐘運(yùn)琴)課程介紹：

    為響應(yīng)工業(yè)和信息化部信息化高端人才培養(yǎng)的號(hào)召,我培訓(xùn)中心特推出了Hadoop技術(shù)架構(gòu)課程培訓(xùn)班，希望通過專業(yè)的Hadoop技術(shù)架構(gòu)體系與業(yè)界真實(shí)案例來全面提高大數(shù)據(jù)工程師、設(shè)計(jì)人員的工作水平，旨在培養(yǎng)專業(yè)Hadoop技術(shù)架構(gòu)專家，更好地服務(wù)于大數(shù)據(jù)開發(fā)。

培訓(xùn)特色
    項(xiàng)目全過程Hadoop沙盤模擬實(shí)戰(zhàn)。通過一個(gè)完整的大數(shù)據(jù)開發(fā)項(xiàng)目及一組實(shí)際項(xiàng)目案例，完全覆蓋Hadoop開發(fā)過程的各個(gè)技術(shù)體系的實(shí)踐應(yīng)用。該項(xiàng)目是一個(gè)課堂實(shí)踐項(xiàng)目，以項(xiàng)目小組的形式進(jìn)行沙盤實(shí)操練習(xí)，重點(diǎn)在于強(qiáng)化理解Hadoop項(xiàng)目各個(gè)階段的工作重點(diǎn)，同時(shí)明確并強(qiáng)化作為項(xiàng)目管理者的一些基本素質(zhì)。
    強(qiáng)調(diào)互動(dòng)式教學(xué)、強(qiáng)化團(tuán)隊(duì)討論，力爭(zhēng)每一個(gè)學(xué)員在課程中都有上臺(tái)發(fā)言的機(jī)會(huì)，將有超過50% - 70% 的時(shí)間用于討論、練習(xí)及游戲（具體比例可視學(xué)員的情況進(jìn)行調(diào)整）。但這一做法需要學(xué)員的積極參與，盡可能地將實(shí)際項(xiàng)目中地各種問題拿出來討論，這要求學(xué)員前期做一定地準(zhǔn)備工作。

培訓(xùn)目標(biāo)
1、了解Hadoop的歷史及目前發(fā)展的現(xiàn)狀、以及Hadoop的技術(shù)特點(diǎn)，從而把握分布式計(jì)算框架及未來發(fā)展方向，在大數(shù)據(jù)時(shí)代能為企業(yè)的技術(shù)選型及架構(gòu)設(shè)計(jì)提供決策參考。
2、全面掌握Hadoop的架構(gòu)原理和使用場(chǎng)景，并通過貫穿課程的項(xiàng)目進(jìn)行實(shí)戰(zhàn)鍛煉，從而熟練使用Hadoop進(jìn)行MapReduce程序開發(fā)。課程還涵蓋了分布式計(jì)算領(lǐng)域的常用算法介紹，幫助學(xué)員為企業(yè)在利用大數(shù)據(jù)方面體現(xiàn)自身價(jià)值。
3、深入理解Hadoop技術(shù)架構(gòu),對(duì)Hadoop運(yùn)作機(jī)制有清晰全面的認(rèn)識(shí)，可以獨(dú)立規(guī)劃及部署生產(chǎn)環(huán)境的Hadoop集群，掌握Hadoop基本運(yùn)維思路和方法，對(duì)Hadoop集群進(jìn)行管理和優(yōu)化。

培訓(xùn)師資
錢興會(huì)  大數(shù)據(jù)專家。在電信、電力、金融行業(yè)從事Java開發(fā)和架構(gòu)設(shè)計(jì)的工作；資深云計(jì)算研發(fā)工程師。作為項(xiàng)目的主要成員和負(fù)責(zé)人參與并領(lǐng)導(dǎo)完成了多個(gè)大型復(fù)雜項(xiàng)目，并成功應(yīng)用于行業(yè)解決方案，如海量數(shù)據(jù)匹配系統(tǒng)、電力行業(yè)實(shí)時(shí)數(shù)據(jù)采集分析系統(tǒng)等。設(shè)計(jì)并實(shí)現(xiàn)了實(shí)時(shí)索引系統(tǒng)-云搜，成功應(yīng)用與某國企知識(shí)庫系統(tǒng)。并可應(yīng)用與互聯(lián)網(wǎng)行業(yè)的搜索等應(yīng)用。完成多個(gè)云計(jì)算解決方案的架構(gòu)，涉及到金融行業(yè)海量數(shù)據(jù)分析與數(shù)據(jù)處理系統(tǒng)、海量日志分析系統(tǒng)、電力用電信息統(tǒng)計(jì)系統(tǒng)等，獲得業(yè)界認(rèn)可。

鐘運(yùn)琴 任職于某研究所，中國科學(xué)院計(jì)算技術(shù)研究所攻讀計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)博士學(xué)位。從 2008 年 12 月起，主要從事云計(jì)算和大規(guī)模數(shù)據(jù)管理方面的研究，精通云計(jì)算平臺(tái)和大規(guī)模數(shù)據(jù)庫管理系統(tǒng)內(nèi)部實(shí)現(xiàn)細(xì)節(jié)，包括Hadoop、鍵值存儲(chǔ)系統(tǒng)（KVS） 、NoSQL (HBase、Cassandra、Membase/ Memcached)數(shù)據(jù)庫和數(shù)據(jù)倉庫(HIVE)。

培訓(xùn)內(nèi)容

第一天
上午 
一、Hadoop入門，了解什么是hadoop
1、 Hadoop產(chǎn)生背景
2、 Hadoop在大數(shù)據(jù)、云計(jì)算中的位置和關(guān)系
3、 國內(nèi)外Hadoop應(yīng)用案例介紹
4、 國內(nèi)Hadoop的就業(yè)情況分析及課程大綱介紹
5、 分布式系統(tǒng)概述
6、 Hadoop生態(tài)圈以及各組成部分的簡(jiǎn)介
7、 Hadoop核心MapReduce例子說明

二、分布式文件系統(tǒng)HDFS，是數(shù)據(jù)庫管理員的基礎(chǔ)課程
1、 分布式文件系統(tǒng)DFS簡(jiǎn)介
2、 HDFS的系統(tǒng)組成介紹
3、 HDFS的組成部分詳解
4、 副本存放策略及路由規(guī)則
5、 NameNode Federation
6、 命令行接口
7、 Java接口
8、 客戶端與HDFS的數(shù)據(jù)流講解
9、 HDFS的可用性（HA）

第一天
下午 
三、初級(jí)MapReduce，成為Hadoop開發(fā)人員的基礎(chǔ)課程 
1、 如何理解map、reduce計(jì)算模型
2、 剖析偽分布式下MapReduce作業(yè)的執(zhí)行過程
3、 Yarn模型
4、 序列化
5、 MapReduce的類型與格式
6、 MapReduce開發(fā)環(huán)境搭建
7、 MapReduce應(yīng)用開發(fā)
8、 更多示例講解，熟悉MapReduce算法原理

第二天
上午 
四、高級(jí)MapReduce，高級(jí)Hadoop開發(fā)人員的關(guān)鍵課程 
1、 使用壓縮分隔減少輸入規(guī)模
2、 利用Combiner減少中間數(shù)據(jù)
3、 編寫Partitioner優(yōu)化負(fù)載均衡
4、 如何自定義排序規(guī)則
5、 如何自定義分組規(guī)則
6、 MapReduce優(yōu)化
7、 編程實(shí)戰(zhàn)

五、Hadoop集群與管理，是數(shù)據(jù)庫管理員的高級(jí)課程 
1、 Hadoop集群的搭建
2、 Hadoop集群的監(jiān)控
3、 Hadoop集群的管理
4、集群下運(yùn)行MapReduce程序

六、ZooKeeper基礎(chǔ)知識(shí)，構(gòu)建分布式系統(tǒng)的基礎(chǔ)框架 
1、ZooKeeper體現(xiàn)結(jié)構(gòu)
2、ZooKeeper集群的安裝
3、操作ZooKeeper

第二天
下午 
七、HBase基礎(chǔ)知識(shí)，面向列的實(shí)時(shí)分布式數(shù)據(jù)庫 
1、 HBase定義
2、 HBase與RDBMS的對(duì)比
3、 數(shù)據(jù)模型
4、 系統(tǒng)架構(gòu)
5、HBase上的MapReduce
6、表的設(shè)計(jì)

八、HBase集群及其管理 
1、集群的搭建過程講解
2、集群的監(jiān)控
3、集群的管理

九、HBase客戶端 
1、 HBase Shell以及演示
2、Java客戶端以及代碼演示

第三天
上午 
十、Pig基礎(chǔ)知識(shí)，進(jìn)行hadoop計(jì)算的另一種框架 
1、 Pig概述
2、 安裝Pig
3、 使用Pig完成手機(jī)流量統(tǒng)計(jì)業(yè)務(wù)

十一、Hive，使用sql進(jìn)行計(jì)算的hadoop框架 1、 數(shù)據(jù)倉庫基礎(chǔ)知識(shí)
2、 Hive定義
3、 Hive體系結(jié)構(gòu)簡(jiǎn)介
4、 Hive集群
5、 客戶端簡(jiǎn)介
6、 HiveQL定義
7、 HiveQL與SQL的比較
8、 數(shù)據(jù)類型
9、表與表分區(qū)概念
10、表的操作與CLI客戶端演示
11、數(shù)據(jù)導(dǎo)入與CLI客戶端演示
12、查詢數(shù)據(jù)與CLI客戶端演示
13、數(shù)據(jù)的連接與CLI客戶端演示
14、用戶自定義函數(shù)（UDF）的開發(fā)與演示

第三天
下午 
十二、Sqoop，hadoop與rdbms進(jìn)行數(shù)據(jù)轉(zhuǎn)換的框架 
1、配置Sqoop
2、使用Sqoop把數(shù)據(jù)從mysql導(dǎo)入到HDFS中
3、使用Sqoop把數(shù)據(jù)從HDFS導(dǎo)出到mysql中
十三、大數(shù)據(jù)實(shí)戰(zhàn)
大數(shù)據(jù)完整項(xiàng)目架構(gòu)和開發(fā)過程練習(xí)

更多大數(shù)據(jù)Hadoop開發(fā)培訓(xùn)實(shí)踐相關(guān)課程：