Linux系統(tǒng)做為大數(shù)據(jù)平的企業(yè)級(jí)操作系統(tǒng)，本部分是基礎(chǔ)課程，幫大家打好Linux基礎(chǔ)，以便更好地學(xué)習(xí)Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等眾多課程。這是進(jìn)入大數(shù)據(jù)領(lǐng)域的必須掌握的基礎(chǔ)技術(shù)因?yàn)槠髽I(yè)中的項(xiàng)目基本上都是使用Linux環(huán)境下搭建或部署的。

• 1）Linux系統(tǒng)概述
  2）系統(tǒng)安裝及相關(guān)配置
  3）Linux網(wǎng)絡(luò)基礎(chǔ)
   
• 4）OpenSSH實(shí)現(xiàn)網(wǎng)絡(luò)安全連接 
  5）vi文本編輯器
  6）用戶和用戶組管理
• 7）磁盤管理 
  8）Linux文件和目錄管理 
  9）Linux終端常用命令 
• 10）linux系統(tǒng)監(jiān)測(cè)與維護(hù)

本課程是整套大數(shù)據(jù)課程的基石：其一，分布式文件系統(tǒng)HDFS用于存儲(chǔ)海量數(shù)據(jù)，無論是Hive、HBase或者Spark分析的數(shù)據(jù)是存儲(chǔ)在HDFS里面；其二是分布式資源管理框架YARN是用來在Hadoop 云操作系統(tǒng)（也稱數(shù)據(jù)系統(tǒng)）管理集群資源和分布式數(shù)據(jù)處理框架MapReduce、Spark應(yīng)用的資源調(diào)度與監(jiān)控的；分布式并行計(jì)算框架MapReduce目前是海量數(shù)據(jù)并行處理的一個(gè)最常用的框架。Hadoop 2.x的編譯、環(huán)境搭建、HDFS Shell使用，YARN 集群資源管理與任務(wù)監(jiān)控，MapReduce編程，分布式集群的部署管理（包括高可用性HA）必須要掌握的。

• 一、初識(shí)Hadoop 2.x
  1）大數(shù)據(jù)應(yīng)用發(fā)展、前景
  2）Hadoop 2.x概述及生態(tài)系統(tǒng)
  3）Hadoop 2.x環(huán)境搭建與測(cè)試
• 二、深入Hadoop 2.x
  1）HDFS文件系統(tǒng)的架構(gòu)、功能、設(shè)計(jì)
  2）HDFS Java API使用
  3）YARN 架構(gòu)、集群管理、應(yīng)用監(jiān)控
  4）MapReduce編程模型、Shuffle過程、編程調(diào)優(yōu)
• 三、高級(jí)Hadoop 2.x
  1）分布式部署Hadoop 2.x
  2）分布式協(xié)作服務(wù)框架Zookeeper 
  3）HDFS HA架構(gòu)、配置、測(cè)試
  4）HDFS 2.x中高級(jí)特性
  5）YARN HA架構(gòu)、配置
  6）Hadoop主要發(fā)行版本（CDH、HDP、Apache）
• 四、實(shí)戰(zhàn)應(yīng)用
  1）以【CSDN網(wǎng)用戶瀏覽日志】數(shù)據(jù)進(jìn)行實(shí)際的分析
  2）原數(shù)據(jù)采集
  3）數(shù)據(jù)的預(yù)處理（ETL）
  4）數(shù)據(jù)的分析處理（MapReduce）

hive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供基本的SQL查詢功能，可以將SQL語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通類SQL語句快速實(shí)現(xiàn)簡(jiǎn)單的MapReduce統(tǒng)計(jì)，不必開發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉(cāng)庫(kù)的統(tǒng)計(jì)分析。

• 一、Hive 初識(shí)入門
  1）Hive功能、體系結(jié)構(gòu)、使用場(chǎng)景
  2）Hive環(huán)境搭建、初級(jí)使用 
  3）Hive原數(shù)據(jù)配置、常見交互方式
• 二、Hive深入使用
  1）Hive中的內(nèi)部表、外部表、分區(qū)表
  2）Hive 數(shù)據(jù)遷移
  3）Hive常見查詢（select、where、distinct、join、group by）
  4）Hive 內(nèi)置函數(shù)和UDF編程
• 三、Hive高級(jí)進(jìn)階
  1）Hive數(shù)據(jù)的存儲(chǔ)和壓縮
  2）Hive常見優(yōu)化（數(shù)據(jù)傾斜、壓縮等）
• 四、結(jié)合【CSDN用戶瀏覽日志】實(shí)際案例分析
  1）依據(jù)業(yè)務(wù)設(shè)計(jì)表
  2）數(shù)據(jù)清洗、導(dǎo)入（ETL）
  3）使用HiveQL，統(tǒng)計(jì)常見的網(wǎng)站指標(biāo)

Sqoop是一款開源的工具，主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫(kù)mysql、Oracle、SQLServer、postgresql等RDBMS數(shù)據(jù)間進(jìn)行數(shù)據(jù)的傳遞，可以將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)，例如 ： MySQL 、Oracle 、SQLServer、Postgres等RDBMS中的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫(kù)中。Sqoop項(xiàng)目開始于2009年，最早是作為Hadoop的一個(gè)第三方模塊存在，后來為了讓使用者能夠快速部署，也為了讓開發(fā)人員能夠更快速的迭代開發(fā)，Sqoop獨(dú)立成為一個(gè)Apache項(xiàng)目。

• 一、數(shù)據(jù)轉(zhuǎn)換工具Sqoop
  1）Sqoop功能、使用原則
  2）將RDBMS數(shù)據(jù)導(dǎo)入Hive表中（全量、增量） 
  3）將HDFS上文件導(dǎo)出到RDBMS表中
• 二、文件收集框架Flume
  1）Flume 設(shè)計(jì)架構(gòu)、原理（三大組件）
  2）Flume初步使用，實(shí)時(shí)采集數(shù)據(jù) 
  3）如何使用Flume監(jiān)控文件夾數(shù)據(jù)，實(shí)時(shí)采集錄入HDFS中
  4）任務(wù)調(diào)度框架Oozie
• 三、Oozie功能、安裝部署
  1）使用Oozie調(diào)度MapReduce Job和HiveQL
  2）定時(shí)調(diào)度任務(wù)使用
  

Hue是一個(gè)開源的Apache Hadoop UI系統(tǒng)，最早是由Cloudera Desktop演化而來，由Cloudera貢獻(xiàn)給開源社區(qū)，它是基于Python Web框架Django實(shí)現(xiàn)的。通過使用Hue我們可以在瀏覽器端的Web控制臺(tái)上與Hadoop集群進(jìn)行交互來分析處理數(shù)據(jù)，例如操作HDFS上的數(shù)據(jù)，運(yùn)行MapReduce Job等等。

• 1）Hue架構(gòu)、功能、編譯
  5）Hue集成Oozie
• 2）Hue集成HDFS 
• 3）Hue集成MapReduce
• 4）Hue集成Hive、DataBase

HBase是一個(gè)分布式的、面向列的開源數(shù)據(jù)庫(kù)，該技術(shù)來源于 Fay Chang 所撰寫的Google論文“Bigtable：一個(gè)結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)”。HBase在Hadoop之上提供了類似于Bigtable的能力，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，利用HBase技術(shù)可在廉價(jià)PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群；

• 一、HBase初窺使用
  1）HBase是什么、發(fā)展、與RDBMS相比優(yōu)勢(shì)、企業(yè)使用
  2）HBase Schema、表的設(shè)計(jì)
  3）HBase 環(huán)境搭建、shell初步使用（CRUD等）
• 二、HBase 深入使用
  1）HBase 數(shù)據(jù)存儲(chǔ)模型
  2）HBase Java API使用（CRUD、SCAN等）
  3）HBase 架構(gòu)深入剖析
  4）HBase 與MapReduce集成、數(shù)據(jù)導(dǎo)入導(dǎo)出
• 三、HBase 高級(jí)使用
  1）如何設(shè)計(jì)表、表的預(yù)分區(qū)（依據(jù)具體業(yè)務(wù)分析講解）
  2）HBase 表的常見屬性設(shè)置（結(jié)合企業(yè)實(shí)際）
  3）HBase Admin操作（Java API、常見命令）
• 四、【CSDN用戶瀏覽日志】進(jìn)行分析
  1）依據(jù)需求設(shè)計(jì)表、創(chuàng)建表、預(yù)分區(qū)
  2）進(jìn)行業(yè)務(wù)查詢分析 
  3）對(duì)于密集型讀和密集型寫進(jìn)行HBase參數(shù)調(diào)優(yōu)

Storm是Twitter開源的分布式實(shí)時(shí)大數(shù)據(jù)處理框架，被業(yè)界稱為實(shí)時(shí)版Hadoop。 隨著越來越多的場(chǎng)景對(duì)Hadoop的MapReduce高延遲無法容忍，比如網(wǎng)站統(tǒng)計(jì)、推薦系統(tǒng)、預(yù)警系統(tǒng)、金融系統(tǒng)(高頻交易、股票)等等， 大數(shù)據(jù)實(shí)時(shí)處理解決方案（流計(jì)算）的應(yīng)用日趨廣泛，目前已是分布式技術(shù)領(lǐng)域最新爆發(fā)點(diǎn)，而Storm更是流式計(jì)算技術(shù)中的佼佼者和主流。 按照storm作者的說法，Storm對(duì)于實(shí)時(shí)計(jì)算的意義類似于Hadoop對(duì)于批處理的意義。Hadoop提供了map + reduce的原語，使我們的批處理程序變得簡(jiǎn)單和高效。 同樣，Storm也為實(shí)時(shí)計(jì)算提供了一些簡(jiǎn)單高效的原語，而且Storm的Trident是基于Storm原語更高級(jí)的抽象框架，類似于基于Hadoop的Pig框架， 讓開發(fā)更加便利和高效。本課程會(huì)深入、全面的講解Storm，并穿插企業(yè)場(chǎng)景實(shí)戰(zhàn)講述Storm的運(yùn)用。 淘寶雙11的大屏幕實(shí)時(shí)監(jiān)控效果沖擊了整個(gè)IT界，業(yè)界為之驚嘆的同時(shí)更是引起對(duì)該技術(shù)的探索。 學(xué)完本課程你可以自己開發(fā)升級(jí)版的“淘寶雙11”，一起來學(xué)習(xí)吧！

• 1）Storm簡(jiǎn)介和課程介紹
  2）Storm原理和概念詳解 
  3）Zookeeper集群搭建及基本使用 
  4）Storm集群搭建及測(cè)試 
  5）API簡(jiǎn)介和入門案例開發(fā) 
  6）Spout的Tail特性、storm-starter及maven使用、Grouping策略 
  7）實(shí)例講解Grouping策略及并發(fā) 
• 8）并發(fā)度詳解、案例開發(fā)（高并發(fā)運(yùn)用）
  9）案例開發(fā)——計(jì)算網(wǎng)站PV，通過2種方式實(shí)現(xiàn)匯總型計(jì)算。 
  10）案例優(yōu)化引入Zookeeper鎖控制線程操作 
  11）計(jì)算網(wǎng)站UV(去重計(jì)算模式) 
  12）【運(yùn)維】集群統(tǒng)一啟動(dòng)和停止shell腳本開發(fā)
  13）Storm事務(wù)工作原理深入講解
  14）Storm事務(wù)API及案例分析
• 15）Storm事務(wù)案例實(shí)戰(zhàn)之 ITransactionalSpout 
  16）Storm事務(wù)案例升級(jí)之按天計(jì)算 
  17）Storm分區(qū)事務(wù)案例實(shí)戰(zhàn) 
  18）Storm不透明分區(qū)事務(wù)案例實(shí)戰(zhàn) 
  19）DRPC精解和案例分析 
  20）Storm Trident 入門
  21）Trident API和概念
• 22）Storm Trident實(shí)戰(zhàn)之計(jì)算網(wǎng)站PV
  23）ITridentSpout、FirstN(取Top N)實(shí)現(xiàn)、流合并和Join
  24）Storm Trident之函數(shù)、流聚合及核心概念State
  25）Storm Trident綜合實(shí)戰(zhàn)一（基于HBase的State）
  26）Storm Trident綜合實(shí)戰(zhàn)二
  27）Storm Trident綜合實(shí)戰(zhàn)三
  28）Storm集群和作業(yè)監(jiān)控告警開發(fā)

為什么要學(xué)習(xí)Scala？源于Spark的流行，Spark是當(dāng)前最流行的開源大數(shù)據(jù)內(nèi)存計(jì)算框架，采用Scala語言實(shí)現(xiàn)，各大公司都在使用Spark：IBM宣布承諾大力推進(jìn)Apache Spark項(xiàng)目，并稱該項(xiàng)目為：在以數(shù)據(jù)為主導(dǎo)的，未來十年最為重要的新的開源項(xiàng)目。這一承諾的核心是將Spark嵌入IBM業(yè)內(nèi)領(lǐng)先的分析和商務(wù)平臺(tái)，Scala具有數(shù)據(jù)處理的天然優(yōu)勢(shì)，Scala是未來大數(shù)據(jù)處理的主流語言；

• 1)-Spark的前世今生
  2)-課程介紹、特色與價(jià)值
  3)-Scala編程詳解：基礎(chǔ)語法 
  4)-Scala編程詳解：條件控制與循環(huán)
  5)-Scala編程詳解：函數(shù)入門 
  6)-Scala編程詳解：函數(shù)入門之默認(rèn)參數(shù)和帶名參數(shù)  
• 7)-Scala編程詳解：函數(shù)入門之變長(zhǎng)參數(shù)
  8)-Scala編程詳解：函數(shù)入門之過程、lazy值和異常
  9)-Scala編程詳解：數(shù)組操作之Array、ArrayBuffer以及遍歷數(shù)組
  10)-Scala編程詳解：數(shù)組操作之?dāng)?shù)組轉(zhuǎn)換
  11)-Scala編程詳解：Map與Tuple
• 12)-Scala編程詳解：面向?qū)ο缶幊讨��?/span>
  13)-Scala編程詳解：面向?qū)ο缶幊讨畬?duì)象
  14)-Scala編程詳解：面向?qū)ο缶幊讨�繼承
  15)-Scala編程詳解：面向?qū)ο缶幊讨甌rait
  16)-Scala編程詳解：函數(shù)式編程 
• 17)-Scala編程詳解：函數(shù)式編程之集合操作
  18)-Scala編程詳解：模式匹配
  19)-Scala編程詳解：類型參數(shù)
  20)-Scala編程詳解：隱式轉(zhuǎn)換與隱式參數(shù)
  21)-Scala編程詳解：Actor入門