Linux系統(tǒng)做為大數(shù)據(jù)平的企業(yè)級操作系統(tǒng)，本部分是基礎課程，幫大家打好Linux基礎，以便更好地學習Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等眾多課程。這是進入大數(shù)據(jù)領域的必須掌握的基礎技術因為企業(yè)中的項目基本上都是使用Linux環(huán)境下搭建或部署的。

• 1）Linux系統(tǒng)概述
  2）系統(tǒng)安裝及相關配置
  3）Linux網絡基礎
   
• 4）OpenSSH實現(xiàn)網絡安全連接 
  5）vi文本編輯器
  6）用戶和用戶組管理
• 7）磁盤管理 
  8）Linux文件和目錄管理 
  9）Linux終端常用命令 
• 10）linux系統(tǒng)監(jiān)測與維護

本課程是整套大數(shù)據(jù)課程的基石：其一，分布式文件系統(tǒng)HDFS用于存儲海量數(shù)據(jù)，無論是Hive、HBase或者Spark分析的數(shù)據(jù)是存儲在HDFS里面；其二是分布式資源管理框架YARN是用來在Hadoop 云操作系統(tǒng)（也稱數(shù)據(jù)系統(tǒng)）管理集群資源和分布式數(shù)據(jù)處理框架MapReduce、Spark應用的資源調度與監(jiān)控的；分布式并行計算框架MapReduce目前是海量數(shù)據(jù)并行處理的一個最常用的框架。Hadoop 2.x的編譯、環(huán)境搭建、HDFS Shell使用，YARN 集群資源管理與任務監(jiān)控，MapReduce編程，分布式集群的部署管理（包括高可用性HA）必須要掌握的。

• 一、初識Hadoop 2.x
  1）大數(shù)據(jù)應用發(fā)展、前景
  2）Hadoop 2.x概述及生態(tài)系統(tǒng)
  3）Hadoop 2.x環(huán)境搭建與測試
• 二、深入Hadoop 2.x
  1）HDFS文件系統(tǒng)的架構、功能、設計
  2）HDFS Java API使用
  3）YARN 架構、集群管理、應用監(jiān)控
  4）MapReduce編程模型、Shuffle過程、編程調優(yōu)
• 三、高級Hadoop 2.x
  1）分布式部署Hadoop 2.x
  2）分布式協(xié)作服務框架Zookeeper 
  3）HDFS HA架構、配置、測試
  4）HDFS 2.x中高級特性
  5）YARN HA架構、配置
  6）Hadoop主要發(fā)行版本（CDH、HDP、Apache）
• 四、實戰(zhàn)應用
  1）以【CSDN網用戶瀏覽日志】數(shù)據(jù)進行實際的分析
  2）原數(shù)據(jù)采集
  3）數(shù)據(jù)的預處理（ETL）
  4）數(shù)據(jù)的分析處理（MapReduce）

hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，可以將結構化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供基本的SQL查詢功能，可以將SQL語句轉換為MapReduce任務進行運行。其優(yōu)點是學習成本低，可以通類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計，不必開發(fā)專門的MapReduce應用，十分適合數(shù)據(jù)倉庫的統(tǒng)計分析。

• 一、Hive 初識入門
  1）Hive功能、體系結構、使用場景
  2）Hive環(huán)境搭建、初級使用 
  3）Hive原數(shù)據(jù)配置、常見交互方式
• 二、Hive深入使用
  1）Hive中的內部表、外部表、分區(qū)表
  2）Hive 數(shù)據(jù)遷移
  3）Hive常見查詢（select、where、distinct、join、group by）
  4）Hive 內置函數(shù)和UDF編程
• 三、Hive高級進階
  1）Hive數(shù)據(jù)的存儲和壓縮
  2）Hive常見優(yōu)化（數(shù)據(jù)傾斜、壓縮等）
• 四、結合【CSDN用戶瀏覽日志】實際案例分析
  1）依據(jù)業(yè)務設計表
  2）數(shù)據(jù)清洗、導入（ETL）
  3）使用HiveQL，統(tǒng)計常見的網站指標

Sqoop是一款開源的工具，主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫mysql、Oracle、SQLServer、postgresql等RDBMS數(shù)據(jù)間進行數(shù)據(jù)的傳遞，可以將一個關系型數(shù)據(jù)庫，例如 ： MySQL 、Oracle 、SQLServer、Postgres等RDBMS中的數(shù)據(jù)導進到關系型數(shù)據(jù)庫中。Sqoop項目開始于2009年，最早是作為Hadoop的一個第三方模塊存在，后來為了讓使用者能夠快速部署，也為了讓開發(fā)人員能夠更快速的迭代開發(fā)，Sqoop獨立成為一個Apache項目。

• 一、數(shù)據(jù)轉換工具Sqoop
  1）Sqoop功能、使用原則
  2）將RDBMS數(shù)據(jù)導入Hive表中（全量、增量） 
  3）將HDFS上文件導出到RDBMS表中
• 二、文件收集框架Flume
  1）Flume 設計架構、原理（三大組件）
  2）Flume初步使用，實時采集數(shù)據(jù) 
  3）如何使用Flume監(jiān)控文件夾數(shù)據(jù)，實時采集錄入HDFS中
  4）任務調度框架Oozie
• 三、Oozie功能、安裝部署
  1）使用Oozie調度MapReduce Job和HiveQL
  2）定時調度任務使用
  

Hue是一個開源的Apache Hadoop UI系統(tǒng)，最早是由Cloudera Desktop演化而來，由Cloudera貢獻給開源社區(qū)，它是基于Python Web框架Django實現(xiàn)的。通過使用Hue我們可以在瀏覽器端的Web控制臺上與Hadoop集群進行交互來分析處理數(shù)據(jù)，例如操作HDFS上的數(shù)據(jù)，運行MapReduce Job等等。

• 1）Hue架構、功能、編譯
  5）Hue集成Oozie
• 2）Hue集成HDFS 
• 3）Hue集成MapReduce
• 4）Hue集成Hive、DataBase

HBase是一個分布式的、面向列的開源數(shù)據(jù)庫，該技術來源于 Fay Chang 所撰寫的Google論文“Bigtable：一個結構化數(shù)據(jù)的分布式存儲系統(tǒng)”。HBase在Hadoop之上提供了類似于Bigtable的能力，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用HBase技術可在廉價PC Server上搭建起大規(guī)模結構化存儲集群；

• 一、HBase初窺使用
  1）HBase是什么、發(fā)展、與RDBMS相比優(yōu)勢、企業(yè)使用
  2）HBase Schema、表的設計
  3）HBase 環(huán)境搭建、shell初步使用（CRUD等）
• 二、HBase 深入使用
  1）HBase 數(shù)據(jù)存儲模型
  2）HBase Java API使用（CRUD、SCAN等）
  3）HBase 架構深入剖析
  4）HBase 與MapReduce集成、數(shù)據(jù)導入導出
• 三、HBase 高級使用
  1）如何設計表、表的預分區(qū)（依據(jù)具體業(yè)務分析講解）
  2）HBase 表的常見屬性設置（結合企業(yè)實際）
  3）HBase Admin操作（Java API、常見命令）
• 四、【CSDN用戶瀏覽日志】進行分析
  1）依據(jù)需求設計表、創(chuàng)建表、預分區(qū)
  2）進行業(yè)務查詢分析 
  3）對于密集型讀和密集型寫進行HBase參數(shù)調優(yōu)

Storm是Twitter開源的分布式實時大數(shù)據(jù)處理框架，被業(yè)界稱為實時版Hadoop。 隨著越來越多的場景對Hadoop的MapReduce高延遲無法容忍，比如網站統(tǒng)計、推薦系統(tǒng)、預警系統(tǒng)、金融系統(tǒng)(高頻交易、股票)等等， 大數(shù)據(jù)實時處理解決方案（流計算）的應用日趨廣泛，目前已是分布式技術領域最新爆發(fā)點，而Storm更是流式計算技術中的佼佼者和主流。 按照storm作者的說法，Storm對于實時計算的意義類似于Hadoop對于批處理的意義。Hadoop提供了map + reduce的原語，使我們的批處理程序變得簡單和高效。 同樣，Storm也為實時計算提供了一些簡單高效的原語，而且Storm的Trident是基于Storm原語更高級的抽象框架，類似于基于Hadoop的Pig框架， 讓開發(fā)更加便利和高效。本課程會深入、全面的講解Storm，并穿插企業(yè)場景實戰(zhàn)講述Storm的運用。 淘寶雙11的大屏幕實時監(jiān)控效果沖擊了整個IT界，業(yè)界為之驚嘆的同時更是引起對該技術的探索。 學完本課程你可以自己開發(fā)升級版的“淘寶雙11”，一起來學習吧！

• 1）Storm簡介和課程介紹
  2）Storm原理和概念詳解 
  3）Zookeeper集群搭建及基本使用 
  4）Storm集群搭建及測試 
  5）API簡介和入門案例開發(fā) 
  6）Spout的Tail特性、storm-starter及maven使用、Grouping策略 
  7）實例講解Grouping策略及并發(fā) 
• 8）并發(fā)度詳解、案例開發(fā)（高并發(fā)運用）
  9）案例開發(fā)——計算網站PV，通過2種方式實現(xiàn)匯總型計算。 
  10）案例優(yōu)化引入Zookeeper鎖控制線程操作 
  11）計算網站UV(去重計算模式) 
  12）【運維】集群統(tǒng)一啟動和停止shell腳本開發(fā)
  13）Storm事務工作原理深入講解
  14）Storm事務API及案例分析
• 15）Storm事務案例實戰(zhàn)之 ITransactionalSpout 
  16）Storm事務案例升級之按天計算 
  17）Storm分區(qū)事務案例實戰(zhàn) 
  18）Storm不透明分區(qū)事務案例實戰(zhàn) 
  19）DRPC精解和案例分析 
  20）Storm Trident 入門
  21）Trident API和概念
• 22）Storm Trident實戰(zhàn)之計算網站PV
  23）ITridentSpout、FirstN(取Top N)實現(xiàn)、流合并和Join
  24）Storm Trident之函數(shù)、流聚合及核心概念State
  25）Storm Trident綜合實戰(zhàn)一（基于HBase的State）
  26）Storm Trident綜合實戰(zhàn)二
  27）Storm Trident綜合實戰(zhàn)三
  28）Storm集群和作業(yè)監(jiān)控告警開發(fā)

為什么要學習Scala？源于Spark的流行，Spark是當前最流行的開源大數(shù)據(jù)內存計算框架，采用Scala語言實現(xiàn)，各大公司都在使用Spark：IBM宣布承諾大力推進Apache Spark項目，并稱該項目為：在以數(shù)據(jù)為主導的，未來十年最為重要的新的開源項目。這一承諾的核心是將Spark嵌入IBM業(yè)內領先的分析和商務平臺，Scala具有數(shù)據(jù)處理的天然優(yōu)勢，Scala是未來大數(shù)據(jù)處理的主流語言；

• 1)-Spark的前世今生
  2)-課程介紹、特色與價值
  3)-Scala編程詳解：基礎語法 
  4)-Scala編程詳解：條件控制與循環(huán)
  5)-Scala編程詳解：函數(shù)入門 
  6)-Scala編程詳解：函數(shù)入門之默認參數(shù)和帶名參數(shù)  
• 7)-Scala編程詳解：函數(shù)入門之變長參數(shù)
  8)-Scala編程詳解：函數(shù)入門之過程、lazy值和異常
  9)-Scala編程詳解：數(shù)組操作之Array、ArrayBuffer以及遍歷數(shù)組
  10)-Scala編程詳解：數(shù)組操作之數(shù)組轉換
  11)-Scala編程詳解：Map與Tuple
• 12)-Scala編程詳解：面向對象編程之類
  13)-Scala編程詳解：面向對象編程之對象
  14)-Scala編程詳解：面向對象編程之繼承
  15)-Scala編程詳解：面向對象編程之Trait
  16)-Scala編程詳解：函數(shù)式編程 
• 17)-Scala編程詳解：函數(shù)式編程之集合操作
  18)-Scala編程詳解：模式匹配
  19)-Scala編程詳解：類型參數(shù)
  20)-Scala編程詳解：隱式轉換與隱式參數(shù)
  21)-Scala編程詳解：Actor入門

Spark是UC Berkeley AMP lab所開源的類，是Hadoop MapReduce的通用并行框架，Spark擁有Hadoop MapReduce所具有的優(yōu)點。啟用了內存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負載。Spark Streaming: 構建在Spark上處理Stream數(shù)據(jù)的框架，基本的原理是將Stream數(shù)據(jù)分成小的時間片斷（幾秒），以類似batch批量處理的方式來處理這小部分數(shù)據(jù)；

• 1）Spark 初識入門
  2）Spark概述、生態(tài)系統(tǒng)、與MapReduce比較
  3）Spark編譯、安裝部署（Standalone Mode）及測試
  4）Spark應用提交工具（spark-submit，spark-shell）
  5）Scala基本知識講解（變量，類，高階函數(shù)） 
• 6）Spark 核心RDD
  7）RDD特性、常見操作、緩存策略
  8）RDD Dependency、Stage常、源碼分析
  9）Spark 核心組件概述
  10）案例分析
• 11）Spark 高階應用
  12）Spark on YARN運行原理、運行模式及測試
  13）Spark HistoryServer歷史應用監(jiān)控
  14）Spark Streaming流式計算
• 15）Spark Streaming 原理、DStream設計
  16）Spark Streaming 常見input、out
  17）Spark Streaming 與Kafka集成
  18）使用Spark對【CSDN網用戶瀏覽日志】進行分析

本課程主要講解目前大數(shù)據(jù)領域熱門、火爆、有前景的技術——Spark。在本課程中，會從淺入深，基于大量案例實戰(zhàn)，深度剖析和講解Spark，并且會包含完全從企業(yè)真實復雜業(yè)務需求中抽取出的案例實戰(zhàn)。課程會涵蓋Scala編程詳解、Spark核心編程.

• 1）Scala編程、Hadoop與Spark集群搭建、Spark核心編程、Spark內核源碼深度剖析、Spark性能調優(yōu)；
• 2）Spark源碼剖析；
• 3）Spark案例分析；