Linux系統(tǒng)做為大數(shù)據(jù)平的企業(yè)級操作系統(tǒng)，本部分是基礎(chǔ)課程，幫大家打好Linux基礎(chǔ)，以便更好地學習Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等眾多課程。這是進入大數(shù)據(jù)領(lǐng)域的必須掌握的基礎(chǔ)技術(shù)因為企業(yè)中的項目基本上都是使用Linux環(huán)境下搭建或部署的。

• 1）Linux系統(tǒng)概述
  2）系統(tǒng)安裝及相關(guān)配置
  3）Linux網(wǎng)絡(luò)基礎(chǔ)
   
• 4）OpenSSH實現(xiàn)網(wǎng)絡(luò)安全連接 
  5）vi文本編輯器
  6）用戶和用戶組管理
• 7）磁盤管理 
  8）Linux文件和目錄管理 
  9）Linux終端常用命令 
• 10）linux系統(tǒng)監(jiān)測與維護

本課程是整套大數(shù)據(jù)課程的基石：其一，分布式文件系統(tǒng)HDFS用于存儲海量數(shù)據(jù)，無論是Hive、HBase或者Spark分析的數(shù)據(jù)是存儲在HDFS里面；其二是分布式資源管理框架YARN是用來在Hadoop 云操作系統(tǒng)（也稱數(shù)據(jù)系統(tǒng)）管理集群資源和分布式數(shù)據(jù)處理框架MapReduce、Spark應(yīng)用的資源調(diào)度與監(jiān)控的；分布式并行計算框架MapReduce目前是海量數(shù)據(jù)并行處理的一個最常用的框架。Hadoop 2.x的編譯、環(huán)境搭建、HDFS Shell使用，YARN 集群資源管理與任務(wù)監(jiān)控，MapReduce編程，分布式集群的部署管理（包括高可用性HA）必須要掌握的。

• 一、初識Hadoop 2.x
  1）大數(shù)據(jù)應(yīng)用發(fā)展、前景
  2）Hadoop 2.x概述及生態(tài)系統(tǒng)
  3）Hadoop 2.x環(huán)境搭建與測試
• 二、深入Hadoop 2.x
  1）HDFS文件系統(tǒng)的架構(gòu)、功能、設(shè)計
  2）HDFS Java API使用
  3）YARN 架構(gòu)、集群管理、應(yīng)用監(jiān)控
  4）MapReduce編程模型、Shuffle過程、編程調(diào)優(yōu)
• 三、高級Hadoop 2.x
  1）分布式部署Hadoop 2.x
  2）分布式協(xié)作服務(wù)框架Zookeeper 
  3）HDFS HA架構(gòu)、配置、測試
  4）HDFS 2.x中高級特性
  5）YARN HA架構(gòu)、配置
  6）Hadoop主要發(fā)行版本（CDH、HDP、Apache）
• 四、實戰(zhàn)應(yīng)用
  1）以【CSDN網(wǎng)用戶瀏覽日志】數(shù)據(jù)進行實際的分析
  2）原數(shù)據(jù)采集
  3）數(shù)據(jù)的預處理（ETL）
  4）數(shù)據(jù)的分析處理（MapReduce）

hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供基本的SQL查詢功能，可以將SQL語句轉(zhuǎn)換為MapReduce任務(wù)進行運行。其優(yōu)點是學習成本低，可以通類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計，不必開發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉庫的統(tǒng)計分析。

• 一、Hive 初識入門
  1）Hive功能、體系結(jié)構(gòu)、使用場景
  2）Hive環(huán)境搭建、初級使用 
  3）Hive原數(shù)據(jù)配置、常見交互方式
• 二、Hive深入使用
  1）Hive中的內(nèi)部表、外部表、分區(qū)表
  2）Hive 數(shù)據(jù)遷移
  3）Hive常見查詢（select、where、distinct、join、group by）
  4）Hive 內(nèi)置函數(shù)和UDF編程
• 三、Hive高級進階
  1）Hive數(shù)據(jù)的存儲和壓縮
  2）Hive常見優(yōu)化（數(shù)據(jù)傾斜、壓縮等）
• 四、結(jié)合【CSDN用戶瀏覽日志】實際案例分析
  1）依據(jù)業(yè)務(wù)設(shè)計表
  2）數(shù)據(jù)清洗、導入（ETL）
  3）使用HiveQL，統(tǒng)計常見的網(wǎng)站指標

Sqoop是一款開源的工具，主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫mysql、Oracle、SQLServer、postgresql等RDBMS數(shù)據(jù)間進行數(shù)據(jù)的傳遞，可以將一個關(guān)系型數(shù)據(jù)庫，例如 ： MySQL 、Oracle 、SQLServer、Postgres等RDBMS中的數(shù)據(jù)導進到關(guān)系型數(shù)據(jù)庫中。Sqoop項目開始于2009年，最早是作為Hadoop的一個第三方模塊存在，后來為了讓使用者能夠快速部署，也為了讓開發(fā)人員能夠更快速的迭代開發(fā)，Sqoop獨立成為一個Apache項目。

• 一、數(shù)據(jù)轉(zhuǎn)換工具Sqoop
  1）Sqoop功能、使用原則
  2）將RDBMS數(shù)據(jù)導入Hive表中（全量、增量） 
  3）將HDFS上文件導出到RDBMS表中
• 二、文件收集框架Flume
  1）Flume 設(shè)計架構(gòu)、原理（三大組件）
  2）Flume初步使用，實時采集數(shù)據(jù) 
  3）如何使用Flume監(jiān)控文件夾數(shù)據(jù)，實時采集錄入HDFS中
  4）任務(wù)調(diào)度框架Oozie
• 三、Oozie功能、安裝部署
  1）使用Oozie調(diào)度MapReduce Job和HiveQL
  2）定時調(diào)度任務(wù)使用
  

Hue是一個開源的Apache Hadoop UI系統(tǒng)，最早是由Cloudera Desktop演化而來，由Cloudera貢獻給開源社區(qū)，它是基于Python Web框架Django實現(xiàn)的。通過使用Hue我們可以在瀏覽器端的Web控制臺上與Hadoop集群進行交互來分析處理數(shù)據(jù)，例如操作HDFS上的數(shù)據(jù)，運行MapReduce Job等等。

• 1）Hue架構(gòu)、功能、編譯
  5）Hue集成Oozie
• 2）Hue集成HDFS 
• 3）Hue集成MapReduce
• 4）Hue集成Hive、DataBase

HBase是一個分布式的、面向列的開源數(shù)據(jù)庫，該技術(shù)來源于 Fay Chang 所撰寫的Google論文“Bigtable：一個結(jié)構(gòu)化數(shù)據(jù)的分布式存儲系統(tǒng)”。HBase在Hadoop之上提供了類似于Bigtable的能力，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用HBase技術(shù)可在廉價PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲集群；

• 一、HBase初窺使用
  1）HBase是什么、發(fā)展、與RDBMS相比優(yōu)勢、企業(yè)使用
  2）HBase Schema、表的設(shè)計
  3）HBase 環(huán)境搭建、shell初步使用（CRUD等）
• 二、HBase 深入使用
  1）HBase 數(shù)據(jù)存儲模型
  2）HBase Java API使用（CRUD、SCAN等）
  3）HBase 架構(gòu)深入剖析
  4）HBase 與MapReduce集成、數(shù)據(jù)導入導出
• 三、HBase 高級使用
  1）如何設(shè)計表、表的預分區(qū)（依據(jù)具體業(yè)務(wù)分析講解）
  2）HBase 表的常見屬性設(shè)置（結(jié)合企業(yè)實際）
  3）HBase Admin操作（Java API、常見命令）
• 四、【CSDN用戶瀏覽日志】進行分析
  1）依據(jù)需求設(shè)計表、創(chuàng)建表、預分區(qū)
  2）進行業(yè)務(wù)查詢分析 
  3）對于密集型讀和密集型寫進行HBase參數(shù)調(diào)優(yōu)

Storm是Twitter開源的分布式實時大數(shù)據(jù)處理框架，被業(yè)界稱為實時版Hadoop。 隨著越來越多的場景對Hadoop的MapReduce高延遲無法容忍，比如網(wǎng)站統(tǒng)計、推薦系統(tǒng)、預警系統(tǒng)、金融系統(tǒng)(高頻交易、股票)等等， 大數(shù)據(jù)實時處理解決方案（流計算）的應(yīng)用日趨廣泛，目前已是分布式技術(shù)領(lǐng)域最新爆發(fā)點，而Storm更是流式計算技術(shù)中的佼佼者和主流。 按照storm作者的說法，Storm對于實時計算的意義類似于Hadoop對于批處理的意義。Hadoop提供了map + reduce的原語，使我們的批處理程序變得簡單和高效。 同樣，Storm也為實時計算提供了一些簡單高效的原語，而且Storm的Trident是基于Storm原語更高級的抽象框架，類似于基于Hadoop的Pig框架， 讓開發(fā)更加便利和高效。本課程會深入、全面的講解Storm，并穿插企業(yè)場景實戰(zhàn)講述Storm的運用。 淘寶雙11的大屏幕實時監(jiān)控效果沖擊了整個IT界，業(yè)界為之驚嘆的同時更是引起對該技術(shù)的探索。 學完本課程你可以自己開發(fā)升級版的“淘寶雙11”，一起來學習吧！

• 1）Storm簡介和課程介紹
  2）Storm原理和概念詳解 
  3）Zookeeper集群搭建及基本使用 
  4）Storm集群搭建及測試 
  5）API簡介和入門案例開發(fā) 
  6）Spout的Tail特性、storm-starter及maven使用、Grouping策略 
  7）實例講解Grouping策略及并發(fā) 
• 8）并發(fā)度詳解、案例開發(fā)（高并發(fā)運用）
  9）案例開發(fā)——計算網(wǎng)站PV，通過2種方式實現(xiàn)匯總型計算。 
  10）案例優(yōu)化引入Zookeeper鎖控制線程操作 
  11）計算網(wǎng)站UV(去重計算模式) 
  12）【運維】集群統(tǒng)一啟動和停止shell腳本開發(fā)
  13）Storm事務(wù)工作原理深入講解
  14）Storm事務(wù)API及案例分析
• 15）Storm事務(wù)案例實戰(zhàn)之 ITransactionalSpout 
  16）Storm事務(wù)案例升級之按天計算 
  17）Storm分區(qū)事務(wù)案例實戰(zhàn) 
  18）Storm不透明分區(qū)事務(wù)案例實戰(zhàn) 
  19）DRPC精解和案例分析 
  20）Storm Trident 入門
  21）Trident API和概念
• 22）Storm Trident實戰(zhàn)之計算網(wǎng)站PV
  23）ITridentSpout、FirstN(取Top N)實現(xiàn)、流合并和Join
  24）Storm Trident之函數(shù)、流聚合及核心概念State
  25）Storm Trident綜合實戰(zhàn)一（基于HBase的State）
  26）Storm Trident綜合實戰(zhàn)二
  27）Storm Trident綜合實戰(zhàn)三
  28）Storm集群和作業(yè)監(jiān)控告警開發(fā)

為什么要學習Scala？源于Spark的流行，Spark是當前最流行的開源大數(shù)據(jù)內(nèi)存計算框架，采用Scala語言實現(xiàn)，各大公司都在使用Spark：IBM宣布承諾大力推進Apache Spark項目，并稱該項目為：在以數(shù)據(jù)為主導的，未來十年最為重要的新的開源項目。這一承諾的核心是將Spark嵌入IBM業(yè)內(nèi)領(lǐng)先的分析和商務(wù)平臺，Scala具有數(shù)據(jù)處理的天然優(yōu)勢，Scala是未來大數(shù)據(jù)處理的主流語言；

• 1)-Spark的前世今生
  2)-課程介紹、特色與價值
  3)-Scala編程詳解：基礎(chǔ)語法 
  4)-Scala編程詳解：條件控制與循環(huán)
  5)-Scala編程詳解：函數(shù)入門 
  6)-Scala編程詳解：函數(shù)入門之默認參數(shù)和帶名參數(shù)  
• 7)-Scala編程詳解：函數(shù)入門之變長參數(shù)
  8)-Scala編程詳解：函數(shù)入門之過程、lazy值和異常
  9)-Scala編程詳解：數(shù)組操作之Array、ArrayBuffer以及遍歷數(shù)組
  10)-Scala編程詳解：數(shù)組操作之數(shù)組轉(zhuǎn)換
  11)-Scala編程詳解：Map與Tuple
• 12)-Scala編程詳解：面向?qū)ο缶幊讨��?/span>
  13)-Scala編程詳解：面向?qū)ο缶幊讨畬ο?/span>
  14)-Scala編程詳解：面向?qū)ο缶幊讨�繼承
  15)-Scala編程詳解：面向?qū)ο缶幊讨甌rait
  16)-Scala編程詳解：函數(shù)式編程 
• 17)-Scala編程詳解：函數(shù)式編程之集合操作
  18)-Scala編程詳解：模式匹配
  19)-Scala編程詳解：類型參數(shù)
  20)-Scala編程詳解：隱式轉(zhuǎn)換與隱式參數(shù)
  21)-Scala編程詳解：Actor入門

Spark是UC Berkeley AMP lab所開源的類，是Hadoop MapReduce的通用并行框架，Spark擁有Hadoop MapReduce所具有的優(yōu)點。啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負載。Spark Streaming: 構(gòu)建在Spark上處理Stream數(shù)據(jù)的框架，基本的原理是將Stream數(shù)據(jù)分成小的時間片斷（幾秒），以類似batch批量處理的方式來處理這小部分數(shù)據(jù)；

• 1）Spark 初識入門
  2）Spark概述、生態(tài)系統(tǒng)、與MapReduce比較
  3）Spark編譯、安裝部署（Standalone Mode）及測試
  4）Spark應(yīng)用提交工具（spark-submit，spark-shell）
  5）Scala基本知識講解（變量，類，高階函數(shù)） 
• 6）Spark 核心RDD
  7）RDD特性、常見操作、緩存策略
  8）RDD Dependency、Stage常、源碼分析
  9）Spark 核心組件概述
  10）案例分析
• 11）Spark 高階應(yīng)用
  12）Spark on YARN運行原理、運行模式及測試
  13）Spark HistoryServer歷史應(yīng)用監(jiān)控
  14）Spark Streaming流式計算
• 15）Spark Streaming 原理、DStream設(shè)計
  16）Spark Streaming 常見input、out
  17）Spark Streaming 與Kafka集成
  18）使用Spark對【CSDN網(wǎng)用戶瀏覽日志】進行分析

本課程主要講解目前大數(shù)據(jù)領(lǐng)域熱門、火爆、有前景的技術(shù)——Spark。在本課程中，會從淺入深，基于大量案例實戰(zhàn)，深度剖析和講解Spark，并且會包含完全從企業(yè)真實復雜業(yè)務(wù)需求中抽取出的案例實戰(zhàn)。課程會涵蓋Scala編程詳解、Spark核心編程.

• 1）Scala編程、Hadoop與Spark集群搭建、Spark核心編程、Spark內(nèi)核源碼深度剖析、Spark性能調(diào)優(yōu)；
• 2）Spark源碼剖析；
• 3）Spark案例分析；

本階段主要就之前所學內(nèi)容完成大數(shù)據(jù)相關(guān)企業(yè)場景與解決方案的剖析應(yīng)用及結(jié)合一個電子商務(wù)平臺進行實戰(zhàn)分析，主要包括有： 企業(yè)大數(shù)據(jù)平臺概述、搭建企業(yè)大數(shù)據(jù)平臺、真實服務(wù)器手把手環(huán)境部署、使用CM 5.3.x管理CDH 5.3.x集群；

• 1）企業(yè)大數(shù)據(jù)平臺概述
  2）大數(shù)據(jù)平臺基本組件 
  3）Hadoop 發(fā)行版本、比較、選擇
  4）集群環(huán)境的準備（系統(tǒng)、基本配置、規(guī)劃等） 
• 5）搭建企業(yè)大數(shù)據(jù)平臺 
  6）以實際企業(yè)項目需求為依據(jù)，搭建平臺 
  7）需求分析（主要業(yè)務(wù)） 
  8）框架選擇（Hive\HBase\Spark等）
• 9）真實服務(wù)器手把手環(huán)境部署 
  10）安裝Cloudera Manager 5.3.x 
  11）使用CM 5.3.x安裝CDH 5.3.x 
  12）如何使用CM 5.3.x管理CDH 5.3.x集群
• 13）基本配置，優(yōu)化 
  14）基本性能測試 
  15）各個組件如何使用

離線數(shù)據(jù)分析平臺是一種利用hadoop集群開發(fā)工具的一種方式，主要作用是幫助公司對網(wǎng)站的應(yīng)用有一個比較好的了解。尤其是在電商、旅游、銀行、證券、游戲等領(lǐng)域有非常廣泛，因為這些領(lǐng)域?qū)��?shù)據(jù)和用戶的特性把握要求比較高，所以對于離線數(shù)據(jù)的分析就有比較高的要求了。 本課程講師本人之前在游戲、旅游等公司專門從事離線數(shù)據(jù)分析平臺的搭建和開發(fā)等，通過此項目將所有大數(shù)據(jù)內(nèi)容貫穿，并前后展示！

• 1）Flume、Hadoop、Hbase、Hive、Oozie、Sqoop、離線數(shù)據(jù)分析，SpringMVC，Highchat；
• 2Flume+Hadoop+Hbase+SpringMV
  C+MyBatis+MySQL+Highcharts實現(xiàn)的電商離線數(shù)據(jù)分析；
• 3）日志收集系統(tǒng)、日志分析、數(shù)據(jù)展示設(shè)計

課程基于1號店的業(yè)務(wù)及數(shù)據(jù)進行設(shè)計和講解的，主要涉及：
1、課程中完整開發(fā)3個Storm項目，均為企業(yè)實際項目，其中一個是完全由Storm Trident開發(fā)。 項目源碼均可以直接運行，也可直接用于商用或企業(yè)。
2、每個技術(shù)均采用最新穩(wěn)定版本，學完后會員可以從Kafka到Storm項目開發(fā)及HighCharts圖表開發(fā)一個人搞定！讓學員身價劇增；
3、搭建CDH5生態(tài)環(huán)境完整平臺，且采用Cloudera Manager界面化管理CDH5平臺。讓Hadoop平臺環(huán)境搭建和維護都變得輕而易舉。
4、分享實際項目的架構(gòu)設(shè)計、優(yōu)劣分析和取舍、經(jīng)驗技巧，陡直提升學員的經(jīng)驗值；

• 1）全面掌握Storm完整項目開發(fā)思路和架構(gòu)設(shè)計
  2）掌握Storm Trident項目開發(fā)模式
• 3）掌握Kafka運維和API開發(fā)、與Storm接口開發(fā) 
  4）掌握HighCharts各類圖表開發(fā)和實時無刷新加載數(shù)據(jù) 
• 5）熟練搭建CDH5生態(tài)環(huán)境完整平臺 
  6）靈活運用HBase作為外部存儲
• 7）可以做到以一己之力完成從后臺開發(fā)（Storm、Kafka、Hbase開發(fā)） 
  到前臺HighCharts圖表開發(fā)、Jquery運用等，所有工作一個人搞定！ 
  可以一個人搞定淘寶雙11大屏幕項目！

本階段通過對歷來大數(shù)據(jù)公司企業(yè)真實面試題的剖析，講解，讓學員真正的一個菜鳥轉(zhuǎn)型為具有1年以上的大數(shù)據(jù)開發(fā)工作經(jīng)驗的專業(yè)人士，也是講師多年來大數(shù)據(jù)企業(yè)開發(fā)的經(jīng)驗之談。

• 1）大數(shù)據(jù)項目
  2）企業(yè)大數(shù)據(jù)項目的類型 
  3）技術(shù)架構(gòu)（如何使用各框架處理數(shù)據(jù)）
• 4）沖刺高薪面試 
  5）面試簡歷編寫（把握重點要點） 
  6）面試中的技巧
• 7）常見面試題講解 
  8）如何快速融入企業(yè)進行工作（對于大數(shù)據(jù)公司來說非常關(guān)鍵）
  9）學員答疑 
• 10）針對普遍問題進行公共解答  
  11）一對一的交流

國內(nèi)關(guān)于Java性能調(diào)優(yōu)的課程非常少，如此全面深入介紹Java性能調(diào)優(yōu); 本套課程系多年工作經(jīng)驗與心得的總結(jié)，課程有著很高的含金量和實用價值，本課程專注于java應(yīng)用程序的優(yōu)化方法，技巧和思想，深入剖析軟件設(shè)計層面、代碼層面、JVM虛擬機層面的優(yōu)化方法，理論結(jié)合實際，使用豐富的示例幫助學員理解理論知識。

Java自面世后就非常流行，發(fā)展迅速，對C++語言形成有力沖擊。在全球云計算和移動互聯(lián)網(wǎng)的產(chǎn)業(yè)環(huán)境下，JAVA更具備了顯著優(yōu)勢和廣闊前景，基于JAVA的項目也越來越多，對JAVA運行環(huán)境的要求也越來越高，很多JAVA的程序員只知道對業(yè)務(wù)的擴展而不知道對java本身的運行環(huán)境的調(diào)試，例如虛擬機調(diào)優(yōu)，服務(wù)器集群等，所以也滋生本門課程的產(chǎn)生。 本課程重點講解JAVA企業(yè)級開發(fā)中必須掌握的應(yīng)用服務(wù)器；

隨著互聯(lián)網(wǎng)的發(fā)展，高并發(fā)、大數(shù)據(jù)量的網(wǎng)站要求越來越高。而這些高要求都是基礎(chǔ)的技術(shù)和細節(jié)組合而成的。本課程就從實際案例出發(fā)給大家原景重現(xiàn)高并發(fā)架構(gòu)常用技術(shù)點及詳細演練。通過該課程的學習，普通的技術(shù)人員就可以快速搭建起千萬級的高并發(fā)大數(shù)據(jù)網(wǎng)站平臺,課程涉及內(nèi)容包括:LVS實現(xiàn)負載均衡、Nginx高級配置實戰(zhàn)、共享存儲實現(xiàn)動態(tài)內(nèi)容靜態(tài)化加速實戰(zhàn)、緩存平臺安裝配置使用、mysql主從復制安裝配置實戰(zhàn)等。

隨著Web技術(shù)的普及，Internet上的各類網(wǎng)站每天都在爆炸式增長。但這些網(wǎng)站大多在性能上沒做過多考慮。當然,各種情況不同。有的是Web技術(shù)本身的原因（主要是程序代碼問題）,還有就是由于Web服務(wù)器未進行優(yōu)化。不管是哪種情況，一但用戶量在短時間內(nèi)激增，網(wǎng)站就會明顯變慢，甚至拒絕放訪問。要想有效地解決這些問題，就只有依靠不同的優(yōu)化技術(shù)。本課程就是主要用于來解決大型網(wǎng)站性能問題，能夠承受大數(shù)據(jù)、高并發(fā)。主要涉及 技術(shù)有：nginx、tomcat、memcached、redis緩存、負載均衡等高級開發(fā)技術(shù)； 
項目實戰(zhàn)：PB級通用電商網(wǎng)站性能優(yōu)化解決方案
本部分通過一個通用電商訂單支付模塊，外加淘寶支付接口的實現(xiàn)（可用于實際項目開發(fā)），剖析并分析過程中可能遇到的各種性能瓶頸及相關(guān)的解決方案與優(yōu)化技巧。最終目標，讓具備PHP基礎(chǔ)或JAVA基礎(chǔ)的學員迅速掌握Linux下的開發(fā)知識，并對涉及到nginx、tomcat、memcached、redis緩存、負載均衡等高級開發(fā)技術(shù)有一個全面的了解；

本課程名為深入淺出數(shù)據(jù)挖掘技術(shù)。所謂“深入”，指得是從數(shù)據(jù)挖掘的原理與經(jīng)典算法入手。其一是要了解算法，知道什么場景應(yīng)當應(yīng)用什么樣的方法；其二是學習算法的經(jīng)典思想，可以將它應(yīng)用到其他的實際項目之中；其三是理解算法，讓數(shù)據(jù)挖掘的算法能夠應(yīng)用到您的項目開發(fā)之中去。所謂“淺出”，指得是將數(shù)據(jù)挖掘算法的應(yīng)用落實到實際的應(yīng)用中。課程會通過三個不同的方面來講解算法的應(yīng)用：一是微軟公司的SQL Server與Excel等工具實現(xiàn)的數(shù)據(jù)挖掘；二是著名開源算法的數(shù)據(jù)挖掘，如Weka、KNIMA、Tanagra等開源工具；三是利用C#語言做演示來完成數(shù)據(jù)挖掘算法的實現(xiàn)。根據(jù)實際的引用場景，數(shù)據(jù)挖掘技術(shù)通常分為分類器、關(guān)聯(lián)分析、聚類算法等三大類別。本課程主要介紹這三大算法的經(jīng)典思想以及部分著名的實現(xiàn)形式，并結(jié)合一些商業(yè)分析工具、開源工具或編程等方式來講解具體的應(yīng)用方法；

本課程由淺入深的介紹了Lucene4的發(fā)展歷史，開發(fā)環(huán)境搭建，分析lucene4的中文分詞原理，深入講了lucenne4的系統(tǒng)架構(gòu)，分析lucene4索引實現(xiàn)原理及性能優(yōu)化，了解關(guān)于lucene4的搜索算法優(yōu)化及利用java結(jié)合lucene4實現(xiàn)類百度文庫的全文檢索功能等相對高端實用的內(nèi)容，市面上一般很難找到同類具有相同深度與廣度的視頻，集原理、基礎(chǔ)、案例與實戰(zhàn)與一身，不可多得的一部高端視頻教程；

本教程從最基礎(chǔ)的solr語法開始講解，選擇了最新最流行的開源搜索引擎服務(wù)框架solr5.3.1，利用Tomcat8搭建了solr的集群服務(wù)；本教程可以幫助學員快速上手solr的開發(fā)和二次開發(fā)，包括在hadoop集群的使用，海量數(shù)據(jù)的索引和實時檢索，通過了解、學習、安裝、配置、集成等步驟引導學員如何將solr集成到項目中；

SPSS Modeler是業(yè)界極為著名的數(shù)據(jù)挖掘軟件，其前身為SPSS Clementine。SPSS Modeler內(nèi)置豐富的數(shù)據(jù)挖掘模型，以其強大的挖掘功能和友好的操作習慣，深受用戶的喜愛和好評，成為眾多知名企業(yè)在數(shù)據(jù)挖掘項目上的軟件產(chǎn)品選擇。本課程以SPSS Modeler為應(yīng)用軟件，以數(shù)據(jù)挖掘項目生命周期為線索，以實際數(shù)據(jù)挖掘項目為例，講解了從項目商業(yè)理解開始，到最后軟件實現(xiàn)的全過程。

ETL是數(shù)據(jù)的抽取、清洗、轉(zhuǎn)換、加載的過程，是數(shù)據(jù)進入數(shù)據(jù)倉庫進行大數(shù)據(jù)分析的載入過程，目前流行的數(shù)據(jù)進入倉庫的過程有兩種形式，一種是進入數(shù)據(jù)庫后再進行清洗和轉(zhuǎn)換，另外一條路線是首先進行清洗轉(zhuǎn)換再進入數(shù)據(jù)庫，我們的ETL屬于后者。 大數(shù)據(jù)的利器大家可能普遍說是hadoop，但是大家要知道如果我們不做預先的清洗和轉(zhuǎn)換處理，我們進入hadoop后僅通過mapreduce進行數(shù)據(jù)清洗轉(zhuǎn)換再進行分析，垃圾數(shù)據(jù)會導致我們的磁盤占用量會相當大，這樣無形中提升了我們的硬件成本（硬盤大，內(nèi)存小處理速度會很慢，內(nèi)存大但CPU性能低速度也會受影響），因此雖然hadoop理論上解決了一堆普通服務(wù)器拼起來解決大問題的問題，但是事實上如果我們有更好的節(jié)點速度必然是會普遍提升的，因此ETL在大數(shù)據(jù)環(huán)境下仍然是必不可少的數(shù)據(jù)交換工具；

本課程面向從未接觸過數(shù)據(jù)分析的學員，從最基礎(chǔ)的R語法開始講起，逐步進入到目前各行業(yè)流行的各種分析模型。整個課程分為基礎(chǔ)和實戰(zhàn)兩個單元：基礎(chǔ)部分包括R語法和統(tǒng)計思維兩個主題、R語法單元會介紹R語言中的各種特色數(shù)據(jù)結(jié)構(gòu)，以及如何從外部抓取數(shù)據(jù)，如何使用包和函數(shù)，幫助學員快速通過語法關(guān)。統(tǒng)計思維單元會指導如何用統(tǒng)計學的思想快速的發(fā)現(xiàn)數(shù)據(jù)特點或者模式，并利用R強大的繪圖能力做可視化展現(xiàn)。在實戰(zhàn)部分選擇了回歸、聚類、數(shù)據(jù)降維、關(guān)聯(lián)規(guī)則、決策樹這5中最基礎(chǔ)的數(shù)據(jù)分析模型，詳細介紹其思想原理，并通過案例講解R中的實現(xiàn)方案，尤其是詳細的介紹了對各種參數(shù)和輸出結(jié)果的解讀，讓學員真正達到融會貫通、舉一反三的效果。并應(yīng)用到自己的工作環(huán)境中；

Mahout 是 Apache Software Foundation（ASF） 旗下的一個開源項目，提供一些可擴展的機器學習領(lǐng)域經(jīng)典算法的實現(xiàn)，旨在幫助開發(fā)人員更加方便快捷地創(chuàng)建智能應(yīng)用程序。課程包括：Mahout數(shù)據(jù)挖掘工具，及Hadoop實現(xiàn)推薦系統(tǒng)的綜合實戰(zhàn)，涉及到MapReduce、Pig和Mahout的綜合實戰(zhàn)；

近年來，金融領(lǐng)域的量化分析越來越受到理論界與實務(wù)界的重視，量化分析的技術(shù)也取得了較大的進展，成為備受關(guān)注的一個熱點領(lǐng)域。所謂金融量化，就是將金融分析理論與計算機編程技術(shù)相結(jié)合，更為有效的利用現(xiàn)代計算技術(shù)實現(xiàn)準確的金融資產(chǎn)定價以及交易機會的發(fā)現(xiàn)。量化分析目前已經(jīng)涉及到金融領(lǐng)域的方方面面，包括基礎(chǔ)和衍生品金融資產(chǎn)定價、風險管理、量化投資等。隨著大數(shù)據(jù)技術(shù)的發(fā)展，量化分析還逐步與大數(shù)據(jù)結(jié)合在一起，對海量金融數(shù)據(jù)實現(xiàn)有效和快速的運算與處理。在量化金融的時代，選用一種合適的編程語言對于金融模型的實現(xiàn)是至關(guān)重要的。在這方面，Python語言體現(xiàn)出了不一般的優(yōu)勢，特別是它擁有大量的金融計算庫，并且可以提供與C++，java等語言的接口以實現(xiàn)高效率的分析，成為金融領(lǐng)域快速開發(fā)和應(yīng)用的一種關(guān)鍵語言，由于它是開源的，降低了金融計算的成本，而且還通過廣泛的社交網(wǎng)絡(luò)提供大量的應(yīng)用實例，極大的縮短了金融量化分析的學習路徑。本課程在量化分析與Python語言快速發(fā)展的背景下介紹二者之間的關(guān)聯(lián)，使學員能夠快速掌握如何利用Python語言進行金融數(shù)據(jù)量化分析的基本方法。

本課程介紹了基于云計算的大數(shù)據(jù)處理技術(shù)，重點介紹了一款高效的、實時分析處理海量數(shù)據(jù)的強有力工具——數(shù)據(jù)立方。數(shù)據(jù)立方是針對大數(shù)據(jù)處理的分布式數(shù)據(jù)庫，能夠可靠地對大數(shù)據(jù)進行實時處理，具有即時響應(yīng)多用戶并發(fā)請求的能力，通過對當前主流的大數(shù)據(jù)處理系統(tǒng)進行深入剖析，闡述了數(shù)據(jù)立方產(chǎn)生的背景，介紹了數(shù)據(jù)立方的整體架構(gòu)以及安裝和詳細開發(fā)流程，并給出了4個完整的數(shù)據(jù)立方綜合應(yīng)用實例。所有實例都經(jīng)過驗證并附有詳細的步驟說明，無論是對于云計算的初學者還是想進一步深入學習大數(shù)據(jù)處理技術(shù)的研發(fā)人員、研究人員都有很好的參考價值。

ZooKeeper是Hadoop的開源子項目（Google Chubby的開源實現(xiàn)），它是一個針對大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)，提供的功能包括：配置維護、命名服務(wù)、分布式同步、組服務(wù)等。Zookeeper的Fast Fail 和 Leader選舉特性大大增強了分布式集群的穩(wěn)定和健壯性，并且解決了Master/Slave模式的單點故障重大隱患，這是越來越多的分布式產(chǎn)品如HBase、Storm（流計算）、S4（流計算）等強依賴Zookeeper的原因。Zookeeper在分布式集群（Hadoop生態(tài)圈）中的地位越來越突出，對分布式應(yīng)用的開發(fā)也提供了極大便利，這是迫切需要深入學習Zookeeper的原因。
本課程主要內(nèi)容包括Zookeeper深入、客戶端開發(fā)（Java編程，案例開發(fā)）、日常運維、Web界面監(jiān)控，“一條龍”的實戰(zhàn)平臺分享給大家；

Docker是一種開源的應(yīng)用容器引擎，使用Docker可以快速地實現(xiàn)虛擬化，并且實現(xiàn)虛擬化的性能相對于其他技術(shù)來說較高。并且隨著云計算的普及以及對虛擬化技術(shù)的大量需求，使得云計算人才供不應(yīng)求，所以一些大型企業(yè)對Docker專業(yè)技術(shù)人才需求較大。本教程從最基礎(chǔ)的Dokcer原理開始講起，深入淺出，并且全套課程均結(jié)合實例實戰(zhàn)進行講解，讓學員可以不僅能了解原理，更能夠?qū)嶋H地去使用這門技術(shù)；

2013年，云計算領(lǐng)域從此多了一個名詞“Docker”。以輕量著稱，更好的去解決應(yīng)用打包和部署。之前我們一直在構(gòu)建Iaas，但通過Iaas去實現(xiàn)統(tǒng)一功 能還是相當復雜得，并且維護復雜。將特殊性封裝到鏡像中實現(xiàn)幾乎一致得部署方法，它就是“Docker”，以容器為技術(shù)核心，實現(xiàn)了應(yīng)用的標準化。企業(yè)可以快速生成研發(fā)、測試環(huán)境，并且可以做到快速部署。實現(xiàn)了從產(chǎn)品研發(fā)環(huán)境到部署環(huán)境的一致化。Docker讓研發(fā)更加專注于代碼的編寫，并且以“鏡像”作 為交付。極大的縮短了產(chǎn)品的交付周期和實施周期；

OpenStack是一個由Rackspace發(fā)起、全球開發(fā)者共同參與的開源項目，旨在打造易于部署、功能豐富且易于擴展的云計算平臺。OpenStack企圖成為數(shù)據(jù)中心的操作系統(tǒng)，即云操作系統(tǒng)。從項目發(fā)起之初，OpenStack就幾乎贏得了所有IT巨頭的關(guān)注，在各種OpenStack技術(shù)會議上人們激情澎湃，幾乎所有人都成為OpenStack的信徒。 這個課程重點放在Openstack的部署和網(wǎng)絡(luò)部分。課程強調(diào)實際的動手操作，使用vmware模擬實際的物理平臺，讓大家可以自己動手去實際搭建和學習Openstack。課程內(nèi)容包括云計算的基本知識、虛擬網(wǎng)絡(luò)基礎(chǔ)、Openstack部署和應(yīng)用、Openstack網(wǎng)絡(luò)詳解等；

本課程希望用簡單易懂的語言帶領(lǐng)大家探索TensorFlow（基于1.0版本API）。課程中講師主講TensorFlow的基礎(chǔ)原理，TF和其他框架的異同。并用具體的代碼完整地實現(xiàn)了各種類型的深度神經(jīng)網(wǎng)絡(luò)：AutoEncoder、MLP、CNN（AlexNet，VGGNet，Inception Net，ResNet）、Word2Vec、RNN（LSTM，Bi-RNN）、Deep Reinforcement Learning(Policy Network、Value Network)。此外，還講解了TensorBoard、多GPU并行、分布式并行、TF.Learn和其他TF.Contrib組件。本課程能幫讀者快速入門TensorFlow和深度學習，在工業(yè)界或者研究中快速地將想法落地為可實踐的模型；

• 1）TensorFlow基礎(chǔ)  
  2）TensorFlow和其他深度學習框架的對比
  3）TensorFlow第一步
• 4）TensorFlow實現(xiàn)自編碼器及多層感知機
  5）TensorFlow實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)
• 6）TensorFlow實現(xiàn)經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)
  7）TensorFlow實現(xiàn)循環(huán)神經(jīng)網(wǎng)絡(luò)及Word2Vec 
• 8）TensorFlow實現(xiàn)深度強化學習
  9）TensorBoard、多GPU并行及分布式并行

本課程重點講解開發(fā)推薦系統(tǒng)的方法，尤其是許多經(jīng)典算法，重點探討如何衡量推薦系統(tǒng)的有效性。課程內(nèi)容分為基本概念和進展兩部分：前者涉及協(xié)同推薦、基于內(nèi)容的推薦、基于知識的推薦、混合推薦方法，推薦系統(tǒng)的解釋、評估推薦系統(tǒng)和實例分析；后者包括針對推薦系統(tǒng)的攻擊、在線消費決策、推薦系統(tǒng)和下一代互聯(lián)網(wǎng)以及普通環(huán)境中的推薦。課程中包含大量的圖、表和示例，有助于學員理解和把握相關(guān)知識等：

• 1）協(xié)同過濾推薦
  2）基于內(nèi)容的推薦
• 3）基于知識的推薦
  4）混合推薦方法
• 5）推薦系統(tǒng)的解釋
  6）評估推薦系統(tǒng) 
• 7）案例研究

本課程主要講解人工智能的基本原理、實現(xiàn)技術(shù)及其應(yīng)用，國內(nèi)外人工智能研究領(lǐng)域的進展和發(fā)展方向。內(nèi)容主要分為4個部分：
   第1部分是搜索與問題求解，系統(tǒng)地敘述了人工智能中各種搜索方法求解的原理和方法，內(nèi)容包括狀態(tài)空間和傳統(tǒng)的圖搜索算法、和聲算法、禁忌搜索算法、遺傳算法、免疫算法、粒子群算法、蟻群算法和Agent技術(shù)等；
   第2部分為知識與推理，討論各種知識表示和處理技術(shù)、各種典型的推理技術(shù)，還包括非經(jīng)典邏輯推理技術(shù)和非協(xié)調(diào)邏輯推理技術(shù)；
   第3部分為學習與發(fā)現(xiàn)，討論傳統(tǒng)的機器學習算法、神經(jīng)網(wǎng)絡(luò)學習算法、數(shù)據(jù)挖掘和知識發(fā)現(xiàn)技術(shù)；
   第4部分為領(lǐng)域應(yīng)用，分別討論專家系統(tǒng)開發(fā)技術(shù)和自然語言處理原理和方法。 通過對這些內(nèi)容的講解能夠使學員對人工智能的基本概念和人工智能系統(tǒng)的構(gòu)造方法有一個比較清楚的認識，對人工智能研究領(lǐng)域里的成果有所了解；

• 1）AI的產(chǎn)生及主要學派
  2）人工智能、專家系統(tǒng)和知識工程
  3）實現(xiàn)搜索過程的三大要素
  4）搜索的基本策略 
• 5）圖搜索策略
  6）博弈與搜索
  7）演化搜索算法
  8）群集智能算法
• 9）記憶型搜索算法
  10）基于Agent的搜索
  11）知識表示與處理方法
  12）謂詞邏輯的歸結(jié)原理及其應(yīng)用 
• 13）非經(jīng)典邏輯的推理
  14）次協(xié)調(diào)邏輯推理

本項目采用Java語言實現(xiàn)，絕對基于真實的爬蟲項目進行改進和優(yōu)化，希望進一步提升大家的大數(shù)據(jù)項目經(jīng)驗。本項目基本涵蓋了爬蟲項目的整個流程，包括數(shù)據(jù)爬蟲、全文檢索、數(shù)據(jù)可視化、爬蟲項目監(jiān)控、爬蟲項目維護等等。解決了爬蟲項目中遇到的棘手問題，包括破解網(wǎng)站反爬策略、網(wǎng)站模板定期變更、網(wǎng)站頻繁訪問IP被封等等問題； 技術(shù)架構(gòu)：
  Java、HttpClient、Redis、Solr、HBase、Zookeeper、HighChart、HTMLEmail

本項目主要采用目前大數(shù)據(jù)領(lǐng)域最成熟的實時計算框架Spark，它是目前主流企業(yè)在實時計算方向采用的主流框架。本項目使用了Spark技術(shù)生態(tài)棧中的三個技術(shù)框架：Spark Core、Spark Streaming和Spark MLlib，進行道路交通實時流量監(jiān)控預測系統(tǒng)的開發(fā)。業(yè)務(wù)實現(xiàn)包括數(shù)據(jù)產(chǎn)生模塊、數(shù)據(jù)實時收集處理模塊、特征數(shù)據(jù)提取模塊、模型預測模塊、數(shù)據(jù)存儲模塊； 技術(shù)架構(gòu)：
  Spark Core、Spark Streaming和Spark MLlib