大數(shù)據(jù)4v特征有數(shù)據(jù)量大：大數(shù)據(jù)通常指超過100tb的數(shù)據(jù)量;數(shù)據(jù)種類繁多：大數(shù)據(jù)的重要特征是多種多樣和復(fù)雜多變;數(shù)據(jù)處理速度快：數(shù)據(jù)從產(chǎn)生到使用，時間窗口很小，可以用來產(chǎn)生決策，時間很短;數(shù)據(jù)價值密度低：挖掘大數(shù)據(jù)的價值類似于沙里淘金，從大數(shù)據(jù)中挖掘稀疏寶貴的信息。

       大數(shù)據(jù)4v特征是指？

大數(shù)據(jù)指的是那些超出傳統(tǒng)數(shù)據(jù)庫系統(tǒng)處理能力的數(shù)據(jù)。數(shù)據(jù)量大，傳輸速度慢，結(jié)構(gòu)不適用于原始數(shù)據(jù)庫系統(tǒng);要想在大數(shù)據(jù)中獲得價值，我們必須選擇其他方法來處理它。

在過去，數(shù)據(jù)中隱藏著很多有價值的模式和信息，提取它們需要花費大量的時間和成本。像沃爾瑪和谷歌這樣的企業(yè)都會為從海量數(shù)據(jù)中挖掘信息付出高昂的代價。如今，硬件、云架構(gòu)和開放源碼軟件等各種資源使得大數(shù)據(jù)的處理更加方便和廉價。

大數(shù)據(jù)方面核心技術(shù)有哪些?

1.大規(guī)模數(shù)據(jù)采集。

大數(shù)據(jù)收集，是指將來自不同來源的結(jié)構(gòu)性或非結(jié)構(gòu)性的大數(shù)據(jù)，進行的收集。

資料庫收集：sqoop和etl很受歡迎，mysql和oracle這兩個傳統(tǒng)的關(guān)系數(shù)據(jù)庫仍然是很多企業(yè)的數(shù)據(jù)存儲方式。當(dāng)然，目前kettle和talend本身都是開放源碼，它們還集成了大數(shù)據(jù)集成內(nèi)容，可以在hdfs、hbase和主流nosq數(shù)據(jù)庫之間實現(xiàn)數(shù)據(jù)同步和集成。

網(wǎng)路資料收集：藉由網(wǎng)路爬蟲或網(wǎng)站資料收集api，從網(wǎng)頁取得非結(jié)構(gòu)化或半結(jié)構(gòu)化資料，并將其整合成本地資料的資料收集方法。

檔案收集：包括實時檔案收集與處理技術(shù)的flume，基于elk的日志收集與增量收集等。

2.大數(shù)據(jù)的預(yù)處理。

大數(shù)據(jù)預(yù)處理，是指在分析數(shù)據(jù)之前，對收集到的原始數(shù)據(jù)進行的一系列操作，如“清理、填充、光滑、合并、規(guī)范、一致性檢查”等，目的在于提高數(shù)據(jù)的質(zhì)量，為以后的分析工作打下基礎(chǔ)。資料的預(yù)處理主要由資料、資料整合、資料轉(zhuǎn)換、資料規(guī)約四部分組成。

資料：指使用諸如etl等工具，對遺漏資料(缺少感興趣的屬性)、噪音資料(有錯誤的資料或偏離預(yù)期值的資料)、不一致資料進行處理。

資料整合：指不同資料來源的資料，整合為一個統(tǒng)一的資料庫，儲存方法，著重解決三個問題：模式匹配、資料冗余、值沖突檢測及處理。

資料轉(zhuǎn)換：指對提取的資料中存在的矛盾之處，進行處理的過程。該方法還包括數(shù)據(jù)清洗，即根據(jù)業(yè)務(wù)規(guī)則對異常數(shù)據(jù)進行清洗，以保后續(xù)分析結(jié)果的準(zhǔn)確性。

“數(shù)據(jù)規(guī)范”：指大限度地保持?jǐn)?shù)據(jù)的原始狀態(tài)，大限度地精簡數(shù)據(jù)量，從而獲得對較小數(shù)據(jù)集的操作，包括：數(shù)據(jù)方集合、維規(guī)約、數(shù)據(jù)壓縮、數(shù)字規(guī)范、概念分層等。

3.大數(shù)據(jù)存儲。

大容量存儲，是指用存儲器，以數(shù)據(jù)庫的形式，存儲所收集的數(shù)據(jù)的過程，它有三種典型的路徑：

a.基于mpp體系結(jié)構(gòu)的新型數(shù)據(jù)庫集群。

利用sharednothing體系結(jié)構(gòu)，結(jié)合mpp體系結(jié)構(gòu)下的分布式計算模式，利用列存儲、粗粒度索引等大型數(shù)據(jù)處理技術(shù)，重點研究了行業(yè)大數(shù)據(jù)展開的數(shù)據(jù)存儲方式。由于其成本低、性能好、可擴展性強等特點，被廣泛應(yīng)用于企業(yè)分析類應(yīng)用領(lǐng)域。

與傳統(tǒng)數(shù)據(jù)庫相比，其基于mpp產(chǎn)品的pb級數(shù)據(jù)分析能力具有明顯優(yōu)勢。當(dāng)然，mpp數(shù)據(jù)庫，也成為新一代企業(yè)數(shù)據(jù)倉庫的佳選擇。

b.基于hadoop的技術(shù)擴展與封裝;

以hadoop為基礎(chǔ)的技術(shù)擴展和封裝，針對傳統(tǒng)關(guān)系型數(shù)據(jù)庫難以處理的數(shù)據(jù)和場景(非結(jié)構(gòu)化數(shù)據(jù)的存儲和計算等等)，利用hadoop的開放源碼優(yōu)勢和相關(guān)特性(擅長處理非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)、復(fù)雜的etl流程、復(fù)雜的數(shù)據(jù)挖掘和計算模型等等)，衍生出相關(guān)大數(shù)據(jù)技術(shù)的過程。

隨著技術(shù)的進步，它的應(yīng)用場景將逐漸拓展，目前典型的是：通過擴展和封裝hadoop來支持因特網(wǎng)上的大數(shù)據(jù)存儲、分析，這一過程涉及到數(shù)十種nosql技術(shù)。

c.大數(shù)據(jù)處理一體機。

它是一款軟件和硬件相結(jié)合的產(chǎn)品，專門用于大數(shù)據(jù)的分析處理。該系統(tǒng)包括一組綜合服務(wù)器、存儲設(shè)備、操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)，以及預(yù)先安裝并優(yōu)化的用于數(shù)據(jù)查詢、處理、分析的軟件，具有良好的穩(wěn)定性和縱向擴展性。

4.大數(shù)據(jù)分析與挖掘。

對雜亂無章的數(shù)據(jù)，從可視化分析、數(shù)據(jù)挖掘算法、預(yù)測性分析、語義引擎、數(shù)據(jù)質(zhì)量管理等方面進行提取、提煉和分析的過程。

一是視覺分析法。

直觀分析，是指運用圖形的方法，清楚、有效地傳達和傳遞信息的分析方法。它主要用于海量數(shù)據(jù)的關(guān)聯(lián)分析，即借助可視化數(shù)據(jù)分析平臺，對分散、異構(gòu)的數(shù)據(jù)進行關(guān)聯(lián)分析，生成完整的分析圖表。

其特點是簡明明了，清晰直觀，易于接受。

二是數(shù)據(jù)挖掘算法。

數(shù)據(jù)采掘算法，就是通過建立數(shù)據(jù)挖掘模型，對數(shù)據(jù)進行試探、計算、分析的方法。這是大數(shù)據(jù)分析理論的核心。

由于數(shù)據(jù)挖掘算法的種類繁多，不同的算法基于不同的數(shù)據(jù)類型和格式會表現(xiàn)出不同的數(shù)據(jù)特征。但是，通常情況下，創(chuàng)建模型的過程是類似的，即先分析用戶提供的數(shù)據(jù)，然后尋找特定類型的模式和趨勢，并根據(jù)分析結(jié)果定義創(chuàng)建一個挖掘模型的佳參數(shù)，并將這些參數(shù)應(yīng)用到整個數(shù)據(jù)集中，以提取可行模式和詳細(xì)統(tǒng)計信息。

三是預(yù)測性分析。

預(yù)見性分析，是大數(shù)據(jù)分析的一個重要應(yīng)用領(lǐng)域，它綜合了許多先進的分析功能(尤其是統(tǒng)計分析、預(yù)測建模、數(shù)據(jù)挖掘、文本分析、實體分析、優(yōu)化、實時評分、機器學(xué)習(xí)等)，以實現(xiàn)對不確定性事件的預(yù)測。

通過分析分類器和非分類器數(shù)據(jù)中的趨勢、模式和關(guān)系，用分類器和非分類器的指標(biāo)預(yù)測未來的事件，為采取相應(yīng)措施提供依據(jù)。

四是語義引擎。

語義機是指通過對已有數(shù)據(jù)進行語義化操作來改善用戶的網(wǎng)絡(luò)搜索體驗。

五是數(shù)據(jù)質(zhì)量管理。

在數(shù)據(jù)的整個生命周期的每一個階段(規(guī)劃、獲取、儲存、共享、維護、應(yīng)用、消失等)都有可能引起各種類型的數(shù)據(jù)質(zhì)量問題，為了提高數(shù)據(jù)質(zhì)量而進行的一系列操作，如識別、測量、監(jiān)測和預(yù)警。

大數(shù)據(jù)可以應(yīng)用在哪些方面?

民間：例如，在醫(yī)療領(lǐng)域，病人數(shù)據(jù)能使醫(yī)生更科學(xué)地診斷疾病，更有效地判斷疾病信息;而在技術(shù)公司方面，他們將更了解用戶，因為他們一直在收集用戶信息，然后有針對性地推出應(yīng)用;

就農(nóng)業(yè)而言：根據(jù)大量數(shù)據(jù)更能科學(xué)合理地判斷種植施肥數(shù)據(jù)，科學(xué)地賦予農(nóng)業(yè)功能。

就工業(yè)而言，通過半導(dǎo)體和5g技術(shù)，機器人將被廣泛使用，從而有效地降低人力成本，提高生產(chǎn)力。