大數(shù)據(jù)BIG DATA

CONTENTS

大數(shù)據(jù)是什么1

指無法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù) BIG DATA

大數(shù)據(jù)定義對(duì)于“大數(shù)據(jù)”（Big data）研究機(jī)構(gòu)Gartner給出了這樣的定義。“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)是“未來的新石油”大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)就是“未來的新石油”。

何謂大？（數(shù)據(jù)度量）= 8 Bit1Byte= 1,024 Bytes = 8192 bit1Byte= 1,024 KB = 1,048,576 Bytes1Byte= 1,024 MB = 1,048,576 KB1Byte= 1,024 GB = 1,048,576 MB1Byte= 1,024 TB = 1,048,576 GB1Byte= 1,024 PB = 1,048,576 TB1Byte= 1,024 EB = 1,048,576 PB1Byte= 1,024 ZB = 1,048,576 EB1Byte

到底有多大？1PB相當(dāng)于50%的全美學(xué)術(shù)研究圖書館藏書信息內(nèi)容5EB相當(dāng)于至今全世界人類所講過的話語1ZB如同全世界海灘上的沙子數(shù)量總和1YB相當(dāng)于7000位人類體內(nèi)的微細(xì)胞總和

大數(shù)據(jù)帶來的變革

2特征和結(jié)構(gòu)

大數(shù)據(jù)的特征

大數(shù)據(jù)的結(jié)構(gòu)結(jié)構(gòu)化半結(jié)構(gòu)化非結(jié)構(gòu)化大數(shù)據(jù)包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)越來越成為數(shù)據(jù)的主要部分。據(jù)IDC的調(diào)查報(bào)告顯示：企業(yè)中80%的數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)每年都按指數(shù)增長(zhǎng)60%。

大數(shù)據(jù)的安全威脅大數(shù)據(jù)基礎(chǔ)設(shè)施安全威脅1大數(shù)據(jù)存儲(chǔ)安全威脅2隱私泄露問題3針對(duì)大數(shù)據(jù)的高級(jí)持續(xù)性攻擊4數(shù)據(jù)訪問安全威脅其他安全威脅65

大數(shù)據(jù)的三個(gè)層面

大數(shù)據(jù)改變生活各級(jí)政府、主管部門、上市公司、企業(yè)集團(tuán)、外資公司都將基于大數(shù)據(jù)分析平臺(tái)優(yōu)化其決策。大數(shù)據(jù)分析能力逐漸加強(qiáng)，傳統(tǒng)市場(chǎng)研究行業(yè)、證券研究所、產(chǎn)業(yè)鏈咨詢機(jī)構(gòu)將逐漸消失。銀行都將基于企業(yè)大數(shù)據(jù)平臺(tái)開展銀行直銷業(yè)務(wù)，同時(shí)按照產(chǎn)業(yè)鏈金融服務(wù)事業(yè)部模式開展業(yè)務(wù)因大數(shù)據(jù)系統(tǒng)的出現(xiàn)，所有依賴信息不對(duì)稱盈利的業(yè)務(wù)都將消失。大數(shù)據(jù)對(duì)政府、金融機(jī)構(gòu)、企業(yè)來說，象空氣一樣不可或缺！

3大數(shù)據(jù)的價(jià)值

機(jī)遇和挑戰(zhàn)大數(shù)據(jù)技術(shù)促進(jìn)國(guó)家和社會(huì)發(fā)展大數(shù)據(jù)藍(lán)海成為企業(yè)競(jìng)爭(zhēng)的新焦點(diǎn)大數(shù)據(jù)時(shí)代呼喚創(chuàng)新型人才大數(shù)據(jù)技術(shù)促進(jìn)國(guó)家和社會(huì)發(fā)展大數(shù)據(jù)藍(lán)海成為企業(yè)競(jìng)爭(zhēng)的新焦點(diǎn)大數(shù)據(jù)時(shí)代呼喚創(chuàng)新型人才

大數(shù)據(jù)技術(shù)促進(jìn)國(guó)家和社會(huì)發(fā)展 實(shí)現(xiàn)科學(xué)發(fā)展做出科學(xué)決策大數(shù)據(jù)技術(shù)的運(yùn)用前景是十分光明的。當(dāng)前，我國(guó)正處在全面建成小康社會(huì)征程中，工業(yè)化、信息化、城鎮(zhèn)化、農(nóng)業(yè)現(xiàn)代化任務(wù)很重，建設(shè)下一代信息基礎(chǔ)設(shè)施，發(fā)展現(xiàn)代信息技術(shù)產(chǎn)業(yè)體系，健全信息安全保障體系，推進(jìn)信息網(wǎng)絡(luò)技術(shù)廣泛運(yùn)用，是實(shí)現(xiàn)四化同步發(fā)展的保證。大數(shù)據(jù)分析對(duì)我們深刻領(lǐng)會(huì)世情和國(guó)情，把握規(guī)律，實(shí)現(xiàn)科學(xué)發(fā)展，做出科學(xué)決策具有重要意義，我們必須重新認(rèn)識(shí)數(shù)據(jù)的重要價(jià)值。

大數(shù)據(jù)所能帶來的巨大商業(yè)價(jià)值，被認(rèn)為將引領(lǐng)一場(chǎng)足以與20世紀(jì)計(jì)算機(jī)革命匹敵的巨大變革。大數(shù)據(jù)正在對(duì)每個(gè)領(lǐng)域都造成影響，包括商業(yè)、經(jīng)濟(jì)等領(lǐng)域。大數(shù)據(jù)正在促生新的藍(lán)海，催生新的經(jīng)濟(jì)增長(zhǎng)點(diǎn)，正在成為企業(yè)競(jìng)爭(zhēng)的新焦點(diǎn)。大數(shù)據(jù)藍(lán)海成為企業(yè)競(jìng)爭(zhēng)的新焦點(diǎn)

機(jī)遇3：大數(shù)據(jù)時(shí)代呼喚創(chuàng)新型人才蓋特納咨詢公司預(yù)測(cè)大數(shù)據(jù)將為全球帶440萬個(gè)IT新崗位和上千萬個(gè)非IT崗位。麥肯錫公司預(yù)測(cè)美國(guó)到2018年需要深度數(shù)據(jù)分析人才44萬——49萬，缺口14萬——19萬人需要既熟悉本單位需求又了解大數(shù)據(jù)技術(shù)與應(yīng)用的管理者150萬，這方面的人才缺口更大。中國(guó) 是人才大國(guó)，但能理解與應(yīng)用大數(shù)據(jù)的創(chuàng)新人才更是稀缺資源。

目前，大數(shù)據(jù)技術(shù)的運(yùn)用仍存在一些困難與挑戰(zhàn)，體現(xiàn)在大數(shù)據(jù)挖掘的四個(gè)環(huán)節(jié)中。大數(shù)據(jù)技術(shù)的運(yùn)用仍有困難要對(duì)來自網(wǎng)絡(luò)包括物聯(lián)網(wǎng)和機(jī)構(gòu)信息系統(tǒng)的數(shù)據(jù)附上時(shí)空標(biāo)志，去偽存真，盡可能收集異源甚至是異構(gòu)的數(shù)據(jù)，還可與歷史數(shù)據(jù)對(duì)照，多角度驗(yàn)證數(shù)據(jù)的全面性和可信性。大數(shù)據(jù)的復(fù)雜性使得難以用傳統(tǒng)的方法描述與度量，需要將高維圖像等多媒體數(shù)據(jù)降維后度量與處理，利用上下文關(guān)聯(lián)進(jìn)行語義分析，從大量動(dòng)態(tài)及可能模棱兩可的數(shù)據(jù)中綜合信息，并導(dǎo)出可理解的內(nèi)容。

要達(dá)到低成本、低能耗、高可靠性目標(biāo)，要用到冗余配置、分布化和云計(jì)算技術(shù)，存儲(chǔ)時(shí)對(duì)數(shù)據(jù)進(jìn)行分類，通過過濾和去重，減少存儲(chǔ)量，并加入便于檢索的標(biāo)簽。使結(jié)果更直觀以便于洞察。目前，盡管計(jì)算機(jī)智能化有了很大進(jìn)步，但還只能針對(duì)小規(guī)模、有結(jié)構(gòu)或類結(jié)構(gòu)的數(shù)據(jù)進(jìn)行分析，談不上深層次的數(shù)據(jù)挖掘，現(xiàn)有的數(shù)據(jù)挖掘算法在不同行業(yè)中難以通用。

大數(shù)據(jù)給信息安全帶來新挑戰(zhàn)大量數(shù)據(jù)的集中存儲(chǔ)增加了其泄露的風(fēng)險(xiǎn)；一些敏感數(shù)據(jù)的所有權(quán)和使用權(quán)并沒有清晰界定。復(fù)雜的數(shù)據(jù)存儲(chǔ)在一起，可能造成企業(yè)安全管理不合規(guī)；安全防護(hù)手段更新升級(jí)慢，存在漏洞黑客可收集更多有用信息，大數(shù)據(jù)分析讓攻擊更精準(zhǔn)；大數(shù)據(jù)為黑客發(fā)起攻擊提供了更多的機(jī)會(huì)

“棱鏡門”引爆大數(shù)據(jù)時(shí)代爭(zhēng)議事情的起因是美國(guó)中情局前職員斯諾登向媒體爆料，過去6年間，美國(guó)的情報(bào)部門通過一個(gè)代號(hào)為“棱鏡”的項(xiàng)目，從多家知名互聯(lián)網(wǎng)公司獲取電子郵件、在線聊天內(nèi)容、照片、文檔、視頻等網(wǎng)絡(luò)私人數(shù)據(jù)，跟蹤用戶一舉一動(dòng)。他說，自己只需要坐在辦公桌前，動(dòng)動(dòng)指頭，敲敲鍵盤，就能了解很多人的私密信息。斯諾登的爆料引起一片嘩然，根據(jù)他提供的資料，被卷入“棱鏡門”事件的公司包括微軟、雅虎、谷歌、蘋果、Facebook等9大IT業(yè)巨頭。在“棱鏡門”事件開始發(fā)酵之后，這些公司先是趕緊出面否認(rèn)與美國(guó)政府的監(jiān)視項(xiàng)目進(jìn)行過合作，并相繼發(fā)表聲明，呼吁政府采取更透明態(tài)度，以證明他們的“清白”。

大數(shù)據(jù)的趨勢(shì)4

借助大數(shù)據(jù)尖端分析加速發(fā)展如果正確的數(shù)據(jù)出現(xiàn)在合適的時(shí)間，您的業(yè)務(wù)將有望獲得什么機(jī)會(huì)？如何更有效率地運(yùn)營(yíng)您的業(yè)務(wù)？通過數(shù)據(jù)分析獲得變革的潛力與直觀理解影響著醫(yī)療、銀行、交通運(yùn)輸、制造等各行各業(yè)。對(duì)于許多早期的使用者，當(dāng)他們從傳統(tǒng)商業(yè)智能 (BI) 的實(shí)踐發(fā)展到可靠直觀理解的更高級(jí)分析（預(yù)測(cè)性和規(guī)范性）時(shí)，數(shù)據(jù)改變了他們的業(yè)務(wù)，無論是通過新的發(fā)現(xiàn)、更尖端的產(chǎn)品和服務(wù)或總體更好的客戶體驗(yàn)。

大數(shù)據(jù)的趨勢(shì)數(shù)據(jù)的資源化是指大數(shù)據(jù)成為企業(yè)和社會(huì)關(guān)注的重要戰(zhàn)略資源，并已成為大家爭(zhēng)相搶奪的新焦點(diǎn)。因而，企業(yè)必須要提前制定大數(shù)據(jù)營(yíng)銷戰(zhàn)略計(jì)劃，搶占市場(chǎng)先機(jī)。與云計(jì)算的深度結(jié)合大數(shù)據(jù)離不開云處理，云處理為大數(shù)據(jù)提供了彈性可拓展的基礎(chǔ)設(shè)備，是產(chǎn)生大數(shù)據(jù)的平臺(tái)之一。自2013年開始，大數(shù)據(jù)技術(shù)已開始和云計(jì)算技術(shù)緊密結(jié)合，預(yù)計(jì)未來兩者關(guān)系將更為密切。

科學(xué)理論的突破隨著大數(shù)據(jù)的快速發(fā)展，就像計(jì)算機(jī)和互聯(lián)網(wǎng)一樣，大數(shù)據(jù)很有可能是新一輪的技術(shù)革命。隨之興起的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和人工智能等相關(guān)技術(shù)，可能會(huì)改變數(shù)據(jù)世界里的很多算法和基礎(chǔ)理論，實(shí)現(xiàn)科學(xué)技術(shù)上的突破。數(shù)據(jù)科學(xué)和數(shù)據(jù)聯(lián)盟的成立未來，數(shù)據(jù)科學(xué)將成為一門專門的學(xué)科，被越來越多的人所認(rèn)知。各大高校將設(shè)立專門的數(shù)據(jù)科學(xué)類專業(yè)，也會(huì)催生一批與之相關(guān)的新的就業(yè)崗位。

數(shù)據(jù)泄露泛濫未來幾年數(shù)據(jù)泄露事件的增長(zhǎng)率也許會(huì)達(dá)到100%，除非數(shù)據(jù)在其源頭就能夠得到安全保障。可以說，在未來，每個(gè)財(cái)富500強(qiáng)企業(yè)都會(huì)面臨數(shù)據(jù)攻擊，無論他們是否已經(jīng)做好安全防范。而所有企業(yè)，無論規(guī)模大小，都需要重新審視今天的安全定義。數(shù)據(jù)管理成為核心競(jìng)爭(zhēng)力數(shù)據(jù)管理成為核心競(jìng)爭(zhēng)力，直接影響財(cái)務(wù)表現(xiàn)。當(dāng)“數(shù)據(jù)資產(chǎn)是企業(yè)核心資產(chǎn)”的概念深入人心之后，企業(yè)對(duì)于數(shù)據(jù)管理便有了更清晰的界定，將數(shù)據(jù)管理作為企業(yè)核心競(jìng)爭(zhēng)力，持續(xù)發(fā)展，戰(zhàn)略性規(guī)劃與運(yùn)用數(shù)據(jù)資產(chǎn)，成為企業(yè)數(shù)據(jù)管理的核心。

數(shù)據(jù)質(zhì)量是BI(商業(yè)智能)成功的關(guān)鍵采用自助式商業(yè)智能工具進(jìn)行大數(shù)據(jù)處理的企業(yè)將會(huì)脫穎而出。其中要面臨的一個(gè)挑戰(zhàn)是，很多數(shù)據(jù)源會(huì)帶來大量低質(zhì)量數(shù)據(jù)。想要成功，企業(yè)需要理解原始數(shù)據(jù)與數(shù)據(jù)分析之間的差距，從而消除低質(zhì)量數(shù)據(jù)并通過BI獲得更佳決策。數(shù)據(jù)生態(tài)系統(tǒng)復(fù)合化程度加強(qiáng)大數(shù)據(jù)的世界不只是一個(gè)單一的、巨大的計(jì)算機(jī)網(wǎng)絡(luò)，而是一個(gè)由大量活動(dòng)構(gòu)件與多元參與者元素所構(gòu)成的生態(tài)系統(tǒng)，終端設(shè)備提供商、基礎(chǔ)設(shè)施提供商、網(wǎng)絡(luò)服務(wù)提供商、網(wǎng)絡(luò)接入服務(wù)提供商、數(shù)據(jù)服務(wù)使能者、數(shù)據(jù)服務(wù)提供商、觸點(diǎn)服務(wù)、數(shù)據(jù)服務(wù)零售商等等一系列的參與者共同構(gòu)建的生態(tài)系統(tǒng)。

5應(yīng)用案例

大數(shù)據(jù)的應(yīng)用領(lǐng)域

企業(yè)大數(shù)據(jù)建設(shè)方法

擴(kuò)展現(xiàn)有架構(gòu)提高業(yè)務(wù)價(jià)值

商品零售大數(shù)據(jù)此事經(jīng)被《紐約時(shí)報(bào)》報(bào)道后，塔吉特“大數(shù)據(jù)”的巨大威力轟動(dòng)全美在美國(guó)，有一位父親怒氣沖沖地跑到塔吉特賣場(chǎng)，質(zhì)問為何將帶有嬰兒用品優(yōu)惠券的廣告郵件，寄送給他正在念高中的女兒?然而后來證實(shí)，他的女兒果真懷孕了。這名女孩搜尋商品的關(guān)鍵詞，以及在社交網(wǎng)站所顯露的行為軌跡，使沃爾瑪捕捉到了她的懷孕信息。模型發(fā)現(xiàn)，許多孕婦在第2個(gè)妊娠期的開始會(huì)買許多大包裝的無香味護(hù)手霜；在懷孕的最初20周大量購(gòu)買補(bǔ)充鈣、鎂、鋅的善存片之類的保健品。最后塔吉特選出了25種典型商品的消費(fèi)數(shù)據(jù)構(gòu)建了“懷孕預(yù)測(cè)指數(shù)”，通過這個(gè)指數(shù)，Target能夠在很小的誤差范圍內(nèi)預(yù)測(cè)到顧客的懷孕情況，因此Target就能早早地把孕婦優(yōu)惠廣告寄發(fā)給顧客。

消費(fèi)大數(shù)據(jù)亞馬遜 “預(yù)測(cè)式發(fā)貨”的新專利，可以通過對(duì)用戶數(shù)據(jù)的分析，在他們還沒有下單購(gòu)物前，提前發(fā)出包裹。這項(xiàng)技術(shù)可以縮短發(fā)貨時(shí)間，從而降低消費(fèi)者前往實(shí)體店的沖動(dòng)。從下單到收貨之間的時(shí)間延遲可能會(huì)降低人們的購(gòu)物意愿，導(dǎo)致他們放棄網(wǎng)上購(gòu)物。亞馬遜可能會(huì)根據(jù)之前的訂單和其他因素，預(yù)測(cè)用戶的購(gòu)物習(xí)慣，從而在他們實(shí)際下單前便將包裹發(fā)出。根據(jù)該專利文件，雖然包裹會(huì)提前從亞馬遜發(fā)出，但在用戶正式下單前，這些包裹仍會(huì)暫存在快遞公司的轉(zhuǎn)運(yùn)中心或卡車?yán)铩嗰R遜為了決定要運(yùn)送哪些貨物，亞馬遜可能會(huì)參考之前的訂單、商品搜索記錄、愿望清單、購(gòu)物車，甚至包括用戶的鼠標(biāo)在某件商品上懸停的時(shí)間。

證監(jiān)會(huì)大數(shù)據(jù)回顧“老鼠倉(cāng)”的查處過程，在馬樂一案中，“大數(shù)據(jù)”首次介入。深交所此前通過“大數(shù)據(jù)”查出的可疑賬戶高達(dá)300個(gè)實(shí)際上，早在2009年，上交所曾經(jīng)有過利用“大數(shù)據(jù)”設(shè)置“捕鼠器”的設(shè)想。通過建立相關(guān)的模型，設(shè)定一定的指標(biāo)預(yù)警，即相關(guān)指標(biāo)達(dá)到某個(gè)預(yù)警點(diǎn)時(shí)監(jiān)控系統(tǒng)會(huì)自動(dòng)報(bào)警。而此次在馬樂案中亮相的深交所的“大數(shù)據(jù)” 監(jiān)測(cè)系統(tǒng)，更是引起了廣泛關(guān)注。深交所有幾十人的監(jiān)控室，設(shè)置了200多個(gè)指標(biāo)用于監(jiān)測(cè)估計(jì)，一旦出現(xiàn)股價(jià)偏離大盤走勢(shì)，深交所利用大數(shù)據(jù)查探異動(dòng)背后是哪些人或機(jī)構(gòu)在參與。

交通大數(shù)據(jù)UPS最新的大數(shù)據(jù)來源是安裝在公司4.6萬多輛卡車上的遠(yuǎn)程通信傳感器，這些傳感器能夠傳回車速、方向、剎車和動(dòng)力性能等方面的數(shù)據(jù)。收集到的數(shù)據(jù)流不僅能說明車輛的日常性能，還能幫助公司重新設(shè)計(jì)物流路線。大量的在線地圖數(shù)據(jù)和優(yōu)化算法，最終能幫助UPS實(shí)時(shí)地調(diào)配駕駛員的收貨和配送路線。該系統(tǒng)為UPS減少了8500萬英里的物流里程，由此節(jié)約了840萬加侖的汽油。

金融大數(shù)據(jù)阿里“水文模型”是按小微企業(yè)類目、級(jí)別等分別統(tǒng)計(jì)一個(gè)阿里系商戶的相關(guān)“水文數(shù)據(jù)”庫(kù)。如過往每到某個(gè)時(shí)點(diǎn)，該店鋪銷售會(huì)進(jìn)入旺季，銷售額就會(huì)增長(zhǎng)，同時(shí)每在這個(gè)時(shí)段，該客戶對(duì)外投放的額度就會(huì)上升，結(jié)合這些水文數(shù)據(jù)，系統(tǒng)可以判斷出該店鋪的融資需求；結(jié)合該店鋪以往資金支用數(shù)據(jù)及同類店鋪資金支用數(shù)據(jù)，可以判斷出該店鋪的資金需求額度。

THANKS感謝觀看