第三次浪潮的華彩樂章
1980年,著名未來學家阿爾文·托夫勒便在《第三次浪潮》一(yī)書(shū)中(zhōng),将大(dà)數據熱情地贊頌爲“第三次浪潮的華彩樂章”。大(dà)約從2009年開(kāi)始,“大(dà)數據”成爲互聯網信息技術行業的流行詞彙。
什麽是大(dà)數據
1980年,著名未來學家阿爾文·托夫勒便在《第三次浪潮》一(yī)書(shū)中(zhōng),将大(dà)數據熱情地贊頌爲“第三次浪潮的華彩樂章”。大(dà)約從2009年開(kāi)始,“大(dà)數據”成爲互聯網信息技術行業的流行詞彙。
大(dà)數據,或稱巨量數據、海量數據;是由數量巨大(dà)、結構複雜(zá)、類型衆多數據構成的數據集合,是基于雲計算的數據處理與應用模式,通過數據的集成共享,交叉複用形成的智力資(zī)源和知(zhī)識服務能力。
有研究機構如此定義“大(dà)數據”:“大(dà)數據”是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資(zī)産。從某種程度上說,大(dà)數據是數據分(fēn)析的前沿技術。簡言之,從各種各樣類型的數據中(zhōng),快速獲得有價值信息的能力,就是大(dà)數據技術。
大(dà)數據從何而來
美國互聯網數據中(zhōng)心指出,互聯網上的數據每年将增長50%,每兩年便将翻一(yī)番,目前世界上90%以上的數據是最近幾年才産生(shēng)的。此外(wài),全世界的工(gōng)業設備、汽車(chē)、電(diàn)表上有着無數的數碼傳感器,随時測量和傳遞着有關位置、運動、震動、溫度、濕度乃至空氣中(zhōng)化學物(wù)質的變化,也産生(shēng)了海量的數據信息。
物(wù)聯網、雲計算、移動互聯網、車(chē)聯網、手機、平闆電(diàn)腦、PC以及各種各樣的傳感器,無一(yī)不是數據來源或者承載的方式。
大(dà)數據有多大(dà)
僅以互聯網爲例,一(yī)天之中(zhōng),互聯網産生(shēng)的全部内容可以刻滿1.68億張DVD;發出的郵件有2940億封之多;發出的社區帖子達200萬個,相當于《時代》雜(zá)志(zhì)770年的文字量……
截止到2012年,數據量已經從TB(1024GB=1TB)級别躍升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)級别。國際數據公司(IDC)的研究結果表明,2008年全球産生(shēng)的數據量高達1.82ZB,相當于全球每人産生(shēng)200GB以上的數據。而到2012年爲止,人類生(shēng)産的所有印刷材料的數據量是200PB,全人類曆史上說過的所有話(huà)的數據量大(dà)約是5EB。IBM的研究稱,整個人類文明所獲得的全部數據中(zhōng),有90%是過去(qù)兩年内産生(shēng)的。而到了2020年,全世界所産生(shēng)的數據規模将達到今天的44倍。
大(dà)數據的“4個V”
大(dà)數據的4個“V”指的是大(dà)數據的4個特點:第一(yī),數據體(tǐ)量巨大(dà)。從TB級别,躍升到PB級别;第二,數據類型繁多,數據來源于各種各樣的渠道。第三,價值密度低,商(shāng)業價值高。以視頻(pín)爲例,連續不間斷監控過程中(zhōng),可能有用的數據僅僅有一(yī)兩秒。第四,處理速度快。一(yī)般要在秒級時間範圍内給出分(fēn)析結果,時間太長就失去(qù)價值了。這個速度要求是大(dà)數據處理技術和傳統的數據挖掘技術最大(dà)的區别。
由此,業界将大(dà)數據的特點歸納爲4個“V”——Volume(大(dà)量)、Velocity(高速)、Variety(多樣)、Veracity(精确)。
什麽是雲計算?
雲計算(cloud computing)是通過互聯網把多個成本較低的計算實體(tǐ)整合成一(yī)個具有強大(dà)計算能力的完美系統。簡單理解就是,運營公司提供服務器、應用程序、存儲空間,用戶通過網絡遠程登錄服務器,并按照需要使用這些存儲空間和應用程序。狹義雲計算是指IT基礎設施的交付和使用模式,指通過網絡以按需、易擴展的方式獲得所需資(zī)源;廣義雲計算指服務的交付和使用模式,指通過網絡以按需、易擴展的方式獲得所需服務。它意味着計算能力也可作爲一(yī)種商(shāng)品通過互聯網進行流通和交易。
大(dà)數據與雲計算
從技術上看,大(dà)數據與雲計算的關系就像一(yī)枚硬币的正反面一(yī)樣密不可分(fēn)。大(dà)數據必然無法用單台的計算機進行處理,必須采用分(fēn)布式計算架構。它的特色在于對海量數據的挖掘,但它必須依托雲計算的分(fēn)布式處理、分(fēn)布式數據庫、雲存儲和虛拟化技術。
數字時代的石油與黃金
一(yī)分(fēn)鍾内,微博推特上新發的數據量超過10萬;社交網絡“臉譜”的浏覽量超過600萬……
巨大(dà)的數據量,意味着什麽?
大(dà)數據對社會經濟生(shēng)活産生(shēng)的影響絕不限于技術層面,它爲我(wǒ)(wǒ)們看待世界提供了一(yī)種全新的方法,即決策行爲将日益基于數據分(fēn)析做出,而不是像過去(qù)更多憑借經驗和直覺做出。
“這是一(yī)場革命,龐大(dà)的數據資(zī)源使得各個領域開(kāi)始了量化進程,無論學術界、商(shāng)界還是政府,所有領域都将開(kāi)始這種進程。”哈佛大(dà)學社會學教授加裏·金指出。
業内人士指出,大(dà)數據是一(yī)種全新的緻富手段,它的價值堪比石油和黃金。
雖然大(dà)數據在國内還處于初級階段,但是商(shāng)業價值已經顯現出來。首先,手中(zhōng)握有數據的公司站在金礦上,基于數據交易即可産生(shēng)很好的效益;其次,基于數據挖掘會有很多商(shāng)業模式誕生(shēng),定位角度不同,或側重數據分(fēn)析。比如幫企業做内部數據挖掘,或側重優化,幫企業更精準找到用戶,降低營銷成本,提高企業銷售率,增加利潤。
數據——
未來最大(dà)的交易商(shāng)品
未來,數據可能成爲最大(dà)的交易商(shāng)品。
IBM執行總裁羅睿蘭認爲,“數據将成爲一(yī)切行業當中(zhōng)決定勝負的根本因素,最終數據将成爲人類至關重要的自然資(zī)源。”
大(dà)數據的價值是通過數據共享、交叉複用後獲取最大(dà)的數據價值。麥肯錫則預測未來大(dà)數據産品在三大(dà)行業的應用就将産生(shēng)7千億美元的潛在市場,中(zhōng)國大(dà)數據産品的潛在市場規模有望達到1.57萬億元,給IT行業開(kāi)拓了新的黃金時代。
大(dà)數據正在重構很多傳統行業。通過收集、整理生(shēng)活中(zhōng)方方面面的數據,并對其進行分(fēn)析挖掘,進而從中(zhōng)獲得有價值信息,最終衍化出新的商(shāng)業模式。麥當勞、肯德基以及蘋果公司等旗艦專賣店(diàn)的位置都是建立在數據分(fēn)析基礎之上的精準選址。在零售業中(zhōng),數據分(fēn)析的技術與手段更得到廣泛的應用,卓越亞馬遜、淘寶等通過對海量數據的掌握和分(fēn)析,爲用戶提供更加專業化和個性化的服務。
與此同時,大(dà)數據在社會管理等方面,也具有不可替代的重大(dà)價值。