?

奇迹赌场

-->
大数据时代说来就来 数据垃圾变黄金
2017-05-16 中关村在线

大数据时代是指以大数据为驱动,影响生产率增长和消費者盈余模式的一个新的时代。大数据是高容量,高速度和高品质的信息资产,需要新的处理形式,其难以采用常规工具进行采集和处理,大数据时代里,常利用软件工具对海量数据进行挖掘和运用,借此帮助进行决策、洞察发现和流程优化。

大數據時代的遲到

一般來講,大數據的概念提出可以追溯到上世紀90年代,大數據一詞在當時就已經開始流行。而知名的咨詢公司麥肯錫在2011年提出“數據,已經滲透到當今每一個行業和業務職能領域,成爲重要的生産因素”正式代表著大數據時代的開啓。

從90年代的提出到現如今大數據時代的開啓,大數據時代幾乎遲到了20年。大數據的遲到主因是其數據集非常大且複雜,傳統的數據處理方式和應用軟件並不足以解決大數據問題,包括采集、存儲、分析、數據策劃、搜索、共享、傳輸、可視化查詢、更新以及信息隱私等多方面都是難以攻克的難題。

數據存儲方式的變革(圖片來自Wikipedia)

事實上,自上世紀80年代開始,世界人均存儲信息量約40個月翻一倍;可是大數據時代,這一趨勢開始加速。2008年全球産生的數據量爲0.49ZB(1ZB=10243TB),到2011年,這一數字變爲了1.82ZB。數據量的爆炸來源于大量廉價的信息傳感移動設備通過網絡進行收集,而傳統的處理大量數據的抽樣調查法局限性變得越來嚴重。

雲時代的開啓給了大數據的發展提供了機會,也促進了大數據時代的降臨。雲計算和分布式存儲爲大數據提供了數據處理和數據存儲的能力。可以說,沒有雲時代就不會有大數據時代的出現。

大數據時代的特點

大數據時代基于大數據而開啓,而大數據的特點毫無疑問是大。可是大卻並不是新數據生態系統最相關的特征,而是通過對數據集的分析獲取新的相關性。

在2001年的研究報告中,META集團(現在的Gartner)將數據增長所遇到的挑戰和機會定義爲三維,即Volume數據增量,Velocity數據輸入和Variety輸出速度以及數據類型和來源範圍,使用“3Vs”模型來描述大數據的方法一直延續至今。

大数据时代说来就来

大數據並不只有大

2012年,Gartner更新了其對大數據的定義:“大數據是高容量,高速度即高品質的信息資産,借助新的處理形式,以幫助客戶加強決策,洞察發現和流程優化。”3Vs模型也在不同行業得到了不同修正,如IBM就提出,大數據具備的5V特點分別爲Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)和Veracity(真實性)。

大數據的固有特性在于其拒絕了傳統的隨機分析法(抽樣調查),而是選擇了將所有的數據都進行分析和處理,觀察並跟蹤數據的變化,最大程度上減少了數據誤差,幫助用戶的每一個決斷都有據可依。大數據生成和存儲的數據量的大小決定了其價值和潛在的洞察力,太小則可能不會被視爲大數據。

大数据时代说来就来

大數據的核心在分析

速度方面,數據的生成和處理速度是爲了滿足增長和發展之路中的需求和挑戰,如今的大數據通常可以實時獲取。種類方面,數據的類型包括了文字,圖像,音頻,視頻等多種數據通過數據融合可以幫助用戶有效地利用其所産生的洞察力;低價值密度意味著大數據的變化性突出,數據集的不一致可能導致處理和管理數據阻礙進程;同時由于質量差異很大容易影響分析的准確性。

目前通常會利用機器學習對大數據進行分析,而這種簡單的檢測模式並不會告訴你數據有什麽,卻可以幫助用戶發現藏在數據裏的秘密。大數據通常只是一堆數字互動後而産生的副産品,可是他卻是真實的,剝離後大數據的價值就可以顯現。

大數據時代的行業影響

大數據的時代的影響是全方面的,在市場中的應用已經不再局限于傳統領域,而是全面開始影響三百六十行。

政府方面,運用大數據可以很好的控制采購成本,使生産力和創新效率得到提高。但是這也存在著一個明顯的限制,數據分析通常需要中央和地方多個部門進行合作,從而才可以完善數據,創造新的效率提升方式。此外,在就業,經濟生産力,犯罪,安全以及自然災害和資源管理等方面大數據也可以起到他的作用。

大数据时代说来就来 都是云计算逼得

制造業是最適合大數據的行業之一

制造業方面,大數據爲制造業的透明度提供了基礎設施,能夠很好的解決組件性能和可用性不一致等問題。而且,預測制造的概念正在興起,不同類型的感測數據可以借助聲音,振動,壓力,電流,電壓和控制器數據等進行數據采集,大量的感官數據構成了制造業的大數據,生成的大數據作爲預測及預防等方面的工具對行業的預判有著良好的幫助。

醫療方面,大數據分析可以提供個性化醫療和規範分析,臨床風險幹預和預測分析,使得護理變異性降低,患者數據自動化提供內外部報告,可以提供標准化醫療和患者登記冊散點解決方案,幫助醫療改善。而且,隨著可穿戴技術的發展,醫療數據量還將進一步提高,包括電子健康記錄數據,成像數據,患者生成的數據,傳感器數據和其他形式的數據都會讓大數據在醫療領域的地位提升。

大数据时代说来就来 都是云计算逼得

萬物互聯産生大量數據

除了這些傳統領域,大數據還促進了新行業的發展,比如物聯網。大數據于物聯網協同工作,從物聯網設備中獲取數據提供設備互聯性的映射,借助大數據技術進行分析,然後再將分析結果提供給醫療、制造等多個領域,幫助提高相關行業的工作效率。

目前,全球有著46億手機用戶,接入互聯網的用戶有10到20億。這些用戶每天所産生的數據量是巨大的,如果廢棄,那就是數據垃圾,而如果收集並且用于種種行業之中,那麽這就是大數據時代。