一、大數(shù)據(jù)推動信息產(chǎn)業(yè)創(chuàng)新
大數(shù)據(jù)是指一般的軟件工具難以捕捉、管理和分析的大容量數(shù)據(jù)，一般以“太字節(jié)”為單位，大數(shù)據(jù)之“大”，并不僅僅在于“容量之大”，更大的意義在于：通過對海量數(shù)據(jù)的交換、整合和分析，發(fā)現(xiàn)新的知識，創(chuàng)造新的價值，帶來“大知識”、“大科技”、“大利潤”和“大發(fā)展”。信息管理專家涂子沛在其專著中如是定義大數(shù)據(jù)。
根據(jù)IDC(國際數(shù)據(jù)公司)的監(jiān)測統(tǒng)計(jì)，2011年全球數(shù)據(jù)總量已經(jīng)達(dá)到1.8ZB(1ZB等于1萬億GB，1.8ZB也就相當(dāng)于18億個1TB移動硬盤的存儲量)，而這個數(shù)值還在以每兩年翻一番的速度增長，預(yù)計(jì)到2020年全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量，增長近20倍。
美國社會思想家托夫勒在《第三次浪潮》中提出，“如果說IBM的主機(jī)拉開了信息化革命的大幕，那么大數(shù)據(jù)才是第三次浪潮的華彩樂章。”大數(shù)據(jù)將為信息產(chǎn)業(yè)帶來新的增長點(diǎn)。面對爆發(fā)式增長的海量數(shù)據(jù)，基于傳統(tǒng)架構(gòu)的信息系統(tǒng)已難以應(yīng)對，同時傳統(tǒng)商業(yè)智能系統(tǒng)和數(shù)據(jù)分析軟件，面對以視頻、圖片、文字等非結(jié)構(gòu)化數(shù)據(jù)為主的大數(shù)據(jù)時，也缺少有效的分析工具和方法。信息系統(tǒng)普遍面臨升級換代的迫切需求，為信息產(chǎn)業(yè)帶來新的、更為廣闊的增長點(diǎn)。
開源分析機(jī)構(gòu)Wikibon預(yù)計(jì)，2012年全球大數(shù)據(jù)企業(yè)營收為50億美元，未來5年的市場復(fù)合年增長率將達(dá)到58%，到2017年將達(dá)到500億美元。IDC則預(yù)測大數(shù)據(jù)技術(shù)與服務(wù)市場將從2010年的32億美元攀升至2015年的169億美元。盡管所預(yù)測的產(chǎn)業(yè)規(guī)模存在差別，但所給出的高增速說明兩家機(jī)構(gòu)對大數(shù)據(jù)的發(fā)展前景都充滿信心。從實(shí)際看，作為第一家專注于大數(shù)據(jù)領(lǐng)域的上市企業(yè)，Splunk憑借大數(shù)據(jù)監(jiān)測和分析業(yè)務(wù)，營業(yè)收入連續(xù)4年實(shí)現(xiàn)80%以上的高速增長。
賽迪智庫權(quán)威專家表示，大數(shù)據(jù)將加速信息技術(shù)產(chǎn)品的創(chuàng)新融合發(fā)展。面向大數(shù)據(jù)市場的新產(chǎn)品、新技術(shù)、新服務(wù)、新業(yè)態(tài)正在不斷涌現(xiàn)。大數(shù)據(jù)面臨著有效存儲、實(shí)時分析等挑戰(zhàn)，必將對芯片、存儲產(chǎn)業(yè)產(chǎn)生重要影響，推動一體化數(shù)據(jù)存儲處理服務(wù)器、內(nèi)存計(jì)算等產(chǎn)品的升級創(chuàng)新。對數(shù)據(jù)快速處理和分析的需求，將推動商業(yè)智能、數(shù)據(jù)挖掘等軟件在企業(yè)級的信息系統(tǒng)中得到融合應(yīng)用，成為業(yè)務(wù)創(chuàng)新的重要手段。同時，物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)的迅速發(fā)展，使數(shù)據(jù)產(chǎn)生速度加快、規(guī)模加大，迫切需要運(yùn)用大數(shù)據(jù)手段進(jìn)行分析處理，提煉其中的有效信息。大數(shù)據(jù)應(yīng)用也給云計(jì)算帶來落地的途徑，使得基于云計(jì)算的業(yè)務(wù)創(chuàng)新和服務(wù)創(chuàng)新成為現(xiàn)實(shí)。而以以上領(lǐng)域?yàn)榍腥朦c(diǎn)，大數(shù)據(jù)將推動整個信息產(chǎn)業(yè)的創(chuàng)新發(fā)展。
二、大數(shù)據(jù)將改變經(jīng)濟(jì)社會管理面貌
大數(shù)據(jù)作為一種重要的戰(zhàn)略資產(chǎn)，已經(jīng)不同程度地滲透到每個行業(yè)領(lǐng)域和部門，其深度應(yīng)用不僅有助于企業(yè)經(jīng)營活動，還有利于推動國民經(jīng)濟(jì)發(fā)展。麥肯錫研究表明，在醫(yī)療、零售和制造業(yè)，大數(shù)據(jù)可以每年提高勞動生產(chǎn)率0.5～1個百分點(diǎn)。
賽迪智庫權(quán)威專家表示，宏觀層面，大數(shù)據(jù)使經(jīng)濟(jì)決策部門可以更敏銳地把握經(jīng)濟(jì)走向，制定并實(shí)施科學(xué)的經(jīng)濟(jì)政策。微觀方面，大數(shù)據(jù)可以提高企業(yè)經(jīng)營決策水平和效率，推動創(chuàng)新，給企業(yè)、行業(yè)領(lǐng)域帶來價值：
一是增加收入。零售商可通過對海量數(shù)據(jù)的實(shí)時分析掌握市場動態(tài)并迅速作出應(yīng)對，通過精準(zhǔn)營銷增加營業(yè)收入；二是提高效率。在制造業(yè)，通過整合來自研發(fā)、工程和制造部門的數(shù)據(jù)以便實(shí)行并行工程，可以顯著縮短產(chǎn)品上市時間并提高質(zhì)量；在市場和營銷方面，大數(shù)據(jù)能夠幫助消費(fèi)者在更合理的價格范圍內(nèi)找到更合適的產(chǎn)品來滿足自身的需求，提高附加值。三是推動創(chuàng)新。企業(yè)可從產(chǎn)品開發(fā)、生產(chǎn)和銷售的歷史大數(shù)據(jù)中找到創(chuàng)新的源泉，從客戶和消費(fèi)者的大數(shù)據(jù)中尋找新的合作伙伴，以及從售后反饋大數(shù)據(jù)發(fā)現(xiàn)額外的增值服務(wù)，從而改善現(xiàn)有產(chǎn)品和服務(wù)，創(chuàng)新業(yè)務(wù)模式。
大數(shù)據(jù)技術(shù)作為一種重要的信息技術(shù)，對于提高安全保障能力、應(yīng)急能力、優(yōu)化公共事業(yè)服務(wù)，提高社會管理水平的作用正在日益凸顯。增強(qiáng)安全保障能力。在國防、反恐、安全等領(lǐng)域應(yīng)用大數(shù)據(jù)技術(shù)，能夠?qū)碜杂诙喾N渠道的信息快速進(jìn)行自動分類、整理、分析和反饋，有效解決情報(bào)、監(jiān)視和偵察系統(tǒng)不足等問題，提高國家安全保障能力。
三、大數(shù)據(jù)存儲管理挑戰(zhàn)及管理技術(shù)
目前電信、金融、零售等行業(yè)希望通過大數(shù)據(jù)的分析手段來幫助自己做出理性的決策。特別是電信和金融行業(yè)表現(xiàn)尤為突出，市場數(shù)據(jù)沒有辦法與用戶消費(fèi)數(shù)據(jù)打通。而它們面臨的第一個問題就是海量數(shù)據(jù)存儲的問題。多數(shù)企業(yè)正在試圖建設(shè)自己的數(shù)據(jù)中心，來滿足大規(guī)模的數(shù)據(jù)量的產(chǎn)生，但是隨著數(shù)據(jù)的進(jìn)一步增多，很多數(shù)據(jù)的查詢和分析性能急劇下降，有的數(shù)據(jù)中心甚至出現(xiàn)了無法響應(yīng)的狀況，為企業(yè)的業(yè)務(wù)帶來了很大損失。
企業(yè)的CIO們有著這樣的疑慮，怎樣的數(shù)據(jù)管理策略能夠?qū)?shù)據(jù)進(jìn)行有效的保護(hù)，而且在需要時，讓數(shù)據(jù)隨時轉(zhuǎn)變成價值的問題。只有數(shù)據(jù)與適合的存儲系統(tǒng)相匹配，制定出管理數(shù)據(jù)的戰(zhàn)略，才能高成本，高可靠，高效益的應(yīng)對大量數(shù)據(jù)。對于企業(yè)來說，面臨大數(shù)據(jù)首先解決的問題就是成本和時間效應(yīng)問題。商機(jī)不容錯過，而存儲數(shù)據(jù)管理，可以通過自動化，磁盤和重復(fù)數(shù)據(jù)刪除，備份和歸檔的軟件，讓企業(yè)的關(guān)鍵數(shù)據(jù)分存在不同的區(qū)域，然后按照特定的業(yè)務(wù)需求，對數(shù)據(jù)進(jìn)行提取，操作和分析，并形成企業(yè)所需要的目標(biāo)數(shù)據(jù)。大數(shù)據(jù)面臨的存儲難題迎刃而解。
大數(shù)據(jù)的關(guān)注度在不斷升溫，而大數(shù)據(jù)管理的技術(shù)也層出不窮。在眾多技術(shù)中，有6種數(shù)據(jù)管理技術(shù)普遍被關(guān)注，即分布式存儲與計(jì)算、內(nèi)存數(shù)據(jù)庫技術(shù)、列式數(shù)據(jù)庫技術(shù)、云數(shù)據(jù)庫、NoSQL、移動數(shù)據(jù)庫技術(shù)。其中分布式存儲與計(jì)算受關(guān)注度最高。
分布式存儲與計(jì)算架構(gòu)可以讓大量數(shù)據(jù)以一種可靠、高效、可伸縮的方式進(jìn)行處理。因?yàn)橐圆⑿械姆绞焦ぷ?，所以?shù)據(jù)處理速度相對較快，且成本較低，Hadoop和NoSQL都屬于分布式存儲技術(shù)的范疇。
內(nèi)存數(shù)據(jù)庫技術(shù)可以作為單獨(dú)的數(shù)據(jù)庫使用，還能為應(yīng)用程序提供即時的響應(yīng)和高吞吐量，SAP的HANA是該技術(shù)的典型代表。
列式數(shù)據(jù)庫的特點(diǎn)是可以更好的應(yīng)對海量關(guān)系數(shù)據(jù)中列的查詢，占用更少的存儲空間，這也是構(gòu)建數(shù)據(jù)倉庫的理想架構(gòu)之一。
云數(shù)據(jù)庫可以不受任何部署環(huán)境的優(yōu)勢，隨意的進(jìn)行拓展，進(jìn)而為客戶提供適宜其需求的虛擬容量，并實(shí)現(xiàn)自助式資源調(diào)配和自助式使用計(jì)量。目前微軟的SQL Server可以提供類似的服務(wù)。
NoSQL數(shù)據(jù)庫適合于以下場景，即龐大的數(shù)據(jù)量、極端的查詢量和模式演化。企業(yè)可以NoSQL得到高可擴(kuò)展性、高可用性、低成本、可預(yù)見的彈性和架構(gòu)靈活性的優(yōu)勢，甲骨文在2011年推出Oracle NoSQL數(shù)據(jù)庫。
移動數(shù)據(jù)庫技術(shù)是適應(yīng)移動計(jì)算產(chǎn)物。隨著智能移動終端的普及，人們對移動數(shù)據(jù)實(shí)時處理和管理要求的不斷提高，移動數(shù)據(jù)庫具有平臺的移動性、頻繁斷接性、網(wǎng)絡(luò)條件的多樣性、網(wǎng)絡(luò)通訊的非對稱性、系統(tǒng)的高伸縮性和低可靠性以及電源能力的有限性等，也正是因?yàn)檫@些特性被業(yè)界所重視。
四、我國大數(shù)據(jù)發(fā)展策略
中科院計(jì)算所網(wǎng)絡(luò)數(shù)據(jù)科學(xué)與工程研究中心主任程學(xué)旗在接受本刊記者專訪中表示：“數(shù)據(jù)的規(guī)模如此之大，現(xiàn)有的IT技術(shù)根本沒有辦法分析處理，價值難以得到有效利用。對這些數(shù)據(jù)的感知、分析，同時加以商業(yè)化，就是大數(shù)據(jù)技術(shù)需要完成的工作。”如何挖掘大數(shù)據(jù)的價值是重中之重。
我國應(yīng)將大數(shù)據(jù)作為新一輪科技競爭和產(chǎn)業(yè)競爭的戰(zhàn)略重點(diǎn)和制高點(diǎn)，充分認(rèn)識“數(shù)據(jù)、技術(shù)、應(yīng)用”三位一體、有機(jī)統(tǒng)一的內(nèi)涵，掌握未來大數(shù)據(jù)發(fā)展主動權(quán)。為此，賽迪專家建議重點(diǎn)開展以下四方面工作：
首先，布局關(guān)鍵技術(shù)研發(fā)創(chuàng)新。
總體來看，大數(shù)據(jù)的技術(shù)門檻較高，目前在大數(shù)據(jù)領(lǐng)域展開競爭的信息技術(shù)企業(yè)多是在數(shù)據(jù)存儲、分析等領(lǐng)域有著傳統(tǒng)優(yōu)勢的廠商。為實(shí)現(xiàn)產(chǎn)業(yè)升級，為在技術(shù)產(chǎn)業(yè)發(fā)展中不落人后甚至實(shí)現(xiàn)彎道趕超，我國不能再跟隨發(fā)展，必須及早布局關(guān)鍵技術(shù)和新興技術(shù)的研發(fā)應(yīng)用。
一是以數(shù)據(jù)分析技術(shù)為核心，加強(qiáng)人工智能、商業(yè)智能、機(jī)器學(xué)習(xí)等領(lǐng)域的理論研究和技術(shù)研發(fā)，夯實(shí)發(fā)展基礎(chǔ)。
二是加快非結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)、非關(guān)系型數(shù)據(jù)庫管理技術(shù)、可視化技術(shù)等基礎(chǔ)技術(shù)研發(fā)，并推動與云計(jì)算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等技術(shù)的融合，形成較為成熟、可行的解決方案。
三是面向大數(shù)據(jù)應(yīng)用，加強(qiáng)網(wǎng)頁搜索技術(shù)、知識計(jì)算(搜索)技術(shù)、知識庫技術(shù)等核心技術(shù)的研發(fā)，開發(fā)出高質(zhì)量的單項(xiàng)技術(shù)產(chǎn)品，并與數(shù)據(jù)處理技術(shù)相結(jié)合，為實(shí)現(xiàn)商業(yè)智能服務(wù)提供技術(shù)體系支撐。
其次，提高軟件產(chǎn)品發(fā)展水平。
一是推動以企業(yè)為核心的產(chǎn)學(xué)研用合作，加快提高軟件發(fā)展水平，為大數(shù)據(jù)發(fā)展和應(yīng)用奠定基礎(chǔ)。
二是利用本土語言優(yōu)勢，結(jié)合云計(jì)算技術(shù)與服務(wù)，加快中文數(shù)據(jù)采集、匯總與分析，加快開發(fā)和建設(shè)中文知識庫、數(shù)據(jù)庫與規(guī)則庫。
三是利用產(chǎn)業(yè)發(fā)展引導(dǎo)資金，鼓勵軟硬件企業(yè)和服務(wù)企業(yè)應(yīng)用新型技術(shù)，與信息內(nèi)容服務(wù)相結(jié)合，面向?qū)嶋H的大數(shù)據(jù)應(yīng)用提供具有行業(yè)特色的系統(tǒng)集成解決方案和數(shù)據(jù)分析服務(wù)。
四是以百度、騰訊、阿里巴巴等企業(yè)牽頭，基于開源、開放操作系統(tǒng)或應(yīng)用平臺，整合優(yōu)勢資源，聚集一批有實(shí)力、有特色的中小互聯(lián)網(wǎng)信息服務(wù)提供商，加速本土化信息服務(wù)的開拓與整合，形成良性發(fā)展的生態(tài)系統(tǒng)。
五是以有基礎(chǔ)優(yōu)勢的數(shù)據(jù)處理軟件商牽頭，統(tǒng)合各方技術(shù)優(yōu)勢與數(shù)據(jù)優(yōu)勢，形成完整、可實(shí)用的數(shù)據(jù)分析軟件，不斷提高服務(wù)內(nèi)容的精確度與匹配度。同時培育形成一批具有較高集成水平、較強(qiáng)市場能力的大數(shù)據(jù)解決方案提供商，為大數(shù)據(jù)在各行業(yè)領(lǐng)域的應(yīng)用提供成熟解決方案。
第三，加速推進(jìn)大數(shù)據(jù)示范應(yīng)用。
一是面向醫(yī)療、能源、金融、電信、流通等數(shù)據(jù)量大的領(lǐng)域，引導(dǎo)行業(yè)廠商參與，大力發(fā)展數(shù)據(jù)監(jiān)測、商業(yè)決策、數(shù)據(jù)分析、橫向擴(kuò)展存儲等軟硬件一體化的行業(yè)應(yīng)用解決方案。
二是面向智慧城市建設(shè)與百姓日常生活需求，加快推動大數(shù)據(jù)在智慧城市建設(shè)及個人娛樂、生活服務(wù)領(lǐng)域的應(yīng)用，不斷提升數(shù)字內(nèi)容加工處理軟件等服務(wù)發(fā)展水平。
三是推動行業(yè)數(shù)據(jù)的深加工服務(wù)。大力開發(fā)深度加工的行業(yè)數(shù)據(jù)庫，對高科技領(lǐng)域數(shù)據(jù)進(jìn)行深度加工，建立基于不同行業(yè)領(lǐng)域的專題數(shù)據(jù)庫，提供內(nèi)容增值服務(wù)。
四是選擇重點(diǎn)領(lǐng)域、重點(diǎn)企業(yè)，鼓勵其應(yīng)用數(shù)據(jù)清洗等手段，對企業(yè)積累的數(shù)據(jù)進(jìn)行初步分析整理，去除重復(fù)數(shù)據(jù)，減少噪音數(shù)據(jù)，提高大數(shù)據(jù)集合的建設(shè)質(zhì)量。
第四，優(yōu)化完善大數(shù)據(jù)發(fā)展環(huán)境。
一是要加強(qiáng)大數(shù)據(jù)應(yīng)用背景下信息安全問題的研究，應(yīng)對好大數(shù)據(jù)應(yīng)用可能帶來或面臨的信息安全風(fēng)險，特別是研究面向基于大數(shù)據(jù)的情報(bào)收集分析工作的信息保密問題。
二是要明確數(shù)據(jù)分析處理服務(wù)的價值和作用，支持?jǐn)?shù)據(jù)加工處理企業(yè)發(fā)展，將具備一定能力企業(yè)的數(shù)據(jù)加工處理業(yè)務(wù)列入營業(yè)稅優(yōu)惠政策享受范圍。
三是完善相關(guān)體制機(jī)制，以政府為切入點(diǎn)，推動信息資源的集中共享，夯實(shí)大數(shù)據(jù)的應(yīng)用基礎(chǔ)。
五、2016年大數(shù)據(jù)收入將達(dá)238億美元
IDC最近發(fā)布的報(bào)告顯示，全球大數(shù)據(jù)技術(shù)及服務(wù)市場年復(fù)合增長率將達(dá)31.7%，2016年收入將達(dá)238億美元，其增速約為ICT市場整體增速的7倍之多。在現(xiàn)有和新興細(xì)分市場中，大數(shù)據(jù)市場融合技術(shù)與服務(wù)正呈現(xiàn)迅猛的發(fā)展勢頭。盡管情況發(fā)展會存在多種可能，供需也存在重大變數(shù)，但I(xiàn)DC認(rèn)為，2012~2016 年該市場仍將呈現(xiàn)強(qiáng)勁增長。
IDC商業(yè)分析及大數(shù)據(jù)研究副總裁Dan Vesset認(rèn)為，大數(shù)據(jù)技術(shù)及服務(wù)市場呈快速增長之勢，將給全球帶來數(shù)十億美元的市場機(jī)遇。它已成為許多企業(yè)高管議事日程中的一個重要議題，而對于具備適當(dāng)?shù)募夹g(shù)、分析、溝通和專業(yè)知識的人才而言，它帶來了不少極具吸引力的工作機(jī)會。
這份報(bào)告顯示，大數(shù)據(jù)各細(xì)分市場增速不等，從服務(wù)市場的21.1%到存儲市場的53.4%。與其他基礎(chǔ)設(shè)施細(xì)分市場相比，存儲市場年復(fù)合增長率最高，這歸功于目前大數(shù)據(jù)環(huán)境下對存儲能力的雙重利用。分析及大數(shù)據(jù)技術(shù)能力的短缺將推動越來越多的買家轉(zhuǎn)向云解決方案和云設(shè)備。為解決上述技術(shù)短板問題，在信息管理和分析的生命周期中，自動化將受到更多的重視，更多的公司將不再僅僅著眼于技術(shù)外包，而是會尋求分析服務(wù)的外包。在2012~2016年的預(yù)測期之后，面向機(jī)器生成數(shù)據(jù)的大數(shù)據(jù)解決方案將贏得更多的關(guān)注。
六、中國大數(shù)據(jù)概念股一覽
繼物聯(lián)網(wǎng)、云計(jì)算、互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)之后，“大數(shù)據(jù)”（BigData）主題投資近日在業(yè)內(nèi)引起高度關(guān)注。
最早提出“大數(shù)據(jù)”時代已經(jīng)到來的機(jī)構(gòu)是全球知名咨詢公司麥肯錫。數(shù)據(jù)本身是資產(chǎn)，也是云計(jì)算內(nèi)在的靈魂和必然的升級方向。全球互聯(lián)網(wǎng)巨頭都已意識到了“大數(shù)據(jù)”時代，數(shù)據(jù)的重要意義。包括EMC、惠普、IBM、微軟在內(nèi)的全球IT巨頭紛紛通過收購“大數(shù)據(jù)”相關(guān)廠商來實(shí)現(xiàn)技術(shù)整合，亦可見其對“大數(shù)據(jù)”的重視。
工信部發(fā)布的物聯(lián)網(wǎng)“十二五”規(guī)劃上，把信息處理技術(shù)作為4項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一被提出來，其中包括了海量數(shù)據(jù)存儲、數(shù)據(jù)挖掘、圖像視頻智能分析，這都是大數(shù)據(jù)的重要組成部分。而另外3項(xiàng)信息感知技術(shù)、信息傳輸技術(shù)、信息安全技術(shù)，也與“大數(shù)據(jù)”密切相關(guān)。