2011年，1.8ZB（也就是1.8萬億GB）的大數(shù)據(jù)創(chuàng)建產(chǎn)生，這相當(dāng)于每位美國人每分鐘寫3條Tweet，而且還是不停地寫2.6976萬年。據(jù)IDC報(bào)告預(yù)測，未來十年全球大數(shù)據(jù)將增加50倍，管理數(shù)據(jù)倉庫的服務(wù)器的數(shù)量也將相應(yīng)增加10倍以滿足需求。
毫無疑問，大數(shù)據(jù)將挑戰(zhàn)企業(yè)的存儲架構(gòu)及數(shù)據(jù)中心基礎(chǔ)設(shè)施等，也會引發(fā)云計(jì)算、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、商業(yè)智能等應(yīng)用的連鎖反應(yīng)。
我們知道，互聯(lián)網(wǎng)領(lǐng)域應(yīng)用系統(tǒng)的構(gòu)建存在諸多問題，如：客戶群體是不確定的、系統(tǒng)規(guī)模不確定、系統(tǒng)投資不固定、業(yè)務(wù)應(yīng)用有很清晰的并行分割特征、數(shù)據(jù)倉庫系統(tǒng)的構(gòu)建、數(shù)據(jù)倉庫規(guī)模可估算、數(shù)據(jù)倉庫的系統(tǒng)投資與業(yè)務(wù)分析的價(jià)值和回報(bào)相關(guān)、商業(yè)智能應(yīng)用屬于整體應(yīng)用、Saas模式構(gòu)建數(shù)據(jù)倉庫系統(tǒng)。
在大數(shù)據(jù)技術(shù)上用云計(jì)算構(gòu)建下一代數(shù)據(jù)倉庫成為可能。從系統(tǒng)需求來看，大數(shù)據(jù)的架構(gòu)對系統(tǒng)提出了新的挑戰(zhàn)，而這也可視為云計(jì)算的“天賜良機(jī)”：
一、集成度更高：這意味著一個(gè)標(biāo)準(zhǔn)機(jī)箱最大限度完成特定任務(wù)，華碩不久推出的一款高密度機(jī)架式服務(wù)器RS720，2U高度最大能采用支持4個(gè)雙路計(jì)算節(jié)點(diǎn)，實(shí)現(xiàn)單機(jī)8個(gè)英特爾5600系列處理器和高達(dá)總計(jì)768G內(nèi)存資源。
二、配置更合理、速度更快：存儲、控制器、I/O通道、內(nèi)存、CPU、網(wǎng)絡(luò)均衡設(shè)計(jì)，針對數(shù)據(jù)倉庫訪問最優(yōu)設(shè)計(jì)，比傳統(tǒng)類似平臺高出一個(gè)數(shù)量級以上，這方面的經(jīng)典案例是數(shù)據(jù)倉庫頭號廠商Teradata，其采用雙路Xeon六核處理器的企業(yè)級數(shù)據(jù)倉庫5650可輕松為數(shù)千名用戶處理更復(fù)雜、更大量的工作負(fù)載、持續(xù)負(fù)載以及批負(fù)載、操作性查詢、簡單報(bào)表和復(fù)雜的分析，所有功能均在同一個(gè)平臺上運(yùn)行。與上一代產(chǎn)品相比，動(dòng)態(tài)企業(yè)級數(shù)據(jù)倉庫5650的性能提高了43%，占地面積保持不變，減少了能源消耗和空間需求。
三、整體能耗更低：同等計(jì)算任務(wù)，能耗最低。
四、系統(tǒng)更加穩(wěn)定可靠：能夠消除各種單點(diǎn)故障環(huán)節(jié)，統(tǒng)一一個(gè)部件、器件的品質(zhì)和標(biāo)準(zhǔn)。
五、管理維護(hù)費(fèi)用低：數(shù)據(jù)藏的常規(guī)管理全部集成。
六、可規(guī)劃和預(yù)見的系統(tǒng)擴(kuò)容、升級路線圖。