[ O2O研究 ] 2014年大數(shù)據(jù)沒邁過去的檻兒

剛剛過去的2014年，見證了大數(shù)據(jù)架構(gòu)發(fā)展和部署上的進(jìn)步。NoSQL數(shù)據(jù)庫得到越來越多的用戶認(rèn)可，Hadoop 2 也突破了分布式處理框架一開始批處理的角色，走向了運(yùn)營分析。

Hadoop 2 平臺(tái)最早發(fā)布于2013年末，今年主要發(fā)布對(duì)Hadoop 2的各種修補(bǔ)，主要圍繞HDFS和YARN(詳見《2014年Hadoop大事件盤點(diǎn)報(bào)告》)新版本將HDFS從早期批處理的MapReduce編程模型和處理引擎中解放出來，為Hadoop打開了新的天地，比如交互查詢和流處理應(yīng)用程序。但從概念證明(proof of concept，POC)到投入生產(chǎn)是一個(gè)質(zhì)的變化，2015年將見證Hadoop更多的發(fā)展。

數(shù)據(jù)架構(gòu)師和管理者今年花了很多精力研究主流關(guān)系型數(shù)據(jù)庫的內(nèi)存處理技術(shù)。同時(shí)，非關(guān)系型數(shù)據(jù)庫的討論也很多，紐約咨詢公司Caserta Concepts的創(chuàng)始人兼總裁Joe Caserta認(rèn)為：“如果你覺得你可以不需要龐大的SQL數(shù)據(jù)庫就可以完成一些任務(wù)，那么新興技術(shù)就算是取得了勝利。”

除了格外吸睛的hadoop之外，另一個(gè)引人關(guān)注的開源產(chǎn)品是分析處理引擎Spark，Spark經(jīng)常和Hadoop 2搭載使用，在處理批任務(wù)時(shí)比MapReduce更快。Spark另一個(gè)關(guān)注點(diǎn)在于機(jī)器學(xué)習(xí)，這也是過去一年里大家常說的話題。

NoSQL & NewSQL

MongoDB, Couchbase, Aerospike等一長串的NoSQL數(shù)據(jù)庫在過去的一年里持續(xù)發(fā)聲，恐怕沒有哪一天是不說NoSQL的。在2014 MongoDB世界大會(huì)上，CitiData的全球總裁Michael Simone就諷刺了NOSQL數(shù)據(jù)庫的過度宣傳。不過這并不能阻擋NoSQL的發(fā)展勢頭，因?yàn)樗_實(shí)擅長處理大規(guī)模數(shù)據(jù)集，尤其是網(wǎng)絡(luò)上多種格式的非結(jié)構(gòu)化數(shù)據(jù)。

舉例來說，NoSQL數(shù)據(jù)庫經(jīng)常被貼上內(nèi)存標(biāo)簽，支持實(shí)時(shí)決策，還可以幫助呼叫中心人員跟蹤用戶網(wǎng)絡(luò)行為，解決技術(shù)難題，以及存儲(chǔ)并分析社交媒體信息。

在回顧NoSQL數(shù)據(jù)庫的時(shí)候，我們不要忘了NewSQL技術(shù)，它致力于兼取SQL和NoSQL平臺(tái)之長。

數(shù)據(jù)架構(gòu)是大數(shù)據(jù)的核心命題

這些技術(shù)的發(fā)展都離不開一個(gè)核心命題，即融入到企業(yè)數(shù)據(jù)架構(gòu)。Accenture分析咨詢集團(tuán)負(fù)責(zé)數(shù)據(jù)供應(yīng)鏈的信息管理總監(jiān)Vince Dell’Anno表示：“大數(shù)據(jù)今天面臨的主要問題是架構(gòu)問題，即企業(yè)如何把這些新的技術(shù)集成到一個(gè)環(huán)境中。”

Dell’Anno表示，很多IT部門面臨的挑戰(zhàn)是他們要允許成百上千的終端用戶訪問新產(chǎn)生的數(shù)據(jù)，如何管理成了問題。事實(shí)上，構(gòu)建可擴(kuò)展的大數(shù)據(jù)系統(tǒng)、將其余現(xiàn)有數(shù)據(jù)倉庫、分析和運(yùn)營環(huán)境集成是2014年技術(shù)發(fā)展的主題。很多時(shí)候，為了應(yīng)用新工具，大數(shù)據(jù)架構(gòu)師不得不放棄熟悉的數(shù)據(jù)模式，遵循新的數(shù)據(jù)管理方法。

就在2014年行將結(jié)束的時(shí)候，hadoop發(fā)行版供應(yīng)商Hortonworks申請(qǐng)IPO上市，這個(gè)過程中，它籌資一億美元，Ovum分析師Tony Baer在博客中寫道，此舉對(duì)于商業(yè)前景的意義更大，這是一個(gè)新興的市場，幾乎所有的銷售的新產(chǎn)生的，競爭對(duì)手也相對(duì)較少。并且，這一領(lǐng)域還是有很多有待開墾的市場的。

其他Hadoop廠商和一些NoSQL廠商，也希望在2015年加入IPO大軍，這將有利于新的數(shù)據(jù)處理技術(shù)走向成熟和完整。

一站式O2O APP開發(fā)