Intuit數據工程副主管Loconzolo雙腳都已經邁進數據湖里了。SmarterRemarketer首席數據科學家DeanAbbott也為云技術的發展指出了捷徑。他們二人一致認為,大數據與分析學前沿是個活動目標，這一領域包含了儲存原始數據的數據湖和云計算。盡管這些技術并未成熟，但等待也并非上策。

　　Loconzolo表示：“現實的情況是，這些工具都剛剛興起，他們構筑的平臺還不足以讓企業依賴。但是，大數據和分析學等學科發展十分迅速，因此企業必須努力跟上，否則就有被甩掉的危險。”他還說：“過去，新興技術往往需要十年左右的時間才能夠成熟，但是現在大大不同了，人們幾個月甚至幾周時間就能想出解決方案。”那么，有哪些新興技術是我們應該關注，或者說科研人員正在重點研究的呢？《電腦世界》采訪了一些IT精英、咨詢師和行業分析專家，來看看他們列出的幾大趨勢吧。

　　1.云端大數據分析

　　Hadoop是一組有一定框架結構的工具，用來處理大型數據組。它原本用于機器群，但現在情況有所變化。ForresterResearch一位分析師BrianHopkins表示，現在有越來越多的技術可以運用到云端數據處理上來了。比如亞馬遜的BI數據庫、Google的BigQuery數據分析服務,、IBM’sBluemix云平臺和亞馬遜的Kinesis數據處理服務。這位分析師還說，未來的大數據將是內部數據部署與云端數據的結合體。

　　SmarterRemarketer是SaaS零售分析、市場細分和營銷服務的供應商，它最近將自己室內的Hadoop和MongoDB數據庫基礎設施轉移到了一個基于云技術的數據庫—AmazonRedshift.這家位于印第安納波利斯的公司收集線上和實體銷售數據、顧客信息和實時行為數據，之后進行分析，從而幫助零售商做出針對消費者的決策，有些決策甚至是實時的。

　　Abbott表示，Redshift可以節省這家公司的成本，這是因為它對于結構數據擁有強大的匯總報告功能，而且它頗具規模，使用起來相對容易。用這些虛擬設備總是要比那些實體設備便宜一些。

　　相比之下，位于加州山景城的Intuit在走向云分析的過程中就要謹慎多了，因為它需要一個安全、穩定、可控的環境。目前為止，這家金融軟件公司的數據都還在自家的數據庫—IntuitAnalyticsCloud里面。Loconzolo表示：“目前我們正跟亞馬遜還有Cloudera合作，建立一個我們幾家公司公用的能跨越虛擬、現實兩個世界的、具有高度穩定性的云端，但是現在這個問題還沒有得到解決。”然而，可以說，對于像Intuit這種銷售云端產品的公司來說，向云端技術進軍是必然的。Loconzolo還說道，未來我們會發展到一個階段，那時把數據放在私有云端將是浪費的。

　　2.Hadoop：一個新的企業數據運行系統

　　Hopkins表示，向MapReduce這樣的分布式分析框架，正在逐漸演化成分布式資源管理器，這些資源管理器正逐步將Hadoop變為多用途數據運行系統。“有了這些系統，你就可以進行多種多樣的操作和分析。”

　　這對企業來說意味著什么呢？SQL、MapReduce、in-memory、流水式處理、圖表分析還有其它工作都能在Hadoop上進行，越來越多的企業會把Hadoop當做企業數據中心。Hopkins還說：“在Hadoop上能進行各種各樣的數據處理工作，這樣的話，Hadoop會慢慢變成一個多用途的數據處理系統。”

　　Intuit已經開始在Hadoop建立自己的數據基地了。Loconzolo說：“我們的策略是利用Hadoop分布式文件系統，因為它和MapReduce與Hadoop等聯系十分密切，這樣的話，人與產品之間的各種互動就可以實現了。

　　3.大數據湖泊

　　美國普華永道首席技術專家ChrisCurran說，傳統數據庫理論認為，人們應該先設計數據集，然后再將數據輸入進去。而“數據湖泊“，也被稱作“企業數據湖泊”或者“企業數據中心”，顛覆了這個理念。“現在，我們先收集數據，然后把它們都存入Hadoop倉庫里，我們不必事先設計數據模型了。”這個數據湖泊不僅為人們提供了分析數據的工具，而且很明確地告訴你，這里有什么樣的數據。Curran還表示，運用Hadoop的過程中人們就可以增加對數據的認識。這是一個遞增的、有機的大規模數據庫。當然，這樣一來，對使用者的技術要求相應地會比較高。

　　Loconzolo表示，Intuit擁有自己的數據湖泊，這個數據湖里既有用戶點擊量的數據，也有企業和第三方的數據，所有這些都是Intuit分析云端的一部分，但關鍵是要讓圍繞這個數據湖的工具能夠為人們有效利用起來。Loconzolo還說，對于在Hadoop建立數據湖，一個需要考慮的問題是，這個平臺并沒有完完全全的為企業的需求設置周全。“我們還需要傳統企業數據庫已經有了幾十年的一些功能，比如監控訪問控制、加密、安全性以及能夠從源頭到去向地追蹤數據等等。

　　4.更多預測分析

　　Hopkins表示，有了大數據，分析師們不僅有了更多的數據可以利用，也擁有了更強大的處理打量不同屬性數據的能力。

　　他說：“傳統的機器學習利用的數據分析是建立在一個大數據集中的一個樣本基礎上的，而現在，我們擁有了處理了大量數字記錄的能力，甚至于每條數據有多種不同屬性，我們都應對自如。”

　　大數據與計算功能的結合也讓分析師們能夠挖掘人們一天中的行為數據，好比他們訪問的網站或者是去過的地方。Hopkins把這些數據稱作“稀少數據（sparsedata）”，因為要想得到這些你感興趣的數據，必須過濾掉一大堆無關的數據。“要想用傳統機器算法對抗這種數據，從計算角度來講幾乎不可能。因為計算能力是一個十分重要的問題，特別是現在傳統算法的速度和記憶儲存能力退化很快。而現在你可以很容易知道哪些數據是最容易分析的，不得不說，賽場易主了。”

　　Loconzolo表示：“我們最感興趣的地方是，怎樣在同一個Hadoop內核中既能作實時分析，又能做預測模型。這里最大的問題在于速度。Hadoop花費的時間要比現有技術長20倍，所以Intuit也在嘗試另一個大規模數據處理器ApacheSpark及其配套的SparkSQL查詢工具。Loconzolo說：“Spark具有快速查詢、制表服務和分組功能。它能在把數據保留在Hadoop內部的前提下，還將數據處理得十分出色。”