在數(shù)據(jù)處理中哪些場景可以使用Spark？

在數(shù)據(jù)科學(xué)應(yīng)用中，數(shù)據(jù)工程師可以利用Spark進(jìn)行數(shù)據(jù)分析與建模，由于Spark具有良好的易用性，數(shù)據(jù)工程師只需要具備一定的SQL語言基礎(chǔ)、統(tǒng)計學(xué)、機器學(xué)習(xí)等方面的經(jīng)驗，以及使用Python、Matlab或者R語言的基礎(chǔ)編程能力，就可以使用Spark進(jìn)行上述工作。

在數(shù)據(jù)處理應(yīng)用中，大數(shù)據(jù)工程師將Spark技術(shù)應(yīng)用于廣告、報表、推薦系統(tǒng)等業(yè)務(wù)中，在廣告業(yè)務(wù)中，利用Spark系統(tǒng)進(jìn)行應(yīng)用分析、效果分析、定向優(yōu)化等業(yè)務(wù)，在推薦系統(tǒng)業(yè)務(wù)中，利用Spark內(nèi)置機器學(xué)習(xí)算法訓(xùn)練模型數(shù)據(jù)，進(jìn)行個性化推薦及熱點點擊分析等業(yè)務(wù)。

Spark擁有完整而強大的技術(shù)棧，如今已吸引了國內(nèi)外各大公司的研發(fā)與使用，淘寶技術(shù)團隊使用Spark來解決多次迭代的機器學(xué)習(xí)算法、高計算復(fù)雜度的算法等，應(yīng)用于商品推薦、社區(qū)發(fā)現(xiàn)等功能。騰訊大數(shù)據(jù)精準(zhǔn)推薦借助Spark快速迭代的優(yōu)勢，實現(xiàn)了在“數(shù)據(jù)實時采集、算法實時訓(xùn)練、系統(tǒng)實時預(yù)測”的全流程實時并行高維算法，最終成功應(yīng)用于廣點通投放系統(tǒng)上。優(yōu)酷土豆則將Spark應(yīng)用于視頻推薦（圖計算）、廣告等業(yè)務(wù)的研發(fā)與拓展，相信在將來，Spark會在更多的應(yīng)用場景中發(fā)揮重要作用。



猜你喜歡：    
實時計算Spark Streaming工作原理是什么？

Spark有哪些特點，Spark的生態(tài)系統(tǒng)包含哪些組件？

Spark Mllib分層抽樣操作步驟

黑馬程序員大數(shù)據(jù)開發(fā)培訓(xùn)