更新時(shí)間:2021-05-26 來源:黑馬程序員 瀏覽量:
問題分析
即對(duì)key和value雙排序。默認(rèn)情況下,Map輸出的結(jié)果會(huì)對(duì)Key進(jìn)行默認(rèn)的排序,但是有時(shí)候需要對(duì)Key排序的同時(shí)還需要對(duì)Value進(jìn)行排序,這時(shí)候就要用到二次排序了。
核心答案講解
有兩種方法進(jìn)行二次排序,分別為:buffer and in memory sort和 value-to-key conversion。
buffer and in memory sort
主要思想是:在reduce()函數(shù)中,將某個(gè)key對(duì)應(yīng)的所有value保存到內(nèi)存中,然后進(jìn)行排序。 這種方法最大的缺點(diǎn)是:可能會(huì)造成out of memory。
value-to-key conversion
主要思想是:將key和部分value拼接成一個(gè)組合key(實(shí)現(xiàn)WritableComparable接口或者調(diào)用 setSortComparatorClass函數(shù)),這樣reduce獲取的結(jié)果便是先按key排序,后按value排序的結(jié)果,需要注意的是,用戶需 要自己實(shí)現(xiàn)Paritioner,以便只按照key進(jìn)行數(shù)據(jù)劃分。Hadoop顯式的支持二次排序,在Configuration類中有個(gè) setGroupingComparatorClass()方法,可用于設(shè)置排序被group的key值。
問題擴(kuò)展
MapReduce:寫Mapreduce進(jìn)行數(shù)據(jù)處理,需要利用java、python等語言進(jìn)行開發(fā)調(diào)試,如果沒有一項(xiàng)技術(shù)(如 Java)基礎(chǔ),幾乎不可能學(xué)會(huì) MapReduce。
Hive:Hive 構(gòu)建于傳統(tǒng)的數(shù)據(jù)庫和數(shù)據(jù)倉庫理念之上。它對(duì)待數(shù)據(jù)的方式就像是它有一個(gè)基于 SQL 或基于架構(gòu)的結(jié)構(gòu)。Apache Hive提供了一種更具體和更高級(jí)的語言,通過運(yùn)行Hadoop作業(yè)來查詢數(shù)據(jù),而不是直接編寫腳本來逐步操作Hadoop上的幾個(gè)MapReduce作業(yè)。Hive的初步設(shè)計(jì)思路在于提供與SQL類似的使用體驗(yàn),開發(fā)人員只需要掌握Sql相關(guān)的知識(shí)就可以使用。
項(xiàng)目應(yīng)用
在大數(shù)據(jù)的復(fù)雜統(tǒng)計(jì)分析中,可以使用Hive的SQL功能來實(shí)現(xiàn)排序等不同的算法,降低入門難度,提高研發(fā)效率。
Hadoop實(shí)現(xiàn)join的幾種方法【大數(shù)據(jù)開發(fā)面試】?
Hadoop與Spark的區(qū)別有哪些?【大數(shù)據(jù)培訓(xùn)】