首頁技術(shù)文章正文

Kafka有幾種消費者分區(qū)分配策略?

更新時間:2022-10-31 來源:黑馬程序員 瀏覽量:

Range范圍分配策略

Range范圍分配策略是Kafka默認(rèn)的分配策略,它可以確保每個消費者消費的分區(qū)數(shù)量是均衡的。

注意:Rangle范圍分配策略是針對每個Topic的。

配置

配置消費者的partition.assignment.strategy為org.apache.kafka.clients.consumer.RangeAssignor。

算法公式

n = 分區(qū)數(shù)量 / 消費者數(shù)量

m = 分區(qū)數(shù)量 % 消費者數(shù)量

前m個消費者消費n+1個

剩余消費者消費n個

1667209460913_范圍分配策略.png
1667209492469_范圍.png

RoundRobin輪詢策略

RoundRobinAssignor輪詢策略是將消費組內(nèi)所有消費者以及消費者所訂閱的所有topic的partition按照字典序排序(topic和分區(qū)的hashcode進(jìn)行排序),然后通過輪詢方式逐個將分區(qū)以此分配給每個消費者。

配置

配置消費者的partition.assignment.strategy為org.apache.kafka.clients.consumer.RoundRobinAssignor。
1667209579973_范圍份額皮.png

Stricky粘性分配策略

從Kafka 0.11.x開始,引入此類分配策略。主要目的:

1. 分區(qū)分配盡可能均勻

2. 在發(fā)生rebalance的時候,分區(qū)的分配盡可能與上一次分配保持相同沒有發(fā)生rebalance時,Striky粘性分配策略和RoundRobin分配策略類似。

1667209633388_粘性分配策略.png

上面如果consumer2崩潰了,此時需要進(jìn)行rebalance。如果是Range分配和輪詢分配都會重新進(jìn)行分配,例如:

1667209690362_粘性分配測略2.png

通過上圖,我們發(fā)現(xiàn),consumer0和consumer1原來消費的分區(qū)大多發(fā)生了改變。接下來我們再來看下粘性分配策略。

粘性分配策略

我們發(fā)現(xiàn),Striky粘性分配策略,保留rebalance之前的分配結(jié)果。這樣,只是將原先consumer2負(fù)責(zé)的兩個分區(qū)再均勻分配給consumer0、consumer1。這樣可以明顯減少系統(tǒng)資源的浪費,例如:之前consumer0、consumer1之前正在消費某幾個分區(qū),但由于rebalance發(fā)生,導(dǎo)致consumer0、consumer1需要重新消費之前正在處理的分區(qū),導(dǎo)致不必要的系統(tǒng)開銷。(例如:某個事務(wù)正在進(jìn)行就必須要取消了)


分享到:
在線咨詢 我要報名
和我們在線交談!