06、Kafka 实战 - Kafka Broker工作流程

1 Zookeeper存储的Kafka消息

1、 启动zookeeper可客户端

[lyx@hadoop102 zookeeper-3.5.7]$ bin/zkCli.sh

2、 通过ls命令查看Kafka相关信息

[zk: localhost:2181(CONNECTED) 0] ls /kafka

 

2 Kafka Broker总体工作流程

Zookeeper集群与Kafka集群间的通信:

1、 Kafka集群的每个broker启动之后都会向zookeeper进行注册。

2、 注册完毕之后开始选择controller节点(争先抢占方式)。

3、 选举出来的controller监听/brokers/ids/节点的变化。

4、 监控完毕之后根据选举规则开始真正的选举Leader。

5、 Controller将节点的Leader信息和isr信息写到zookeeper上。

6、 其它的controller节点会冲zookeeper上拉取数据进行同步(防止controllerLeader挂了,随时上位)。

7、 生产者往集群发送数据,发送数据之后Leader主动与Follower进行同步(底层通过LOG进行存储,实际为segment,分为.log文件和.index文件)再进行应答。

8、 当Leader节点挂了之后controller监控到节点变化。

9、 Controller从zookeeper上拉取Leader信息和isr信息。

10、 Controller根据拉取的信息和选举规则再重新选举Leader。

11、 选举出来新的Leader之后更新zookeeper中的信息。
 
模拟Kafka上下线,观察zookeeper中数据的变化:

1、 查看/kafka/brokers/ids路径上的节点:

[zk: localhost:2181(CONNECTED) 0] ls /kafka/brokers/ids
[0, 1, 2]

2、 查看/kafka/controller 路径上的数据:

[zk: localhost:2181(CONNECTED) 1] get /kafka/controller
{
   
     "version":1,"brokerid":2,"timestamp":"1690261148573"}

3、 查看/kafka/brokers/topics/first/partitions/0/state 路径上的数据:

[zk: localhost:2181(CONNECTED) 2] get /kafka/brokers/topics/first/partitions/0/state
{
   
     "controller_epoch":14,"leader":2,"version":1,"leader_epoch":20,"isr":[2,1,0]}

4、 停止hadoop104 上的 kafka:
 
5、 再次查看/kafka/brokers/ids 路径上的节点:

[zk: localhost:2181(CONNECTED) 3] ls /kafka/brokers/ids
[0, 1]

6、 再次查看/kafka/controller 路径上的数据:

[zk: localhost:2181(CONNECTED) 4] get /kafka/controller
{
   
     "version":1,"brokerid":0,"timestamp":"1690271464899"}

7、 再次查看/kafka/brokers/topics/first/partitions/0/state 路径上的数据:

[zk: localhost:2181(CONNECTED) 5] get /kafka/brokers/topics/first/partitions/0/state
{
   
     "controller_epoch":14,"leader":1,"version":1,"leader_epoch":21,"isr":[1,0]}

8、 启动hadoop104 上的 kafka:
 

3 Broker重要参数