1 Zookeeper存储的Kafka消息
1、 启动zookeeper可客户端
[lyx@hadoop102 zookeeper-3.5.7]$ bin/zkCli.sh
2、 通过ls命令查看Kafka相关信息
[zk: localhost:2181(CONNECTED) 0] ls /kafka
2 Kafka Broker总体工作流程
Zookeeper集群与Kafka集群间的通信:
1、 Kafka集群的每个broker启动之后都会向zookeeper进行注册。
2、 注册完毕之后开始选择controller节点(争先抢占方式)。
3、 选举出来的controller监听/brokers/ids/节点的变化。
4、 监控完毕之后根据选举规则开始真正的选举Leader。
5、 Controller将节点的Leader信息和isr信息写到zookeeper上。
6、 其它的controller节点会冲zookeeper上拉取数据进行同步(防止controllerLeader挂了,随时上位)。
7、 生产者往集群发送数据,发送数据之后Leader主动与Follower进行同步(底层通过LOG进行存储,实际为segment,分为.log文件和.index文件)再进行应答。
8、 当Leader节点挂了之后controller监控到节点变化。
9、 Controller从zookeeper上拉取Leader信息和isr信息。
10、 Controller根据拉取的信息和选举规则再重新选举Leader。
11、 选举出来新的Leader之后更新zookeeper中的信息。
模拟Kafka上下线,观察zookeeper中数据的变化:
1、 查看/kafka/brokers/ids路径上的节点:
[zk: localhost:2181(CONNECTED) 0] ls /kafka/brokers/ids
[0, 1, 2]
2、 查看/kafka/controller 路径上的数据:
[zk: localhost:2181(CONNECTED) 1] get /kafka/controller
{
"version":1,"brokerid":2,"timestamp":"1690261148573"}
3、 查看/kafka/brokers/topics/first/partitions/0/state 路径上的数据:
[zk: localhost:2181(CONNECTED) 2] get /kafka/brokers/topics/first/partitions/0/state
{
"controller_epoch":14,"leader":2,"version":1,"leader_epoch":20,"isr":[2,1,0]}
4、 停止hadoop104 上的 kafka:
5、 再次查看/kafka/brokers/ids 路径上的节点:
[zk: localhost:2181(CONNECTED) 3] ls /kafka/brokers/ids
[0, 1]
6、 再次查看/kafka/controller 路径上的数据:
[zk: localhost:2181(CONNECTED) 4] get /kafka/controller
{
"version":1,"brokerid":0,"timestamp":"1690271464899"}
7、 再次查看/kafka/brokers/topics/first/partitions/0/state 路径上的数据:
[zk: localhost:2181(CONNECTED) 5] get /kafka/brokers/topics/first/partitions/0/state
{
"controller_epoch":14,"leader":1,"version":1,"leader_epoch":21,"isr":[1,0]}
8、 启动hadoop104 上的 kafka: