为何需要 Kafka 集群

本地开发,一台 Kafka 足够使用。在实际生产中,集群可以跨服务器进行负载均衡,再则可以使用复制功能来避免单独故障造成的数据丢失。同时集 群可以提供高可用性。

如何估算 Kafka 集群中 Broker 的数量

要估量以下几个因素:

需要多少磁盘空间保留数据,和每个 broker 上有多少空间可以用。比如,如果一个集群有 10TB 的数据需要保留,而每个 broker 可以存储 2TB,那么 至少需要 5 个 broker。如果启用了数据复制,则还需要一倍的空间,那么这个集群需要 10 个 broker。

集群处理请求的能力。如果因为磁盘吞吐量和内存不足造成性能问题,可以通过扩展 broker 来解

Broker 如何加入 Kafka 集群

非常简单,只需要两个参数。第一,配置 zookeeper.connect,第二,为新增的 broker 设置一个集群内的唯一性 id。

Kafka 中的集群是可以动态扩容的。