Kafka 控制器是如何监听 Broker 变化的？

Kafka 的控制器通过 ZooKeeper 来监控 Broker 的变动。ZooKeeper 是一个分布式的协调服务，它提供了许多功能，如命名服务、分布式锁、组服务等，其中也包括了监听机制。以下是控制器如何利用 ZooKeeper 监控 Broker 变动的详细过程：

监控 Broker 变动的过程

1. Broker 注册：
   • 当一个新的 Broker 加入 Kafka 集群时，它会在 ZooKeeper 中创建一个临时节点来注册自己。这个节点通常位于  /brokers/ids  下，并包含该 Broker 的相关信息。
   • 临时节点的存在意味着如果 Broker 失效，该节点会被自动删除。
2. 监听机制：
   • 控制器在启动时，会在 ZooKeeper 中创建一个临时节点  /controller  并监听  /brokers/ids  路径下的变化。
   • 使用 ZooKeeper 的监听功能，控制器可以在 Broker 注册或注销时得到通知。
3. 变动通知：
   • 当有新的 Broker 注册（创建临时节点）或已有的 Broker 注销（删除临时节点）时，ZooKeeper 会触发一个事件通知到所有监听该路径的客户端。
   • 控制器作为监听者之一，会接收到这些变动的通知。
4. 响应变动：
   • 接收到变动通知后，控制器会根据变动的具体情况采取相应的行动。
   • 如果是新的 Broker 加入，控制器可能会需要更新集群的元数据，并且如果需要的话，重新分配分区副本以保持负载均衡。
   • 如果是 Broker 失效，控制器则需要重新选举 Leader 分区，并可能触发集群的再平衡操作来重新分配分区副本。

监听机制的实现

• ZooKeeper Watcher：ZooKeeper 的 Watcher 机制允许客户端注册监听器来监听特定路径的变动。当监听的路径发生变化时（如节点被创建、删除或数据被修改），ZooKeeper 会发送一个通知给注册了监听器的客户端。
• 一次性监听：需要注意的是，ZooKeeper 的监听是一次性的，这意味着一旦触发了监听事件，该监听就会被取消。如果客户端想要持续监听变动，就需要在每次监听事件触发后重新注册监听器。

示例场景

• 新 Broker 加入：当一个新的 Broker 加入集群时，它会在 ZooKeeper 中创建一个临时节点，并且控制器会收到通知。此时控制器可能会检查集群的负载情况，并决定是否需要重新分配分区以保持负载均衡。
• Broker 失效：当一个 Broker 失效时，它在 ZooKeeper 中对应的临时节点会被删除，控制器会收到通知，并采取措施来恢复集群的服务，例如重新选举 Leader 分区，并将失效 Broker 上的分区副本迁移到其他健康的 Broker 上。