Kafka 分区数目越多越好吗？

正面影响

1. 提高吞吐量：
   • 更多的分区意味着更多的并发处理机会，这对于提高系统的吞吐量是有利的。
2. 更好的水平扩展性：
   • 分区越多，越容易通过添加更多的 Broker 来水平扩展 Kafka 集群。
3. 负载均衡：
   • 分区越多，越有可能实现更均匀的消息分布，从而避免单个分区成为瓶颈。

负面影响

1. 增加管理开销：
   • 分区越多，意味着需要管理更多的文件句柄、日志段和索引文件，这会增加 Broker 的管理开销。
2. 内存消耗：
   • 生产者和消费者都需要为每个分区缓存消息，分区越多，内存消耗越大。
3. 线程切换开销：
   • 消费者端需要为每个分区创建线程或线程池进行消费，分区过多会导致线程切换频繁，从而影响性能。
4. 文件句柄的开销：
   • 每个 partition 都会对应磁盘文件系统的一个目录。在 Kafka 的数据日志文件目录中，每个日志数据段都会分配两个文件，一个索引文件和一个数据文件。每个 broker 会为每个日志段文件打开一个 index 文件句柄和一个数据文件句柄。随着 partition 的增多，所需要保持打开状态的文件句柄数也就越多，最终可能超过底层操作系统配置的文件句柄数量限制。
5. 复杂性增加：
   • 分区越多，管理起来就越复杂，包括监控、维护和故障恢复等方面的工作量都会增加。
6. 数据同步负担增加：
   • 增加数据同步负担，降低高可用。
7. Rebalance 耗时可能更长
   • 分区数量越多，那么恢复时间也就越长，而如果发生宕机的 broker 恰好是 controller 节点时：在这种情况下，新 leader 节点的选举过程在 controller 节点恢复到新的 broker 之前不会启动。controller 节点的错误恢复将会自动地进行，但是新的 controller 节点需要从 zookeeper 中读取每一个 partition 的元数据信息用于初始化数据。例如，假设一个 Kafka 集群存在 10000 个 partition，从 zookeeper 中恢复元数据时每个 partition 大约花费 2 ms，则 controller 的恢复将会增加约 20 秒的不可用时间窗口。