kafka版本:2.11-1.1.0

一、前言

之前,Kafka 集群就一个 broker ,id 为 200 ,然后根据需求,我又扩展了 2 个节点,修改 broker.id 、listeners 、创建数据目录,然后就启动 Kafka 节点了,到此,我以为 Kafka 集群三节点部署完毕,kafka broker id 分别为 200、201、202。于是,我创建了新的 topic:test ,3 分区 3 副本,生产、消费数据都很正常。

但是,当 broker 200 挂掉了以后,突然发现消费者消费不了数据了,但还可以往新 topic 中生产数据。这就很奇怪了啊,本篇小文就解除你心中的疑惑。接着往下看:

二、为什么会出现上述情况呢?

1、为什么消费者不能够消费 topic 数据?

之前,Kafka 集群单节点的时候,offsets.topic.replication.factor 参数设置的是 1 ,所以,kafka 自动创建的 __consumer_offsets topic 副本数也就是 1 ,它的默认 50 个分区就都在 broker 200 节点上。

当 broker 200 节点停掉之后,消费者组找不到 __consumer_offsets 中自己的 offset 信息了,所以就消费不到了。

2、为什么生产者能够发送数据到topic:test

由于 topic:test 的副本数为 3 ,即使在 broker 200 上的分区副本挂掉了,在 broker 201、202 上还有副本,所以往 topic:test 发送数据是能够成功的。

三、解决办法

为了防止上述情况的发生,需要先保证 topic __consumer_offsets leader 副本所在的节点 kafka 运行状态是正常的,然后通过 kafka 自带的脚本工具,增加 __consumer_offsets 的副本数。