kafka集群三节点下,挂掉一个节点,为什么消费者消费不到数据了
kafka版本:2.11-1.1.0
一、前言
之前,Kafka 集群就一个 broker ,id 为 200 ,然后根据需求,我又扩展了 2 个节点,修改 broker.id 、listeners 、创建数据目录,然后就启动 Kafka 节点了,到此,我以为 Kafka 集群三节点部署完毕,kafka broker id 分别为 200、201、202。于是,我创建了新的 topic:test ,3 分区 3 副本,生产、消费数据都很正常。
但是,当 broker 200 挂掉了以后,突然发现消费者消费不了数据了,但还可以往新 topic 中生产数据。这就很奇怪了啊,本篇小文就解除你心中的疑惑。接着往下看:
二、为什么会出现上述情况呢?
1、为什么消费者不能够消费 topic 数据?
之前,Kafka 集群单节点的时候,offsets.topic.replication.factor 参数设置的是 1 ,所以,kafka 自动创建的 __consumer_offsets topic 副本数也就是 1 ,它的默认 50 个分区就都在 broker 200 节点上。
当 broker 200 节点停掉之后,消费者组找不到 __consumer_offsets 中自己的 offset 信息了,所以就消费不到了。
2、为什么生产者能够发送数据到topic:test
由于 topic:test 的副本数为 3 ,即使在 broker 200 上的分区副本挂掉了,在 broker 201、202 上还有副本,所以往 topic:test 发送数据是能够成功的。
三、解决办法
为了防止上述情况的发生,需要先保证 topic __consumer_offsets
leader 副本所在的节点 kafka 运行状态是正常的,然后通过 kafka 自带的脚本工具,增加 __consumer_offsets 的副本数。
点关注,不迷路
好了各位,以上就是这篇文章的全部内容了,能看到这里的人呀,都是人才。
白嫖不好,创作不易。各位的支持和认可,就是我创作的最大动力,我们下篇文章见!
如果本篇博客有任何错误,请批评指教,不胜感激 !
原文作者: create17
原文链接: https://841809077.github.io/2020/11/17/Kafka/kafka-consume-data-none.html
版权声明: 转载请注明出处(码字不易,请保留作者署名及链接,谢谢配合!)