kafka如何手动异步提交offset
kafka_2.11-1.1.0
Kafka 手动异步提交 offset 的步骤大概分为以下几步,如下图所示:
1、配置手动提交
enable.auto.commit 修改为 false 。
2、订阅 topic
1 | consumer.subscribe(Arrays.asList("topic name")); |
3、获取 topic 各分区当前读取到的最后一条记录的offset
首先定义一个全局变量:
1 | //用来记录当前消费的偏移 |
1 | for (TopicPartition partition : records.partitions()) { |
至于为什么消费者提交 offsets 时要 +1,在《Kafka消费者 之 如何提交消息的偏移量》中的概述章节里面也给出了答案。
4、手动异步提交 offset
首先定义一个全局变量:
1 | //用来记录当需要提交的偏移 |
1 | // |
清空:
1 | commitOffset.clear(); |
点关注,不迷路
好了各位,以上就是这篇文章的全部内容了,能看到这里的人呀,都是人才。
白嫖不好,创作不易。各位的支持和认可,就是我创作的最大动力,我们下篇文章见!
如果本篇博客有任何错误,请批评指教,不胜感激 !
原文作者: create17
原文链接: https://841809077.github.io/2020/09/14/Kafka/how-to-shoudong-commit-offset-shicao.html
版权声明: 转载请注明出处(码字不易,请保留作者署名及链接,谢谢配合!)