为什么我根据时间戳获得的offset为空呢?
kafka_2.11-1.1.0
一、前言
最近有一个需求,要查询某一时间戳对应的offset值,于是就想到了使用 ./bin/kafka-run-class.sh kafka.tools.GetOffsetShell –time \
其中已经有大佬给出了答案,但是我还是不求甚解,但起码知道了和 kafka log segments 有关系。
经过研究实践,明白了其中缘由,所以就有了这篇文章。
二、解惑
./bin/kafka-run-class.sh kafka.tools.GetOffsetShell –broker-list message-1:9092 -topic test –time 后面的参数可以是 -1、-2、时间戳,其中 -1 会输出最新的 offset ;-2 会输出未过期最小的 offset ;时间戳这里具有迷惑性,它不能根据时间戳获取到精准匹配的 offset 。
Kafka 将数据存储在 “log segments” 里面,log segments 文件的大小受 log.segment.bytes 影响,默认为 1073741824 字节,也就是 1G 。当数据文件累积到 log.segment.bytes 的值以后,就会创建出新的日志文件,文件名称以分段时的那个 offset 命名,如下图所示:
每一个 xxx.log 文件都算作一个 segment,kafka.tools.GetOffsetShell –time 参数匹配的是 xxx.log 文件本身最后的修改时间,而不是偏移量本身的时间戳。
根据上面图片,举几个例子:
- 当 time 为 2020-09-16 11:59:20 时,获取的 offset 值为空。
- 当 time 大于等于 2020-09-16 12:00:20 并且 time 小于 2020-09-16 14:09:24 时,获取的 offset 值为 0,匹配的是 xxx.log 文件名称的那个 offset 。
- 当 time 大于等于 2020-09-16 14:09:24 时,获取的 offset 值为 1049942,匹配的是 xxx.log 文件名称的那个 offset 。
- 当 time 远大于 2020-09-16 14:09:24 时,获取的 offset 值为最新的 offset 值。
根据以上实践结果得知,一组时间戳均对应着同一个 offset 。所以这个命令 –time \
三、调用 kafka java api 获取时间戳对应的 offset,并封装成工具脚本
很纳闷,为什么官方不提供获取时间戳对应的精准的 offset 呢?既然官网没有,那我就用 java api 封装一个工具脚本吧。
先展示下效果:
1 | ./bin/getoffsetts --broker-list message-1:9092 --topic test --time 1600222353353 |
脚本选项:
其实上面的 getoffsetts 脚本是执行的一个 java 类,java main() 方法。利用了 JCommander 。JCommander 是一个用于解析命令行参数的 Java 框架,利用 @Parameter 来接收命令参数。
在 main() 函数里面,创建 JCommander 对象,将 args 加载进去,
然后使用 consumer.offsetsForTimes(Map<TopicPartition, Long> timestampsToSearch) 来通过时间戳获取各分区对应的 offset 。
具体的代码已经上传到了 https://github.com/841809077/spring-boot-model/blob/master/mybatis-demo/src/main/java/com/example/OffsetTimestamp.java ,可以直接粘贴到自己的项目中使用这个类查询 offset 。
这个项目算是一个快速可复用项目,支持自定义打包、统一异常处理等,感兴趣的可以下载下来看看。
点关注,不迷路
好了各位,以上就是这篇文章的全部内容了,能看到这里的人呀,都是人才。
白嫖不好,创作不易。各位的支持和认可,就是我创作的最大动力,我们下篇文章见!
如果本篇博客有任何错误,请批评指教,不胜感激 !
原文作者: create17
原文链接: https://841809077.github.io/2020/09/16/Kafka/kafka-get-offset-by-timestamp.html
版权声明: 转载请注明出处(码字不易,请保留作者署名及链接,谢谢配合!)