为什么我根据时间戳获得的offset为空呢?

kafka_2.11-1.1.0

一、前言

最近有一个需求,要查询某一时间戳对应的offset值,于是就想到了使用 ./bin/kafka-run-class.sh kafka.tools.GetOffsetShell –time \ ,但是我在测试的时候,发现有的时间戳会获取不到offset,是空。但是明明指定的时间戳有上报数据,肯定有对应的 offset 的。于是就谷歌,找到了这篇帖子:

阅读更多

kafka如何手动异步提交offset

kafka_2.11-1.1.0

Kafka 手动异步提交 offset 的步骤大概分为以下几步,如下图所示:

阅读更多

如何查看消费者组的消费情况

kafka_2.11-1.1.0

本文提供两种方式来查看消费者组的消费情况,分别通过命令行和 java api 的方式来消费 __consumer_offsets 。

一、通过命令行来查看消费情况

查看 kafka 消费者组列表:

1
./bin/kafka-consumer-groups.sh --bootstrap-server <kafka-ip>:9092 --list

查看 kafka 中某一个消费者组的消费情况:

1
./bin/kafka-consumer-groups.sh --bootstrap-server <kafka-ip>:9092 --group test-17 --describe

test-17 是消费者组。

阅读更多

如何优雅地使用 java 连接 HBase 客户端

HBase 版本:1.2.0-cdh5.7.0

一、客户端的长短连接

java 远程连接 HBase 客户端,大体分为两种方式。一种是长连接,一种是短连接。

短链接,顾名思义,就是客户端执行完某个操作之后,就关闭连接的这种方式,就是短链接。

而长连接就是有且连接一次,后续的所有操作都是基于这次连接做的操作,操作完成后,不关闭连接。长连接适用于频繁交互的场景,今天我们就来着重说一下它。

阅读更多

spring boot项目中自动执行sql语句

现在很多项目,都时兴用容器化部署,不易报错,部署方便都是这种部署方式的优点。但对于 spring boot mysql 项目来说,如何在项目启动前,就自动地创建数据库和初始化sql脚本呢?本文提供一种解决办法。

一、添加配置

1、配置介绍

在 properties 或 yaml 文件里面,添加以下配置(以 yaml 配置文件为例):

阅读更多

chart部署包制作

helm 2

一、Helm 简介

Helm 的作用相当于 node.js 下的 npm ,对于应用发布者而言,可以通过 Helm 打包应用,管理应用依赖关系,管理应用版本并发布应用到软件仓库。

Helm 是一个命令行下的客户端工具。主要用于 Kubernetes 应用程序 Chart 的创建、打包、发布以及创建和管理本地和远程的 Chart 仓库。

阅读更多

chart部署包制作

helm 2

一、Helm 简介

Helm 的作用相当于 node.js 下的 npm ,对于应用发布者而言,可以通过 Helm 打包应用,管理应用依赖关系,管理应用版本并发布应用到软件仓库。

Helm 是一个命令行下的客户端工具。主要用于 Kubernetes 应用程序 Chart 的创建、打包、发布以及创建和管理本地和远程的 Chart 仓库。

阅读更多

继续更新两讲 | Ambari自定义服务集成视频系列

一、视频更新啦

今天周末,利用一整天的时间,给大家又更新了 Ambari 集成自定义服务的两讲视频。之前一直催更的同学们,可以继续学习研究啦。

今天是录制了《第八讲 - 添加自定义告警》、《第九讲 - 如何实现快速链接,并实时修改端口号跳转》两节视频。本来还计划录制第十讲的,但由于比较注重视频质量,录制的过程中又研究了一下某些细节,所以没有录制第十讲的时间了。那今天就先更新两讲吧,毕竟还是打算以视频质量为先。

阅读更多

速看 | 提高你的工作效率,Linux shell 常用小技巧

每次看着别人操作 shell 的时候,快捷键用得飞起,尤其是那个快速搜索历史命令,避免低效的↑↓键切换历史命令,很装逼有木有。。

废话不多说,下面是我整理的常用快捷键,真的可以提高自己的工作效率的,很不错!~

一、常用快捷键小技巧

以下快捷键,都是一些常用的,记住这些命令,你的工作效率就会大大提升。

  • ctrl + a :光标跳到行首。
  • ctrl + e :光标跳到行尾。
  • ctrl + d :后删一个字符;退出会话,类似于 exit 。
  • ctrl + k :剪切光标后到行尾的所有内容(可以当作清除用)

阅读更多

企业都在用的 spring boot 打包插件,真的超好用!

环境说明:

springboot:2.2.7

jdk:1.8.0

maven:3.6.3

在平时的项目中,我们用到了 spring boot 默认的插件 spring-boot-maven-plugin 来进行打包,打的包是直接可执行的。但是这次,有一个多模块项目,我负责其中一个模块的开发,开发完成之后,发现打的包直接执行报找不到主类,这就有点奇怪了,所以就有了这篇文章。

让我们一起系统地总结下如何打成可执行 jar 包,另外也分享一下企业经常用的打包方式。

阅读更多