为已有的 ambari 集群修改主机名

版本:ambari 2.7.3 ,其他版本应该也差不多是一样的

一、背景说明

时不时就有小伙伴微信里面问我有没有做过,为已有的 ambari 集群修改主机名?之前是有修改过 ip 的,主机名还真没修改过,只能给他提供一份官方的步骤:https://docs.cloudera.com/HDPDocuments/Ambari-2.2.2.0/bk_ambari_reference_guide/content/ch_changing_host_names.html 。不过经过后面小伙伴们的反馈,都修改成功了。最近有一位小伙伴还给出了他自己的实操步骤:

阅读更多

Java api 远程访问 hdfs ha 通用写法总结

一、前言

今天将自己的程序部署到生产环境中,发现执行 hdfs 相关操作时报错了。原来是测试环境是 nameNode 单节点,生产环境上是 nameNode HA 。

自己写的 hdfs 连接不适配 nameNode HA 。就很烦躁,还得增加工作量来改代码。

阅读更多

kafka集群三节点下,挂掉一个节点,为什么消费者消费不到数据了

kafka版本:2.11-1.1.0

一、前言

之前,Kafka 集群就一个 broker ,id 为 200 ,然后根据需求,我又扩展了 2 个节点,修改 broker.id 、listeners 、创建数据目录,然后就启动 Kafka 节点了,到此,我以为 Kafka 集群三节点部署完毕,kafka broker id 分别为 200、201、202。于是,我创建了新的 topic:test ,3 分区 3 副本,生产、消费数据都很正常。

但是,当 broker 200 挂掉了以后,突然发现消费者消费不了数据了,但还可以往新 topic 中生产数据。这就很奇怪了啊,本篇小文就解除你心中的疑惑。接着往下看:

阅读更多

kafka 如何对 topic 分区 replica leader 进行负载均衡

kafka:2.11-1.1.0

一、前言

上一篇文章《必会 | 教你如何重新分布kafka分区、增加分区副本数》,描述了如何重新分配 kafka topic 分区以及增加分区副本数。在最后我留了一个小疑问,如果 kafka leader replica 不停掉的话,如何选择某 replica 为指定leader 呢?

Kakfka 中有个配置:auto.leader.rebalance.enable,默认为 true,默认是一个后台线程会定期检查并触发leader rebalance。详情可参考:https://kafka.apache.org/11/documentation.html#brokerconfigs。

所以,可以先观察一阵,如果分区leader没有自动均衡,可以再继续往下看,使用 kafka-preferred-replica-election.sh 来解决分区 leader 均衡问题。

阅读更多

必会 | 教你如何重新分布kafka分区、增加分区副本数

前言:

前几天,我通过 Kafka 自带的 kafka-reassign-partitions.sh 脚本工具,完成了对 topic 分区副本数的增加。其实 kafka-reassign-partitions.sh 不仅可以实现分区副本数的增加,它还可以实现对 topic 分区的分配。

所以对于 topic 分区分配以及分区副本数的增加,本篇小文都会讲到,图文实操,讲解详细,看完别忘了点赞哦!

阅读更多

Spring bean加载顺序导致的bug问题

一、问题描述

今天启动 spring boot 项目的时候,有时候会报加载不到配置文件的属性。配置文件的属性是用 @Value 获取的,属性有时候会是 null 。

程序经过简化,是这样的,有一个 InitConfig 类,用来让静态工具类能获取到配置文件的属性值。内容是这样的:

阅读更多

go语言FAQ

一、

阅读更多

go语言FAQ

一、

阅读更多

go语言基础

一、

阅读更多

go语言基础

一、

阅读更多