ambari自定义服务集成原理介绍

之前,在 github 上开源了 ambari-Kylin 项目,可离线部署,支持 hdp 2.6+ 及 hdp 3.0+ 。github 地址为:https://github.com/841809077/ambari-Kylin ,欢迎 star 。

这段时间,陆续有不少朋友通过公众号联系到我,问我相关的集成步骤。今天正好休息,索性将 ambari 自定义服务集成的原理给大家整理出来。

它其实不难,但是网络上并没有多少这方面的资料分享,官方也很少,所以学习门槛就稍微高了一些。但你如果能持续关注我,我相信您能快速上手。

一、简述 ambari

ambari 是一个可视化管理 Hadoop 生态系统的一个开源服务,像 hdfs、yarn、mapreduce、zookeeper、hive、hbase、spark、kafka 等都可以使用 ambari 界面来统一安装、部署、监控、告警等。

阅读更多

Elasticsearch如何修改Mapping结构并实现业务零停机

Elasticsearch 版本:6.4.0

一、疑问

在项目中后期,如果想调整索引的 Mapping 结构,比如将 ik_smart 修改为 ik_max_word 或者 增加分片数量 等,但 Elasticsearch 不允许这样修改呀,怎么办?

常规解决方法:

阅读更多

Elasticsearch 6.x 配置详解

预先利其事,必先利其器,学 Elasticsearch 也同样遵循这个道理。上一篇文章,我们介绍了 Elasticsearch 的基本概念及特点,今天再介绍一下 Elasticsearch 的配置。本文将对 Elasticsearch 已有的一些配置分类地做详细描述。一起来学习复习吧!

阅读更多

转 | 如何防止elasticsearch的脑裂问题

本文转载自 祝坤荣 的博客,

地址为:https://segmentfault.com/a/1190000004504225#articleHeader3

我们都遇到过这个 - 在我们开始准备一个 elasticsearch 集群的时候,第一个问题就是“集群需要有多少节点?”。我想大家都知道,这个问题的答案取决于很多因素,例如期望的负载,数据大小,硬件等。这篇博文不会深入解释如何调整集群大小的细节,而是去关注另一个同样重要的事情 - 如何避免脑裂问题。

阅读更多

Elasticsearch + Logstash + Kibana 安装(全)

一、ELK 是什么?

ELK = Elasticsearch + Logstash + Kibana

  • Elasticsearch:后台分布式存储以及全文检索。
  • Logstash: 数据导入导出的工具。
  • Kibana:数据可视化展示界面。

ELK架构为数据分布式存储、可视化查询和日志解析创建了一个功能强大的管理链。 三者相互配合,取长补短,共同完成分布式大数据处理工作。

注意: ELK技术栈有 version check,软件大版本号需要一致,本文以 6.4.0 版本为例。

阅读更多

用心整理 | Spring AOP 干货文章,图文并茂,附带 AOP 示例 ~

Spring AOP 是 Java 面试的必考点,我们需要了解 AOP 的基本概念及原理。那么 Spring AOP 到底是啥,为什么面试官这么喜欢问它呢?本文先介绍 AOP 的基本概念,然后根据 AOP 原理,实现一个接口返回统一格式的小示例,方便大家理解 Spring AOP 到底如何用!

一、为什么要使用 AOP ?

阅读更多

Spring IOC,看完这篇文章,我才算是懂了!

在 Java 开发面试中,经常会被问到 Spring IOC 是什么,让谈谈自己的理解。在工作开发中,如果能够理解 Spring IOC 设计模式的话,对排查疑难问题也是很有帮助的。今天这篇文章就先通俗易懂地介绍一下 Spring IOC 。

阅读更多

mybatis-plus/mybatis 自定义 sql 语句、动态 sql

Java 开发使用 mybatis-plus 来执行 sql 操作,往往比 mybatis 能够省时省力,因为 mybatis-plus 封装了很多常用的接口。但对于一些更为复杂的查询来说,mybatis-plus 也相形见绌,还得需要我们自定义 sql 语句。本文就来介绍一下在使用了 mybatis-plus/mybatis 的情况下,如何自定义 sql 语句、动态 sql 等。

一、准备工作

MyBatis-Plus(简称 MP)是一个 MyBatis 的增强工具,在 MyBatis 的基础上只做增强不做改变,为简化开发、提高效率而生。在 Java 项目内,配置如下:

阅读更多

Spring使用ThreadPoolTaskExecutor自定义线程池及实现异步调用

多线程一直是工作或面试过程中的高频知识点,今天给大家分享一下使用 Spring 的 ThreadPoolTaskExecutor 来自定义线程池和实现异步调用多线程。

一、ThreadPoolTaskExecutor

本文采用 Executors 的工厂方法进行配置。

阅读更多

Spring 中使用 @Scheduled 创建定时任务

一、定时任务触发条件

1、在 Application 启动类上添加:@EnableScheduling

2、含定时方法的类上添加注解:@Component,该注解将定时任务类纳入 spring bean 管理。

3、在定时方法上写上:@Scheduled(cron = "0 0/1 * * * ?"),该 cron 表达式为每一分钟执行一次方法。

阅读更多