快来学习!全网最全的Ambari知识库闪亮登场

大家好,我是create17。自从2017年实习,我就开始围绕Ambari做相关工作。期间做过Ambari安装部署、页面生产级别的汉化、Ambari自定义服务集成、前端页面开发、后端API接口开发、Ambari Server HA、部分原生bug修改,以及HDP相关常用组件的基本使用。

关于HDP,除了常用组件的使用测试写文档,还花费了大量时间研究Kerberos,少量时间研究Knox。

Ambari自定义服务集成,在Ambari 2.6.x 和 2.7.x 版本也集成过很多组件,比如:Elasticsearch、HUE、Kylin、PostgreSQL + PostGIS、Kerberos KDC Server、JanusGraph等。如此多集成服务的经验,使我对Ambari自定义服务集成有了很深的理解,简直就是万物皆可集成。于是花费很多的精力去投入,输出了《Ambari自定义服务集成十八讲》课程,内容干货同时享有的权益有很多,具体可通过《让 Ambari 不再难学,让大家都能熟练集成自定义服务》了解详情。截止2022.11月,已累计210+学员报名。

阅读更多

分享一下我对 ambari 二次开发的一些理解~

一、ambari 与 cloudera manager 的对比

安装过 hadoop 集群的人都应该清楚,hadoop 生态从安装、配置到后期运维是一个非常艰辛的过程,一般来说安装 hadoop 可能就需要几天时间,运维一个小型集群同样需要几个人。ambari 和 cloudera Manager 这两个系统,目的就是简化 hadoop 生态集群的安装、配置,同时提高 hadoop 运维效率,以及对 hadoop 集群进行监控。

阅读更多

实战教学,全网少有的Ambari自定义服务集成实战(完结)

你还在为 ambari 集成自定义服务而感到焦虑吗?
你还在为网上找不到有深度的文章而感到苦恼吗?
你还在为开发自定义服务集成没有教程而感到郁闷吗?
好,我来教大家如何做,解决你的痛点,请继续往下看。

一、Ambari自定义服务集成实战

自从 2020 年开始,我就发觉网上使用 Ambari 的同学多了很多,随着 cloudera 收购 hdp 并进入收费模式,越来越多的企业选择了 Ambari 来管理大数据平台,Ambari 集成第三方服务的需求也就变得越来越常见。

由于网上关于 Ambari 自定义服务集成的资料非常稀有,很多都是 Ambari 安装部署的资料,所以为了降低伙伴们的学习成本,我在 2020 年初就开始了录制《Ambari 自定义服务集成》的系列视频,目前来看效果相当不错,帮助很多人解决了问题。

视频中以 Ambari 2.7 集成 Elasticsearch v6.4.0Apache Zookeeper v3.5.9 服务为例,从 01 ,完成了以下功能,完全达到生产交付的标准:

相信我,你掌握上述功能以后,就可以随心所欲地集成任何服务到 Ambari 中,通过 Ambari 页面来可视化安装部署、运维你的自定义服务!

请大家仔细阅读实现的功能点!

基本功能:

  • 可通过 Ambari 向导自主安装部署、启动、停止、卸载 Elasticsearch 服务。
  • 通过 Ambari 界面实时监测 Elasticsearch 服务运行状态

扩展功能:

  • 在页面上新增配置或修改配置,重启服务后,使配置生效

阅读更多

大数据群聊、Ambari群聊邀请函

大家好,我是 create17。技术分享已经四年的时间了,已累计有 150+ 的原创文章,深受读者的好评。期间写过很多大数据相关的技术干货,有Elasticsearch、FastDFS、HBase、HDFS、HUE、Kafka、Kerberos、Kylin、Linux Shell、Solr、Spring boot、Yarn、Zookeeper,当然最多的还是 Ambari 系列,上述技术栈的文章可扫描下方二维码关注,菜单跳转查看。

大数据实战演练 微信公众号二维码

针对于读者朋友们,我创建了一个微信群,名为【大数据实战演练 交流群】,里面主要是面向大数据技术栈的讨论。如果你渴望一个活跃、无广告、纯技术讨论的大数据社群,那么这个就很适合你。文末加我好友,备注【大数据进群】,我拉你入群。

阅读更多

Elasticsearch Query DSL 查询

复合查询除布尔查询,还有其他查询,可见官网:https://www.elastic.co/guide/en/elasticsearch/reference/current/compound-queries.html

阅读更多

Elasticsearch查询报错:FIELDDATA Data is too large

1、前言

今天发现查询 Elasticsearch 报错了,FIELDDATA Data is too large

在 text 类型的字段上进行聚合和排序时会使用 fileddata 数据结构,可能占用较大内存。可通过以下命令查看索引的 fielddata 内存占用:

1
curl -H 'Content-type: application/json' -XGET 'http://x.x.x.x:9200/_cat/indices?v&h=index,fielddata.memory_size&s=fielddata.memory_size:desc'

如果

阅读更多

Elasticsearch bool复合查询

版本

Elasticsearch: 7.6.2

https://juejin.cn/post/6871109774566653965

https://learnku.com/articles/36224

https://www.cnblogs.com/ljhdo/p/5040252.html

阅读更多

Elasticsearch-7.6.2客户端查询指南

以下为 Elasticsearch 5.5.16 -> 7.6.2 的 client 查询相关的改动:

阅读更多

Prometheus常用查询函数梳理

Prometheus 提供了其它大量的查询函数,可以对时序数据进行丰富的处理。对应的官方地址:https://prometheus.io/docs/prometheus/latest/querying/functions/。以下内容是我列举的常用函数及示例:

阅读更多

Elasticsearch-7.6.2部署并开启xpack,java客户端明文密码连接指南

一、安装部署

安装Elasticsearch 7.6.2的部署文档,参考:https://cloud.tencent.com/developer/article/1804215

开启xpack,参考:

https://segmentfault.com/a/1190000022102940

https://cloud.tencent.com/developer/article/1772919

开启后,可执行 curl 命令测试:

1
curl --user elastic:xxxx -XGET 'http://es_ip:9200'

阅读更多