前言
这篇文章是我之前在自学 MapReduce 的笔记,想着最近再回顾一下 MapReduce 的原理,于是就整理了一下。
MapReduce 采用的是“分而治之”的数据,当我们处理大规模的数据时,将这些数据拆解成多个部分,并利用集群的多个节点同时进行数据处理,然后将各个节点得到的中间结果进行汇总,经过进一步的计算(该计算也是并行进行的),得到最终结果。
声明:博主写了一些Ambari系列文章,可以在历史文章中查看。
本文篇幅较长,但都是满满的干货。主要从Ambari-server详解、如何debug ambari-server源码、开发流程分析图、开发流程自定义示例四大部分入手,教读者如何玩转ambari-server
Ambari-Server是一个WEB Server,提供统一的REST API接口,同时向web和agent开放了两个不同的端口(默认前者是8080, 后者是8440或者8441)。它是由Jetty Server容器构建,通过Spring Framework构建出来的WEB服务器,其中大量采用了google提供的Guice注解完成spring框架所需要的注入功能。 REST框架由JAX-RS标准来构建。
谷歌插件网:点我访问,好看好玩的插件都在里面可以找到~
Tunnello是一款由法国VPN服务商开发提供的谷歌浏览器插件,可以利用此插件进行科学翻墙上网。Tunnello官方提供了12个国家的服务器,包含意大利,葡萄牙,荷兰,美国,德国,比利时,法国,英国,加拿大以及中国香港等等,可以自由切换。我们可以通过Tunnello浏览器插件访问Google搜索。Tunnello混淆了VPN协议和代理协议,使其速度相对一般VPN更快,官网宣称速度是普通VPN的10倍,目前有25000+用户在使用Tunnello。值得高兴的是这款插件目前可以免费使用,亲测访问Google搜索的速度还是挺快的。
将ELASTICSEARCH服务脚本解压后放入ambari主节点的/var/lib/ambari-server/resources/stacks/HDP/2.6/services/
目录下。
将Elasticsearch源码 (version:6.2.4) 放入待装该服务的主机
的/usr/hdp/2.6.4.0-91/elasticsearch/
目录下(elasticsearch目录需要新建)
重启ambari-server。