Elasticsearch入门

一、基本概念

1. 节点(Node)和集群(Cluster)

​ 集群是一个或多个节点(服务器)的集合, 这些节点共同保存整个数据,并在所有节点上提供联合索引和搜索功能。一个集群由一个唯一集群ID确定,并指定一个集群名(默认为“elasticsearch”)。该集群名非常重要,因为节点可以通过这个集群名加入集群,一个节点只能是集群的一部分。

2. Index(索引)

​ 索引(index)类似于关系型数据库里的“数据库”——它是我们存储和索引关联数据的地方。索引名称必须是全部小写,不能以下划线开头,不能包含逗号。

阅读更多

Linux问题集锦

一、shell脚本报错

1
shell脚本报错:-bash: xxx: /bin/bash^M: bad interpreter: No such file or directory

问题分析:

主要原因是test.sh是在windows下编辑然后上传到linux系统里执行的。.sh文件的格式为dos格式。而linux只能执行格式为unix格式的脚本。

解决办法:

阅读更多

MapReduce工作原理

前言

这篇文章是我之前在自学 MapReduce 的笔记,想着最近再回顾一下 MapReduce 的原理,于是就整理了一下。

MapReduce 采用的是“分而治之”的数据,当我们处理大规模的数据时,将这些数据拆解成多个部分,并利用集群的多个节点同时进行数据处理,然后将各个节点得到的中间结果进行汇总,经过进一步的计算(该计算也是并行进行的),得到最终结果。

阅读更多

Ambari相关知识

声明:博主写了一些Ambari系列文章,可以在历史文章中查看。

一、pig视图

1. 修改pom.xml文件

<version>信息改为2.6.1.0.0

2. 编译打包

阅读更多

Ambari-server开发自定义api

声明:博主写了一些Ambari系列文章,可以在历史文章中查看。

本文篇幅较长,但都是满满的干货。主要从Ambari-server详解、如何debug ambari-server源码、开发流程分析图、开发流程自定义示例四大部分入手,教读者如何玩转ambari-server

一、Ambari-server详解

1. 简介

Ambari-Server是一个WEB Server,提供统一的REST API接口,同时向web和agent开放了两个不同的端口(默认前者是8080, 后者是8440或者8441)。它是由Jetty Server容器构建,通过Spring Framework构建出来的WEB服务器,其中大量采用了google提供的Guice注解完成spring框架所需要的注入功能。 REST框架由JAX-RS标准来构建。

阅读更多

好用的谷歌插件

谷歌插件网:点我访问,好看好玩的插件都在里面可以找到~

一、Tunnello

1. 简介

Tunnello是一款由法国VPN服务商开发提供的谷歌浏览器插件,可以利用此插件进行科学翻墙上网。Tunnello官方提供了12个国家的服务器,包含意大利,葡萄牙,荷兰,美国,德国,比利时,法国,英国,加拿大以及中国香港等等,可以自由切换。我们可以通过Tunnello浏览器插件访问Google搜索。Tunnello混淆了VPN协议和代理协议,使其速度相对一般VPN更快,官网宣称速度是普通VPN的10倍,目前有25000+用户在使用Tunnello。值得高兴的是这款插件目前可以免费使用,亲测访问Google搜索的速度还是挺快的。

阅读更多

基于ambari的Kerberos安装配置

环境说明

  • Ambari 2.6.1.0
  • HDP 2.6.4
  • Kerberos 1.14.1

一、安装JCE

对于Kerberos系统来说,默认使用的AES-256来进行加密。在集群启用Kerberos之前,必须在Ambari集群上的每个节点上都装有JCE

阅读更多

Ambari使用问题集锦

声明:博主写了一些Ambari系列文章,可以在历史文章中查看。

1. Pig Service Check失败

阅读更多

metainfo.xml详解

metainfo.xml定义了Ambari管理Service的一些配置内容,该文件对应Service定义起着至关重要的作用。

阅读更多

Elasticsearch服务集成

一、Elasticsearch服务脚本

  1. ELASTICSEARCH服务脚本解压后放入ambari主节点的/var/lib/ambari-server/resources/stacks/HDP/2.6/services/目录下。

  2. Elasticsearch源码 (version:6.2.4) 放入待装该服务的主机/usr/hdp/2.6.4.0-91/elasticsearch/目录下(elasticsearch目录需要新建)

  3. 重启ambari-server。

阅读更多