hive2问题集锦

1. hive2查询表内容-中文乱码

1
hive在将数据写入hdfs时候,会把数据格式转换为utf-8格式的。如果你导入hive表的源数据不是utf-8格式的,hive在进行写hdfs转换格式的时候会出现乱码,所有查询出来的中文也是乱码。
1
解决办法:将文件设置为‘utf-8格式’,然后重新导入表。

阅读更多

HDFS问题集锦

1. 使用root身份,执行hdfs相关操作,报权限问题

1
mkdir: Permission denied: user=root, access=WRITE, inode="/1":hdfs:hdfs:drwxr-xr-x

解决办法:

1
2
3
4
# 方式一:使用hdfs用户执行hdfs相关操作
sudo -u hdfs hdfs dfs -mkdir /lyz01
# 方式二:设置dfs.permissions.enabled
在 ambari页面修改hdfs的配置,找到dfs.permissions.enabled,使其值为false。

2. Restart NameNode 失败

阅读更多

Ambari编译问题集锦

声明:博主写了一些Ambari系列文章,可以在历史文章中查看。

1. ambari-web npm install失败

解决办法:

手动将压缩包下载并按照报错指示拷贝到/tmp/phantomjs/目录下,重新npm install。(能翻墙就翻墙)

阅读更多

Ambari v2.6编译

声明:博主写了一些Ambari系列文章,可以在历史文章中查看。

一、Ambari-web二次开发

ambari-web可以单独编译,用来修改ambari UI页面。采用ember.js(版本:v1.0.pre)作为前端MVC框架和NodeJS相关工具,用handlebars.js作为页面渲染引擎,在CSS/HTML方面还用了Bootstrap(v2.1.1)框架。

Ambari-web目录结构:

阅读更多

Samba安装配置

一、yum安装samba

  1. 安装samba

    1
    yum -y install samba
  2. 重启samba服务

    1
    service smb restart
  3. 创建samba用户,此用户必须是linux上已经建立的,并输入密码

阅读更多

java、nodejs、brunch、maven安装

一、java安装

需要下载的依赖安装包,在我的云盘已经保存好了,详情点击下载,链接: https://pan.baidu.com/s/13artwjfgi7ikJiKIBbzb7w 提取码: fgia

下图的wget 链接有可能会失效

1.下载源码

阅读更多

Oozie使用

一、oozie简介

二、oozie常用命令

  1. 查看job信息

    1
    oozie job -oozie http://172.16.0.148:11000/oozie/ -info 0000003-181014163259270-oozie-oozi-W
  2. 杀死job

    1
    oozie job -oozie http://172.16.0.148:11000/oozie/ -kill 0000003-181014163259270-oozie-oozi-W
  3. 其它


阅读更多

Linux基础知识(二)

一、linux常用目录的作用和存放的内容

  • /bin 存放使用者最常用的命令,如:cp、ls、cat,等等
  • /boot 启动linux时使用的一些核心文件
  • /dev 是device(设备)的缩写,这个目录下是所有linux的外围设备
  • /etc 这个目录用来存放系统管理所需要的配置文件和子目录
  • /home 用户的主目录,比如说有个用户叫wang,那他的目录就是/home/wang,也可以用~wang来表示
  • /lib 这个目录是存放着系统最基本的动态连接库,几乎所有的应用程序都须用这些共享库

阅读更多

JavaScript实战

一、获取多个选中值

1. 多选框

body代码:

js代码:

2. 多选下拉框

阅读更多

MariaDB安装与卸载

一、安装MariaDB

1. 安装MariaDB

  1. 安装命令
1
yum -y install mariadb mariadb-server
  1. 启动

阅读更多