开发ambari API

声明:博主写了一些Ambari系列文章,可以在历史文章中查看。

一、概述

  1. 如果要开发ambari API的话,我们需要在ambari-server的文件里面添加相关java代码。

  2. 然后整体编译ambari,可以不编译ambari-metrics系列。

  3. 编译成功后,yum remove ambari-server

  4. yum install ambari-server-*.rpm

  5. ambari-server setup

  6. vim /etc/ambari-server/conf/ambari.properties

  7. server.jdbc.driver.path=/usr/share/java/mysql-jdbc.driver.jar

    mysql-jdbc.driver.jar下载地址 将jar包放入/usr/share/java/目录下

  8. ambari-server setup –jdbc-db=mysql –jdbc-driver=/usr/share/java/mysql-jdbc.driver.jar

  9. ambari-server start

  10. 访问ambari页面

阅读更多

自定义Service

声明:博主写了一些Ambari系列文章,可以在历史文章中查看。

一、选择合适的Stack版本

​ 首先,我们需要规划自定义的Serivice属于哪个Stack,当时部署ambari集群的时候选择的是HDP 2.6 的Stack,所以就将自定义的Service放在HDP 2.6 下。

阅读更多

Shell脚本实战

1. 用户交互中,输错之后继续提示

阅读更多

Typora+七牛云实现markdown附带图片

markdown书写工具–Typora

​ github博客支持markdown格式,所以向大家推荐一块markdown编写软件 – Typora。

​ Typora是一个可以快速书写,实时预览的markdown编写软件,支持导出word或pdf等格式。

1. 安装

Typora下载地址

2. 快捷键介绍

阅读更多

hexo搭建个人博客(三)

1. 更换站点图标

您可以准备一张ico格式并命名为 favicon.ico ,请将其放入F:\Blog\themes\hexo-theme-BlueLake/source/文件夹,建议大小:32px * 32px。

您可以为苹果设备添加网站徽标,请将名为 apple-touch-icon.png 的图像放入F:\Blog\themes\hexo-theme-BlueLake/source/文件夹中,建议大小为:114px * 114px。

有很多网站都可以在线生成ico格式的图片。

阅读更多

hexo搭建个人博客(二)

1. 寻找合适的主题

  • hexo主题官网地址:https://hexo.io/themes/
  • 有的主题是添加了个人域名,可以在网页底端查看主题

2. 安装主题并渲染插件

阅读更多

Scrapy 问题集锦

1. 爬虫出现Forbidden by robots.txt

修改settings.py文件

阅读更多

爬取百度图片

1. 编辑Items.py

1
2
3
4
# 百度图片
class baiduImage(scrapy.Item):
imageName = scrapy.Field()
imageUrl = scrapy.Field()

阅读更多

Scrapy 进阶

1. CrawlSpider

1
class scrapy.spiders.Rule(link_extractor, callback=None, cb_kwargs=None, follow=None, process_links=None, process_request=None)
  • link_extractor是一个链接提取器对象,它定义了如何从每个已爬网页中提取链接。

阅读更多

Scrapy Shell

使用下面的命令使用scrapy shell 并提取网页内容

1
scrapy shell 'http://quotes.toscrape.com/page/1/'

一、 css选择器(返回的是一个数组)

阅读更多