━Start。平常心_

版本

HDP：3.0.1.0

Kafka：2.11-1.1.1

版本

HDP：3.0.1.0

Kafka：2.11-1.1.1

本文章部分内容摘自 朱忠华老师的《深入理解Kafka：核心设计与实践原理》，也特别推荐广大读者购买阅读。

一、生产者概述

在《Kafka基础（一）：基本概念及生产者、消费者示例》中，我们介绍了Kafka的架构，基本概念及生产者、消费者示例，本章主要介绍 Kafka 的生产者相关知识。

本文章大部分内容均摘自 朱忠华老师的《深入理解Kafka：核心设计与实践原理》，也特别推荐广大读者购买阅读。

一、概述

1. 简介

Kafka 起初是由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 Zookeeper 协调的分布式消息系统，现已被捐献给 Apache 基金会。目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性被广泛使用。目前越来越多的开源式分布处理系统如：Storm、Spark、Flink 等都支持与 Kafka 集成。

版本：

Python：3.6.4 与 2.7.3 均适配

一、hbase表介绍

• 表名：people
• 列族：basic_info、other_info
• rowkey：随机的两位数 + 当前时间戳，并要确保该rowkey在表数据中唯一。
• 列定义：name、age、sex、edu、tel、email、country。

版本说明：

通过 HDP 3.0.1 安装的 HBase 2.0.0

一、概述

HBase 本身提供了很多种数据导入的方式，目前常用的有三种常用方式：

• 使用 HBase 原生 Client API
• 使用 HBase 提供的 TableOutputFormat，原理是通过一个 Mapreduce 作业将数据导入 HBase
• 使用 Bulk Load 方式：原理是使用 MapReduce 作业以 HBase 的内部数据格式输出表数据，然后直接将生成的 HFile 加载到正在运行的 HBase 中。

版本：

HUE：3.12.0

一、HUE Bundle 问题

如果将 Oozie 时区设置为 GMT+0800 后，在 HUE 3.12.0 版本中，提交 Oozie Bundle 时，会出现：

Bundle Job submission Error: [E1301: Could not read the bundle job definition, [Could not parse [2019-04-30T16:09Z] using [yyyy-MM-dd'T'HH:mm+0800] mask]]

版本说明：

HDP：3.0.1.0

Hive：3.1.0

HBase：2.0.0

一、前言

之前学习 HBase 就有疑惑，HBase 虽然可以存储数亿或数十亿行数据，但是对于数据分析来说，不太友好，只提供了简单的基于 Key 值的快速查询能力，没法进行大量的条件查询。

不过，Hive 与 HBase 的整合可以实现我们的这个目标。不仅如此，还能通过 Hive 将数据批量地导入到 HBase 中。

版本说明：

通过 HDP 3.0.1 安装的 HBase 2.0.0

一、概述

Apache HBase 是基于 Hadoop 构建的一个分布式的、可伸缩的海量数据存储系统。常被用来存放一些海量的(通常在TB级别以上)、结构比较简单的数据，如历史订单记录，日志数据，监控 Metris 数据等等， HBase 提供了简单的基于 Key 值的快速查询能力。

一、好东西

在【纯洁的微笑】博客里面找到一个好东西 ——《JAVA核心知识点整理.pdf》。听微笑哥描述，是他从一个网友群中发现了整理的这份资料。不论是从整个Java知识体系，还是从面试的角度来看，都是一份技术量很高的资料。

前言

上周六，接了一个紧急任务，说实现使用 C++ 访问 HBase 进行操作。说是用 thrift 来实现。对于 C++ 来说，我真的是门外汉，但需求如此，皱着眉头也要把它实现。好歹在同事的帮助下，也是实现了 demo 示例，现在就把这两天的成果分享给大家。