路边摊阿达西的博客

原创 HIVE最全面入门指南

一、Hive简介Facebook为了解决海量日志数据的分析而开发了Hive，后来开源给了Apache软件基金会。官网定义：The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage u...

原创 spark Kafka 线程安全问题

KafkaConsumer is not safe for multi-threaded报错内容：线程不安全原因分析：Kafka consumer是非线程安全的解决方法1.(每个线程维护一个KafkaConsumer)，这个办法其实就是为缓存在map中的CachedKafkaConsumer对应的key增加了一个参数是线程id，使得不让多个线程使用同一个consumer。...

原创 flink 简单上手

第一章 Flink简介1、初识FlinkApache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。Flink起源于Stratosphere项目，Stratosphere是在2010~2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究...

原创 HDP 2.6.5配置yarn的CGroups

一、前提 CGroups是linux内核的特性，支持CGroups的操作系统有： Centos 6.5 7.3 RHEL 6.9 7.3 SUSE 12 Ubuntu 16 CGroups默认在HDP中没有enable，同时CGroups的启用需要HDP集群启用kerberos； 二、启用CGroups1. 为了配置CGro...

原创 Kerberos原理

目录一、 Kerberos原理 21. 相关概念 22. 认证过程 22.1 用户使用客户端（用户自己的机器）登录： 32.2 客户端认证（客户端(Client)从认证服务器(AS)获取票据的票据（TGT）） 32.3 服务授权（client从TGS获取票据(client-to-server ticket)） 42.4 服务请求（client从SS获...

原创 Hadoop集群搭 & Hadoop分布式文件系统架构和设计

Hadoop集群搭建先决条件确保在你集群中的每个节点上都安装了所有必需软件。 获取Hadoop软件包。安装安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。通常，集群里的一台机器被指定为NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves。...

原创 Hbase最全面入门指南

1.1.介绍Section1.2, “快速开始”会介绍如何运行一个单机版的HBase.他运行在本地磁盘上。Section2, “配置”会介绍如何运行一个分布式的HBase。他运行在HDFS上1.2.快速开始本指南介绍了在单机安装HBase的方法。会引导你通过shell创建一个表，插入一行，然后删除它，最后停止HBase。只要10分钟就可以完成以下的操作。1.2.1.下...

原创 Sqoop 使用详解

Sqoop 使用详解Sqoop 是 Cloudera 公司创造的一个数据同步工具，现在已经完全开源了。目前已经是 hadoop 生态环境中数据迁移的首选，另外还有 ali 开发的 DataX 属于同类型工具，由于社区的广泛使用和文档的健全，调研之后决定使用 Sqoop 来做我们之后数据同步的工具。我们首先来看下 Sqoop 的工作流他将我们传统的关系型数据库 ...

原创 Kafka工作原理

周末无聊刷着手机，某宝网 App 突然蹦出来一条消息“为了回馈老客户，女朋友买一送一，活动仅限今天！”。买一送一还有这种好事，那我可不能错过！忍不住立马点了去。于是选了两个最新款，下单、支付一气呵成！满足的躺在床上，想着马上有女朋友了，竟然幸福的失眠了……第二天正常上着班，突然接到快递小哥的电话：小哥：“你是 xx 吗？你的女朋友到了，我现在在你楼下，你来拿一下吧！”。我：“这……...

原创 spark任务框架