欢迎朋友，我是一名十多年开发经验的新手，希望多多指教。

数仓中数据清洗的方法

数据仓库高级面试题

详解数据仓库之拉链表（原理、设计以及在Hive中的实现）

本文整理自阿里云 Flink 数据通道负责人、Flink CDC 开源社区负责人， Apache Flink PMC Member & Committer 徐榜江（雪尽），在 Streaming Lakehouse Meetup 的分享。内容主要分为四个部分： 1. Flink CDC 核心技术解析 2. 数据入湖入仓的挑战 3. 基于 Flink CDC 的入湖入仓方案 4. Flink CDC + Paimon 最佳实践

sqoop笔记（安装、配置及使用）

Storm常见错误及处理方法

storm安装手册及笔记

hive HQL

sqoop同步命令从mysql同步到hive

hive的工作机制

hive的安装配置笔记

hdfs笔记

Hadoop2复安装过程详细步骤

hadoop2.4.1伪分布式搭建

hadoop生态现状、介绍、部署

hadoop2.2.0伪分布式搭建

hadoop1.2.1伪分布式搭建

Hive大数据面试高频经典26问

​本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两个方面介绍 Zookeeper 的安装和配置。

分布式计算（Map/Reduce），同样是一个宽泛的概念，在这里，它狭义的指代，按Google Map/Reduce框架所设计的分布式框架。在Hadoop中，分布式文件系统，很大程度上，是为各种分布式计算需求所服务的。我们说分布式文件系统就是加了分布式的文件系统，类似的定义推广到分布式计算上，我们可以将其视为增加了分布式支持的计算函数。

hive hbase整合，要求比较多，1.hive的得是0.6.02.hive本身要求hadoop的最高版本是hadoop-0.20.23.要求hbase的版本是0.20.3，其他版本需要重新编译hive_hbase-handler但是新版的hbase（0.90）变动特别大，根本无法从编译。这点比较恶心，hbase目前升级比较快，当前是0.90（从0.20.6直接跳到0.89），至于为什么这样跳跃，参考官方的解释http://wiki.apache.org/hadoop/Hbase/HBas

MapReduce程序是以（键/值）对的形式来处理数据的，即可以通过以下的形式来表示：map: (K1,V1) ➞list(K2,V2) reduce: (K2,list(V2)) ➞list(K3,V3)

zookeeper集群安装

此文使用版本是hive-0.6.0，但是不支持hadoop-0.21.0，所以需要安装hadoop-0.20.2或者以下版本

MapReduce程序是设计用来并行计算大规模海量数据的，这需要把工作流分划到大量的机器上去，如果组件(component)之间可以任意的共享数据，那这个模型就没法扩展到大规模集群上去了（数百或数千个节点），用来保持节点间数据的同步而产生的通信开销会使得系统在大规模集群上变得不可靠和效率低下。MapReduce程序的第一步叫做mapping，在这一步会有一些数据元素作为Mapper函数的输入数据，每次一个，Mapper会把每次map得到的结果单独的传到一个输出数据元素里。

如 果传输过程中，有某个datanode出现了故障，那么当前的pipeline会被关闭，出现故障的datanode会从当前的pipeline中移除， 剩余的block会继续剩下的datanode中继续以pipeline的形式传输，同时Namenode会分配一个新的datanode，保持 replicas设定的数量。HDFS是为以流的方式存取大文件而设计的。读取完当前block的数据后，关闭与当前的DataNode连接，并为读取下一个block寻找最佳的DataNode；二、HDFS的体系结构。

Hadoop回收站trash

Hadoop删除节点（Decommissioning Nodes）

Hadoop添加节点datanode

我们以wordcount为例，假设有个6400M的文件，100台hadoop机器（准确地说应该是tasktracker机），默认block大小为64M，这样每台执行map的文件刚好是一个64M的block文件（假设这个分发过程已经完成，同时忽略备份数之类的细节），并且我们使用10个reduce任务来归并文件。Hadoop的mapreducer的执行过程如下

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用Chub

Hbase配置手册

Hbase使用已经安装的zookeeper

HBase是Google的BigTable架构的一个开源实现。但是我个人觉得，要做到充分了解下面两点还是有点困难的：一 HBase涵盖了BigTable规范的哪些部分？二 HBase与BigTable仍然有哪些区别？

HBase的安装、配置、管理与编程

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群

今天闲来无事，想起前两天关于在hadoop环境上布署Hbase的一些知识，在此分享下

准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件：ssh和Jdk1.6（因为Hadoop需要使用到Jdk中的编译工具，所以一般不直接使用Jre）。可以使用yum install rsync来安装rsync。一般来说ssh是默认安装到系统中的。

hbase是从hadoop中分离出来的apache顶级开源项目。由于它很好地用java实现了google的bigtable系统大部分特性，因此在 数据量猛增的今天非常受到欢迎。对于淘宝而言，随着市场规模的扩大，产品与技术的发展，业务数据量越来越大，对海量数据的高效插入和读取变得越来越重要。 由于淘宝拥有也许是国内最大的单一hadoop集群(云梯)，因此对hadoop系列的产品有比较深入的了解，也就自然希望使用hbase来做这样一种海 量数据读写服务。本篇文章将对淘宝最近一年来在online应用上使用和优化

本节比较全面的向大家介绍一下Hadoop命令，欢迎大家一起来学习，希望通过本节的介绍大家能够掌握一些常见Hadoop命令的使用方法