unlock的博客

Zookeeper源码分析笔记[2]-服务端源码分析

Hadoop学习笔记[2]-HDFS安装部署流程1、必备软件  1-1 java（最好是1.8及其以上，but1.8以上只有open jdk了)  1-2 ssh软件，免密登录需要具体怎么配置网络上搜吧   直接在官网上搜就行了【https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 这里就有】，主要就是生成公钥和私钥，并将公钥分发给要免密登录的服务器，登录时，会拿着自己的私

Hadoop学习笔记[1]-HDFS基本知识和读写原理  大数据领域的技术基石主要来源于谷歌的三篇论文GFS、MapReduce和BigTable，分别是文件系统、计算框架和数据库，本文所说的HDFS对应其中的GFS，先抛出一个小问题，在HDFS出现之前，市面上就已经存在各种各样的分布式文件系统，那么为什么Hadoop之父还要搞一个HDFS？1、HDFS基本架构1-1 存储模型1)、文件线性按照字节切割成块，具有offset和块ID【数据被切割在不同的块的时候怎么办？】2)、不同文件之间的块大小

堆结构与堆排序详解

zk客户端源码分析

Netty源码分析专题[2]-消息队列MpscQueue分析  在看Netty源码的时候看到了这个队列，之前都没见过，所以特地写个笔记记录一下  MpscQueue的Mpsc的全称是Multi producer single consumer【多生成者单消费者】，我们先把单消费者单生成者的情况分析清楚，在多生产者的情况下，多了一步抢位置的动作，就是如果多个线程同时要往队列添加数据，需要先抢占一下最后一个位置，这就涉及多线程同步，可以加锁，但是更多的是CAS操作，线程同步问题就不在这介绍了1、前序  

Netty源码分析专题[1]-服务端启动流程  Netty是一个高性能底层网络传输层技术，深入研究其底层实现原理不仅可以领略其优秀的架构思想，还能为用好这个技术打下坚实的基础，正所谓知其然知其所以然，本文使用的netty版本是4.1.52，其中池化内存部分的源码的变动很大，这个版本的代码在内存回收到缓存的时候有个bug，当然新版本已经修复，具体的可以看池化内存源码分析相关的内容。  从本文开始，会有一系列的Netty源码分析相关的分析1、从Java NIO模型说起  Java NIO类库好像是JDK

近期在做将数据从SFTP拷贝的Hive，SFTP中的文件存储的是从关系型数据库抽出来的数据，字段之间用0x7C0x1C两个字符分割，采用GBK字符集，这些都是公司规定的，不可能改动，字符集问题可以通过指定序列化编码方式适配，但是也有问题，下文会介绍，但是分隔符的问题无法通过指定建表参数解决，因为Hive默认只支持一个分隔符，既然不能通过HIVE命令解决多分隔符问题，那只能通过代码解决，从头开始过一...

接上一篇win7传输数据至hdfshive是基于hadoop的数据仓库，具体hive相关的内容可以查看这篇文档，使用kettle将关系型数据库导入hive或者从hive导出数据的方式有以下几种：1、使用kettle的sqoop组件 玩过hive的人都知道，在hadoop生态圈，sqoop的作用就是将关系型数据库的数据导入到hdfs（或者将hdfs的数据导入到关系型数据库），之后使用...

 为什么写这系列博客的原因就是真的遇到的坑太多了，所以需要写下来，防止以后忘记，话不多说吗，直接进入主题一、环境kettle7.0，kettle是开源的etl工具（kettle7.0需要java8）,其优势在于可以使用图形化界面开发，开发完成后可以部署在linux或者windows平台 window7.0 大数据平台采用的是CDH，其余版本的haoop应该也是类似的二、修改配置文件...