darkness0604的博客

ClickHouse特征列式存储可以读取很快数据压缩基于列式存储的特征,数据都是特征相似连续存储的,因此可以使得压缩去重效果较好,从而减少数据传输的IO开销向量化执行支持CPU寄存器层面的并行,向量化执行简单理解就是基于CPU指令集的并行执行,实现单条指令来操作多条数据,通过SSE4.2指令集实现向量化执行多线程与分布式1、数据表有分区的概念,因此可以基于分区做并行操作2、纵向扩展：一份数据可以分成不同的分片存储在不同的机器上,可实现数据的分布式存储扩展与并行计算。3、横

集群编排的困难现代服务大多数都不是单点的，更多的是各种微服务，充斥着各种分布式的分布特点，对应docker的容器的话，一个服务实例就是一个容器，但随着节点一直增多，docker对于这些容器的部署难度也变得棘手了起来。容器编排工具比较docker-compose是docker官方提供的对docker多容器进行编排管理，但存在局限性，只能对单机内的多容器进行编排。Docker-Compose 是用来管理你的容器的，有点像一个容器的管家，想象一下当你的Docker中有成百上千的容器需要启动，如果一个一

前言在对一个数据集进行一些例如区间【L,R】求和的问题的时候，想通过一个比较快的数据结构来完成，可以使用indexTree，它可以达到O（logN）的时间复杂度。时间复杂度O（logN）算法思想构建一个help数组作为一个help数组，有如下特点：1、help数组的有效位置从1位置开始2、采用“配对”的方式在位置上存放值，因此以图上为例，我们来描述一个这个过程：1：1位置上只有自己，因此只存放1位置的值2：之前有一个1位置，所以与2位置配对，组成一对，所以此位置存放1,2位置的值3:

HDFS HA版搭建伪分布式(单机)完全分布式伪分布式(单机)伪分布式： 在一个节点启动所有的角色： NN,DN,SNNhadoop 安装：centos 6.5jdk 1.8hadoop 2.6.51基础设施： 设置网络： 设置IP * 看看自己的vm的编辑->虚拟网络编辑器->观察 NAT模式的地址 vi /etc/sysconfig/network...

Permission Owner Group Size Replication Block Size Namedrwxr-xr-x root supergroup 0 B 0 0 B user-rw-r--r-- root supergroup 8.61 KB 2 128 MB install.loghdfs是一个文件系统 类unix、linux 有用户概念 hdfs...

HADOOP HA版搭建前言1.环境搭建前言本文仅用来记录个人搭建HADOOP高可用版本1.环境搭建在已搭建好4台虚拟机节点的基础上，进行环境搭建。在高可用版本中，namenode升级为两台节点主备模式部署，啊...

MapperReduce入门笔记小记小记MapReduce可以拆分为：Map和Reduce，其中Map以一行为单位，Reduce以一组为单位。当一个文件通过HDFS进行拆分后，会被分为多个block块。块是一种物理切割单位，而split是一种逻辑切割单位。其中split的数量可以一个split对应1个块，，可以一个split对应多个块，也可以多个split对应多个块。每一个spil...

MapReduce学习02-环境搭建在hadoop2.x中，mapreduce使用的yarn模型，也就是mapreduce on yarn来实现了计算系统的解耦。本次搭建的节点如下所示，除了HDFS的节点外，我们分别在2,3,4搭建NodeManager，在3,4搭建ResourceManager 架构： RM NM 搭建： NN NN JN ZKFC ZK DN R...

MapReduce学习03-client端开发POM准备配置文件准备代码实现任务的提交方式本节的目标是通过java的client端完成需求：对一段目标文本里统计每个单词出现的次数。POM准备<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" ...

HDFS 简单JAVA-API实例POM引入代码部分本案例是以已经搭建好HDFS环境的基础上进行API调用。POM引入<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2...