linuxheik的专栏

分布式开源库 介绍1.有些系统的功能可能重复比如reids既是KV数据库，也可以是缓存系统，还可以是 消息分发系统将来考虑再 以什么样的形式 去合并， 使归纳更准确。2.将来会做个索引，现在 东西太多，导致看的很麻烦[集群管理]mesosProgram against your datacenter like it’s a single pool

1           Introduction    随着互联网技术的发展，尤其是云计算平台的出现，分布式应用程序需要处理大量的数据(PB级)。在一个或多个云计算平台中(成千上万的计算主机)，如何保证数据的有效存储和组织，为应用提供高效和可靠的访问接口，并且保持良好的伸缩性和可扩展性，成为云计算平台需要解决的关键问题之一。分布式并行文件系统，为云计算平台解决了海量数据存储问题，并且提供了统一

一 Hypertable 是什么：Hypertable 是一个正在进行中的开源项目，以google的bigtable论文为基础指导，使用c++语言实现。目标:是为了解决大并发，大数据量的数据库需求。目前只支持最基本的查询功能缺点: 不支持事物, 不支持关联查询. 对单条查询的响应时间可能也不如传统数据库（要看数据量，量越大，对hypert

从上一篇文章中我们已经晓得了NameNode和Secondary NameNode的职责，这篇文章我们首要讲讲我们怎样往DataNode上写数据和读数据。 DataNode的写操纵流程DataNode的写操纵流程可以分为两部分，第一部分是写操纵之前的预备工作，包括与NameNode的通讯等；第二部分是实在的写操纵。我们先看第一部分。   3u2aei.png (24.1

从NameNode节点获取数据块所在节点等信息客户端在和数据节点建立流式接口的TCP连接，读取文件数据前需要定位数据的位置，所以首先客户端在DFSClient.callGetBlockLocations()方法中调用了远程方法ClientProtocol.getBlockLocations()，调用该方法返回一个LocatedBlocks对象，包含了一系列的LocatedBlock实例，通

hadoop深入研究:(三)——hdfs数据流标签： HadoopHDFS2013-06-12 17:38 8443人阅读 评论(10) 收藏 举报 分类： hadoop（19） 版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]以下几个小节并补独立，都是相辅相成的，要结合来看

HBase介绍（列存储）2013-11-26 23:25 5871人阅读 评论(2) 收藏 举报 分类： 云存储（2） 　　Hbase简介　　started by chad walters and jim　　2006.11 G release paper on BigTable　　2007.2 inital Hbase

Hbase split的三种方式和split的过程在Hbase中split是一个很重要的功能，Hbase是通过把数据分配到一定数量的region来达到负载均衡的。一个table会被分配到一个或多个region中，这些region会被分配到一个或者多个regionServer中。在自动split策略中，当一个region达到一定的大小就会自动split成两个region。table在re

上文分析了客户端提交写数据的請求过程，本文研究DataNode对此請求的处理。先看一下DataNode启动的过程，见startDataNode方法：1. 它与NameNode通信，注册自己的信息，基于RPC通信机制和DatanodeProtocol协议。2. 创建DataXceiverServer，通过建立ServerSocket，与Client和其它DataNode进行读写数据。

前提Hadoop版本：hadoop-0.20.2概述现在已经知道datanode是通过DataXceiver来处理客户端和其它datanode的请求，在分析DataXceiver时已经对除数据块的读与写之外的操作进行了说明，本文主要分析比较复杂而且非常重要的两个操作：读与写。对于用户而言，HDFS用得最多的两个操作就是写和读文件，而且在大部分情况下，是一次写入，多次读取，满

HBase 系统架构HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的，分布式的，多版本的，面向列的存储模型。它存储的是松散型数据。HBase特性：1 高可靠性2 高效性3 面向列4 可伸缩5 可在廉价PC Server搭建大规模结构化存储集群HBase是Goog

Hypertable 快速安装，仅需上载一个RPM包，零编译Hypertable 快速安装，仅需下载一个RPM包，零编译本文采用 单机安装1. Hypertable 安装Hypertable 的几种安装方式单机：安装于单机，采用本地文件系统Hadoop：分布式安装，使用Hadoop(HDFS)作为存储MapR：分布

HBase笔记：Region拆分策略2014.01.16 | CommentsRegion 概念Region是表获取和分布的基本元素，由每个列族的一个Store组成。对象层级图如下：Table (HBase table) Region (Regions for the table) Store

HBase的table是该region切分的，client操作一个row的时候，如何知道这个row对应的region是在哪台Region server上呢？这里有个region location过程。主要涉及到2张系统表，-ROOT-，.META.。其结构见图 在zookeeper的/hbase/root-region-server节点中存着-ROOT-表所在的Region Ser

CODIS原理 之 数据迁移流程[2.X]分类：源码剖析设计思路 （1173） （0）作者：邹祁峰 邮箱：Qifeng.zou.job@hotmail.com 博客：http://blog.youkuaiyun.com/qifengzou日期：2016.08.03 10:42:40 转载请注明来自”祁峰”的优快云博客CODIS有一个非常重要的特点就

感谢eric的敦促，感谢shuai的感召，我尝试记录一点混乱的思考。什么是分布式系统？毋庸置疑，Internet和DNS是两个典型的成功的分布式系统。那么，分布式系统是不是就是计算机网络？1990年， Sun Microsystems 公司提出网络即是计算机（The network is the computer.），后来google提出 数据中心即是计算机 ，现在有人提出 云

Spanner vs. F1：谷歌两大数据管理利器的整体对比及关联2016-05-22 20:36 757人阅读 评论(0) 收藏 举报目录(?)[+]http://www.youkuaiyun.com/article/2013-10-10/2817138-f1-and-spanner-holistically-compared自2012年9

PrestoDB 来自Facebook的开源分布式查询引擎Presto是一个分布式SQL查询引擎， 它被设计为用来专门进行高速、实时的数据分析。它支持标准的ANSI SQL，包括复杂查询、聚合（aggregation）、连接（join）和窗口函数（window functions)。下图中展现了简化的Presto系统架构。客户端（client）将SQL查询发送到Presto的协调员 （

一、MapReduce已死，Spark称霸2014-09-17 11:20 王家林 Spark亚太研究院 字号：T | T综合评级：想读(35)  在读(13)  已读(2)   品书斋鉴(0)   已有50人发表书评《Spark亚太研究院系列丛书——Spark实战高手之路 从零开始》本书通过Spark的shell测试Spark的工作；使用S

Hypertable源码解读之Hypertable.lib目录2014.5.21来源：优快云博客1.Class MetaLog:: Entity一个metalog entity能关联到一个应用程序，并能被持久化到metalog中。metalog entity对象能在metalog的读写API中传入和传出。应用程序对象能包含一个继承自该类的成员对象，用于持久

MurmurHash PK CityHash标签： 算法测试alignmentgooglenull语言2012-03-14 21:08 14636人阅读 评论(2) 收藏 举报 分类： c/c++（25）  Program（21） 版权声明：本文为博主原创文章，未经博主允许不得转载。1. 概述murmurhash是 Austi

分布式数据库需要考虑的(BigTable VS Dynamo)在设计，评价分布式数据库的时候需要考虑一些最基本的特性，我想这些特性可能包括：1. 存储系统：一种是类似BigTable将存储交给GFS去做，GFS会保证写入数据的完整；另外一种是类似Dynamo的系统，每个Node独自管理自己的存储磁盘。前者直到一定的数据写入磁盘才将数据保存为N份，所以如果slave node提供只读

一致性hash    搜索 一致性hash算法一致性hash算法用于解决在服务器集群中，添加/删除Server只影响极少部分的Client。例如我们有10台Server提供服务，且有一个均衡负载的前端，前端通过普通的取模将Client定向到某一台Server：client_hash_val % 10当10台Server中有一台Server宕机时，这个

Hash算法的使用标签： 默认分类 | 发表时间：2011-08-06 06:35 | 作者：GliderX khsing分享到：出处：http://hi.baidu.com/gliderx在对语料文本进行2，3元切分时，需要借助hash表来获得切分内容在内存中的位置，以便能够记录语料库中出现的次数。以前知道有很多hash算法，但没认真研究过，今天才知道hash

作者：作者：Simon，腾讯后台开发高级工程师 链接：http://wetest.qq.com/lab/view/?id=105 著作权归作者所有。商业转载请联系WeTest获得授权，非商业转载请注明出处。分布式系统理念渐渐成为了后台架构技术的重要选择，本文介绍了作者在手游领域对分布式系统进行的种种尝试，并在尝试中制定了对服务的定义、整体框架的构建以及服务内部拆分的流程。 前言

First, create a new namespace called “Test”:CREATE NAMESPACE Test;and make it the current namespace:USE Test; Now, let’s create a new table within the current namespace:CREATE TABLE

最近想学一下云存储，我选择了开源软件项目HyperTable (详见: http://hypertable.org/)来学习，此项目既可以在linux下运行，又有一个可以windows下运行的子项目ht4w (详见: https://github.com/andysoftdev/ht4w)。本文主要记录一下可编译的hypertable的windows的几个步骤，后续自己可以看看，以防忘记。

hadoop初级到资深2015-06-13 12:08 165人阅读 评论(0) 收藏 举报 分类： hadoop（3） 1、hadoop是什么？   适合大数据的分布式存储与计算平台2、hadoop版本有哪些？   ①Apache:官方版本（1.1.2）   ②Cloudera：使用下载最多的版本，稳定，有商业支持，在Apach

Hadoop 之 MapReduce 框架演变详解经典版的MapReduce所谓的经典版本的MapReduce框架，也是Hadoop第一版成熟的商用框架，简单易用是它的特点，来看一幅图架构图：上面的这幅图我们暂且可以称谓Hadoop的V1.0版本，思路很清晰，各个Client提交Job给一个统一的Job Tracker，然后Job Tracker将Job拆分成N个T

博客园闪存首页新随笔联系管理订阅随笔- 247  文章- 122  评论- 571  hadoop使用（五）第1章 引言1.1 编写目的对关于hadoop的文档及资料进行进一步的整理。1.2 相关网站   毋庸置疑 http://hadoop.apache.org/   国内  http://www.hadoopor.co

adoop+HBase+ZooKeeper三者关系与安装配置 [复制链接]  qqjue论坛徽章:18电梯直达1# 发表于 2014-2-18 23:15 | 只看该作者 本帖最后

Hadoop 2.4.0+zookeeper3.4.6+hbase0.98.3分布式集群搭建博客分类： hadoopIp 主机名程序进程192.168.137.11h1JdkHadoophbaseNamenodeDFSZKFailoverControl

1.1.3　Hadoop生态系统2013-05-08 09:38:16     我来说两句 收藏    我要投稿  本文所属图书 > Hadoop技术内幕：深入解析Hadoop Common和HDFS架构设计与实现原理Hadoop技术内幕共两册，分别从源代码的角度对Common+HDFS和MapReduce的架构设计与实现原理进行了极为详细的

1-HBase的安装HBase是什么？HBase是Apache Hadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作，如右侧的图所示：HBase在产品中还包含了Jetty，在HBase启动时采

Hadoop是很多组件的集合，主要包括但不限于MapReduce，HDFS，HBase，ZooKeeper。MapReduce模仿了Google MapReduce，HDFS模仿了Google File System，HBase模仿了Google BigTable，ZooKeeper或多或少模仿了Google Chubby（没有前3个出名），所以下文就只提MapReduce、HDFS、HBase、

一致性哈希算法（用于解决服务器均衡问题）标签： 算法服务器cacheobjectnull数据结构2012-07-02 15:35 7641人阅读 评论(1) 收藏 举报 分类： 数据结构与算法（10） 目录(?)[+]tencent2012 笔试题附加题     问题描述：  例如手机朋友网有n个服务器，为了方便用

一种可以避免数据迁移的分库分表scale-out扩容方式原文地址：http://jm-blog.aliapp.com/?p=590目前绝大多数应用采取的两种分库分表规则mod方式dayofweek系列日期方式（所有星期1的数据在一个库/表,或所有?月份的数据在一个库表）这两种方式有个本质的特点，就是离散性加周期性。例如以一个表的主键对3取余数的方式分库或分表

淘宝TDDL数据库分库分表2014-06-04 23:18 3334人阅读 评论(0) 收藏 举报 分类： 数据库1. 分库分表,而且分库规则非常灵活.2. 主键生成策略 目前TDDL提供的id生成主要还是依托数据库来进行的，oracle可以直接使用sequence来完成id生成，mysql则需要DBA建立一个表专门用于生成id.3. 连

+18投票我是想收集一些作业跟踪中的信息。 对于初学者来说， 我想开始让正在运行的作业信息如作业id或者工作名称等。 但已经跑了， 下面是我有什么( 将打印出当前运行作业的作业id )public static void main(String[] args) throws IOException { Configuration co

所有分类  >  服务器软件  >  分布式/云计算/大数据开源大数据利器汇总开源   2015-05-21 21:00:00 发布您的评价:     0.0收藏     0收藏类别名称官网备注查询引擎Phoenixhttp://p