bluekeyv的专栏

      今天配置hbase的时候发现有几台机器的regionserver启不来。报错如下：        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)        at sun.reflect.Del

最近在写基于hbase的MR程序。总结如下：       1、使用TableMapper来读取表       2、写入表的第一种方式是用TableMapReduceUtil.initTableReducerJob的方法，这里既可以在map阶段输出，也能在reduce阶段输出。区别是Reduce的class设置为null或者实际的reduce 以下是一个表copy的例子：   package

1. 安装rrdtool 1.1. 安装依赖包 Ø 拷贝CentOS软件包 将CentOS安装光盘中的rpm包拷贝到/root/下，以备使用。 Ø 安装zlib开发包 rpm -ivh /root/CentOS/zlib-devel-1.2.3-3.x86_64.rpm

刚吃完饭，在cnbeta上就看到一篇文章，名叫“云计算”的双刃剑：FBI探员不必知会嫌犯即可随意搜查嫌犯的谷歌Docs账户。看完之后唯一的感想是，这篇文章是想说明Google守法呢，还是想说明Google其实是作恶的？我不愿妄加揣测说是后一种目的，我们姑且认为文章其实是想提醒读者，Google其实是很守法的，Google不是暴力抗法者。 有人要问了，Google前端时间不是就是因为政府审查的原因才推出大陆么，现在为啥美国FBI要什么它给什么？两面派阿？其实不然。说起这个，我们就得先看看原文是如何陈述的。

一、 移动社交将成为客户数字化生存的平台 在移动网络虚拟世界里面，服务社区化将成为焦点。社区可以延伸出不同的用户体验，提高用户对企业的黏性。3G商用的明朗化和手机本身所具备的优势将成为移动SNS发展的动力。宽带的增加将促使移动互联网的服务创新，用户的许多需求将在手机上得到满足; 而手机具有随时随地沟通的特点，从而使SNS在移动领域发展具有一定的先天优势。核心以个人空间(相册/日记)、多元化沟通平台、群组及关系为核心的移动SNS手机社交将发展迅猛。 二、 移动广告将是移动互联网盈利主要来源 手机逐

一、“网格计算”与“云计算” 刚进计算机学院时，听到最多的一个词就是“网格计算”，而在我还没弄清“网格计算”到底是什么的时候，“云计算”已不知不觉成为新的热门。第一次听到“云计算”这个词是因为自己想备份电脑上的一些资料，但身边又找不到移动硬盘和光盘，去找同学借光盘时，同学说可以试试在线备份，在线搜索后，我惊奇的发现自己早已经在云端之中了，原来我用Gmail来发送邮件时，已经是在云端环境中存放自己的资料了。在刚听到“云计算”这个名词时，我对它与网格计算间的差别还是很模糊的，当时在我看来，两者似乎都是通过把分

      最近在接触hadoop的项目，把总结出的配置方法写出来纪念一下，也方便后来人快速玩转hadoop。       首先在虚拟机中安装linux，我是用的redhad，然后装jdk：http://yushan.javaeye.com/blog/261148，接下来是关键部分： 一、hadoop安装：下载release版本hadoop0.20.1，解压到/home/hadoop/ 。 1.命令行下运行 #mkdir input cp conf/*.xml input bin/hadoop

      看来搞咱们IT的就围绕着3样东西打转，存储，计算，传输。冯氏计算机体系多年来没有人突破过。 其实一直没搞懂数据结构和算法究竟怎样的才算是好的。今天突然有点想法，能够将硬件条件和产品需求完美结合的数据结构和算法才是好的。       所以数据结构和算法不是凭空想出来的，一定是从硬件和产品需求角度来考虑的。从硬件上现在有两个基本方向。       第一个是基于单机中的硬盘，CPU，内存来进行算法优化，比如硬盘的寻道速度远远低于顺序访问速度，这点催生了列式数据库的设计。CPU通过中断机制来实现伪多

网址: http://www.penglixun.com/tech/database/column-oriented_dbms_analyse.html 这些天看数据仓库的内容，发现一个新内容——列式存储。曾经有想过把数据库行列转置作成索引，不过没有深想，没想到列式数据库已经开始发展起来了。 首先看下WIKI上对列式数据库的解释： 列式数据库是以列相关存储架构进行数据存储的数据库，主要适合与批量数据处理和即席查询。相对应的是行式数据库，数据以行相关的存储体系架构进行空间分配，主要适合与小批量

    数据库以行、列的二维表的形式存储数据，但是却以一维字符串的方式存储，例如下表： EmpId Lastname Firstname Salary 1         Smith          Joe         40000 2          Jones        Mary       50000 3        Johnson      Cathy      44000 这个表存储在电脑的内存和硬盘中。数据库必须把这个二维表存储在一系列的一维“字节”中，又操作系统写到内存或

一、Master/slave 这个是多机房数据访问最常用的方案，一般的需求用此方案即可。因此大家也经常提到“premature optimization is the root of all evil”。 优点：利用mysql replication即可实现，成熟稳定。 缺点：写操作存在单点故障，master坏掉之后slave不能写。另外slave的延迟也是个困扰人的小问题。 二、Multi-master Multi-master指一个系统存在多个master, 每个master

一、 简介 Apache Cassandra是一套开源分布式Key-Value存储系统。它最初由Facebook开发，用于储存特别大的数据。Facebook目前在使用此系统。 主要特性： 分布式 基于column的结构化 高伸展性 Cassandra的主要特点就是它不是一个数据库，而是由一堆数据库节点共同构成的一个分布式网络服务，对Cassandra 的一个写操作，会被复制到其他节点上去，对Cassandra的读操作，也会被路由到某个节点上面去读取。对于一个Cassandra群集来说，扩展性能

刚刚看了google jeff dean 在新的一年里发表的演讲，讲到各种系统配合使用完成海量数据处理任务。深有感触：http://t.cn/zYE89gn 。2013年，依然会专注hbase研究，并以此为基础扩展，对hbase衍生的一些特性和产品进行深入研究，例如replication、phoenix。从传统的离线计算（hadoop、hive），到实时流式计算系统（storm、s4），创新应用性