深之JohnChen的专栏

Avro 是 Hadoop 中的一个子项目，也是一个数据序列化系统，其数据最终以二进制格式，采用行式存储的方式进行存储。Avro提供了：1)、丰富的数据结构。2)、可压缩、快速的二进制数据格式。3)、一个用来存储持久化数据的容器文件。4)、远程过程调用。5)、与动态语言的简单集成，代码生成不需要读取或写入数据文件，也不需要使用或实现 RPC 协议。代码生成是一种可选的优化，只值得在静态类型语言中实现。

一、介绍SeaweedFS是基于go语言开发的高可用文件存储系统，主要特性1、成存储上亿的文件（最终受制于你的硬盘大小）2、速度快，内存占用小上手使用比fastDFS要简单很多，自带Rest API。SaaWeeDFS作为对象存储库来有效地处理小文件。不是管理中央主机中的所有文件元数据，中央主机只管理文件卷，它允许这些卷服务器管理文件和它们的元数据。这减轻了来自中央主机的并发压力，并将文件元数据扩展到卷服务器，允许更快的文件访问（仅一个磁盘读取操作）。每个文件的元数据只有40字节的磁盘

一、介绍 RocksDB是Facebook的一个实验项目，目的是希望能开发一套能能在服务器压力下，真正发挥高速存储硬件（特别是Flash存储）性能的高效数据库系统。这是一个C++库，允许存储任意长度二进制kv数据。支持原子读写操作。RocksDB依靠大量灵活的配置，使之能针对不同的生产环境进行调优，包括直接使用内存，使用Flash，使用硬盘或者HDFS。支持使用不同的压缩算法，并且有一套完整的工具供生产和调试使用。RocksDB大量复用了levedb的代码，并且还借鉴了许多HBa...

一、环境配置1、安装thrift按照官网http://thrift.apache.org/要求及步骤配置安装thrift2、取出Hbase文件中的Hbase.thrift文件，是用thrift--gen <language> <Thrift filename>产生所需的cpp文件，将gen_cpp文件复制到工程目录下。其中Hbase.cpp是CPP版的th...

【转自：http://jiajun.iteye.com/blog/899632】一、简介historystarted by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First u...

一、http协议存在hdfs组件 通过http协议操作hdfs有两个组件，httpfs和webhdfs，我一开始还以为这两个是同一个东西，其实不是。webhdfs是namenode、datanode自带的，httpfs是完全独立的一个组件。webhdfs上传文件等操作需要通过某个datanode进行，而不是直接通过namenode上传，客户端有可能访问多个机器。而httpfs，所有的操作都...

一、介绍Libhdfs是一个基于C的HDFS的JNI。它为一部分HDFS的API提供了一个C的 API，以使用C来管理HDFS文件和文件系统。http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/LibHdfs.html二、接口1、建立、关闭与HDFS连接：hdfsConnect()、hdfsConnec...