yiihsia的博客

申明：本文转自 liunx.cnblogs.com, 感谢原作者 1.先启动一个测试用的ttserver 注意使用的所有路径都是绝对路径 ttserver -host 192.168.0.100 -port 20000 -thnum 4 -dmn -ulim 1024m -ulog $(pwd)/ulog/ -log $(pwd)/temp/test.log -pid $(pwd)/temp/te...

原文地址：redis源码分析-如何rehashdict实现中主要用到如下结构体,其实就是个典型的链式hash。一个dict会有2个hash table，由dictht结构管理，编号为0和1.使用是优先使用0号hash table，当空间不足时会调用dictExpand来扩展hash table，此时准备1号hash table用于增量的rehash使用。rehash完成后把0号...

原文地址：对redis数据持久化的一些想法数据持久化通俗讲就是把数据保存到磁盘上，保证不会因为断电等因素丢失数据。redis需要经常将内存中的数据同步到磁盘来保证持久化。redis支持两种持久化方式，一种是 Snapshotting（快照）也是默认方式，另一种是Append-only file（缩写aof）的方式。先介绍下这两种dump方式再讲讲自己遇到的一些现象和想法，前面的内容是从...

  我是标题党，其实本文与hbase关系不大，只是把它作为列族数据库的代表来讲。从目前字眼上看，HBase比Bigtable无疑更具吸引力。题目改成：RDBMS到列族的数据储存方式变迁 更恰当。 如今Bigtable型(列族)数据库应用越来越广，功能也很强大。但是很多人还是把它当做关系型数据库在使用，用原来关系型数据库的思维建表、存储、查询。本文以hbase举例讲述数据模式的变化。 传...

个人博客总是访问不了，原文：实时计算应用场景实时计算的概念很难定义，每个人对这四个字的理解可能都不同。个人观点主要分为两块：数据的实时入库和数据的实时计算。数据实时入库的时候，一般都需要对原始数据做一定的处理再入库。能在这个步骤计算尽量在这里完成。 这个类似数据的预算后入库，然后提供直接读取服务。对用户的延时性上最好。然而有一些对数据的计算并不能通过预算解决全部问题，比如搜索。...

修改一个value值的时候，当新数据大于老数据，如果后面有空间，就增大，没有就移动。有两种收拾碎片的方法，一是把数据重新导一份，名曰静态碎片整理，这个是手动调接口执行的。二是动态收集碎片，再重新整合，这个过程是在一些常规操作中被触发进行的。B+树存储的父子结点间是双链。B+树存储的每一个叶结点是一个hash表，每一个叶结点叫一个page。B+树的索引是存在内存中的，每次inse...

Tokyo Cabinet提供了Hash、Fixed-length、Table和B+ Tree四种数据结构，不同的结构特性和应用场景都不一样。TC本身提供了专门测试和调试工具tc (h/f/t/b) mgr。 Tokyo Tyrant在启动的时候，通过数据库文件名后缀来表示使用哪种数据结构。 以下是结构和后缀对应表： Hash Database ：.tchB+ tree database...

redis是个对内存依赖性很强的NoSql数据库，在内存足够的情况下性能出色如果只有一台机子去部署redis，一定要特别小心。比如我有台24G的服务器，理所当然我会将大量内存分配给redis。比如20G的内存， 问题来了， 当你对redis插入数据后，redis会异步将数据dump到硬盘中想起来很完美，问题是它会fork一个进程，并占去同样大小的内存，你需要的内存瞬间便为 ...

印象中CAP理论开始流行是从Amazon Dynamo的论文开始的，Amazon的CTO还在他的博客中介绍了最终一致性的概念，从此以后，各种会议和交流中都少不了CAP的影子。然而，对于分布式系统工程设计和开发来说，CAP意味着什么呢？CAP 理论由 Berkerly 的 Brewer 教授提出，三者的含义如下：一致性 ( Consistency) ：任何一个读操作总是能读取到之前完...

环境准备 1.在windows下安装VMware  2.创建了3个fedora14 linux。地址分别为：  m201 192.168.0.201 (Namenode)  s202 192.168.0.202 (Datanode)  s203 192.168.0.203 (Datanode)  3.在linux系统中下载所需要的软件。分别为：  jdk-6u23-linux-i586...