记录、分享

原创 matlab变量及运算符

1. matlab变量2. 常见运算符3. 控制结构4.

原创 boost interprocess使用

最近看了些boost interprocess的使用，具体使用代码如下：http://pan.baidu.com/share/link?shareid=859701192&uk=90846309

原创 nodejs入门代码

下午花了点时间学习了下nodejs，顺带按照http://www.nodebeginner.org/index-zh-cn.html 实现了个简单的图片上传的功能。代码如下：http://pan.baidu.com/share/link?shareid=3143124364&uk=908463093

原创 learning to rank学习

1. 什么是learning to rank?2. 如何训练一个排序模型？训练预料产生对训练预料提取特征，通常特征包含tf/idf, click, bm25， pagerank等特征训练模型，常见模型：pointwisepairwiselistwisepointwise，pairwsie，listwise比较：

原创 论文及其他自认为有用资源收集

1. 线性代数http://pan.baidu.com/share/link?shareid=418117&uk=9084630932. 概率论ml tutorials：http://homepages.inf.ed.ac.uk/rbf/IAPR/researchers/MLPAGES/mltut.htm概率基础（概率简介，贝叶斯分类器）：http://www.autonlab.o

原创 nginx代码分析【1】

1. 代码分析准备a)build脚本#!/bin/bash /usr/local/nginx/sbin/nginx -s stoprm -fr /usr/l

转载 mac下mysql安装出现的问题总结

参考记录如下：http://zhuruxin86.iteye.com/blog/1113563http://hi.baidu.com/yakrsa/item/40ea1bbec2a07b96194697d5mysql使用http://www.php100.com/html/webkaifa/database/Mysql/2009/0910/3288.html

原创 mpi编程入门之helloworld

1. mpi简介2. hello world3. 计算矩阵和4. 参考资料1. mpi简介mpi=(Message Passing Interface)目前一种比较著名的应用于并行环境的消息传递标准。mpich为实现mpi接口开源框架。2. hello world#include "mpi.h"#include int main(int argc, char*

原创 nginx安装和配置

1. nginx安装wget http://nginx.org/download/nginx-1.2.6.tar.gz tar zxvf nginx-1.2.6.tar.gz./configure --prefix=~/app/build/nginx/ && make && make install2. ngnix配置使用安装完成之后的目录包含conf/log/html/s

原创 scons安装和使用

1. scons是神马？scons是linux下的自动构建工具，类似cmake。2. 安装wget http://prdownloads.sourceforge.net/scons/scons-2.2.0.tar.gz .tar zxvf scons-2.2.0.tar.gzcd scons-2.2.0python setup.py install正常情况下，s

原创 redis代码分析

redis代码分析，晚上大致浏览了下redis的代码和相关的文档，之后仔细分析下代码，这里列下提纲：1. redis安装及其使用场景2. main函数流程（粗略流程）3. event library代码分析4. 数据结构分析4.1 string4.2 list4.3 set4.4 sorted set4.5 dict

原创 lease机制

使用缓存，通常需要注意的问题是一致性的问题，通常做法是：1. http中使用head协议保证2. 每次读取数据client向server发送验证请求i，和1类似3. server记录那些client读取过数据，如果server对数据进行了修改，进行callback形式告知客户端失效，主要的问题是如果server和client通信失败，更新操作将无法继续。另外的实现采用现在的

原创 exit和return

参考这里：http://stackoverflow.com/questions/461449/return-statement-vs-exit-in-mainActually, there is a difference, but it's subtle. It has more implications for C++, but the differences are i

原创 hadoop客户端效率问题

分享一个关于hdfs写入流程文档：http://wenku.baidu.com/view/a909278102d276a200292e3f.html 今天主要的话遇到了这样的一个问题: 集群中的配置环境是一台datanode和一台namenode，这时如果在datanode上运行hdfs的客户端上传一个2g的文件 和在namenode上运行同样的程序 个人觉得应

原创 hyperspace目录结构

hyperspace dir :------------------------------------------------------------------/hypertablemaster[address, next_server_id, lock.generation]namemapids3 [lock.generation, name]4 [lock.

原创 hbase/hypertable集群启动需要进行时间同步原因？

下面是一些讨论想法：-------------------------------------------------------------------------------------------------------------------------------------------------大家说说为什么Hbase和Hypertable都要求Rangeserver和M

原创 GFS一些问题总结

1. 数据写入流程gfs论文中给定的流程如下：1. The client asks the master which chunkserver holdsthe current lease for the chunkan d the locations ofthe other replicas. If no one has a lease, the mastergrants one to a

原创 二叉查找树范围查询算法

二叉查找树范围查询算法View more documents from xuqianghitsoft

原创 分布式存储引擎解析

1. 随机存储引擎这里推荐阅读豆瓣的beansdb代码和参考这篇论文：《A Log-Structured Hash Table for Fast Key/Value Data》数据读取流程如下：用户指定key之后，根据hash能够计算出该key所在的文件file_id和key在该文件中的偏移量value_pos，通过一次IO操作即可完成数据读取。数据写入时，首先写入log，之后

原创 分享一个c线程池实现代码

下载地址：http://download.youkuaiyun.com/detail/xuqianghit/3823740 内附使用示例及makefile文件接口比较简单：threadpool create_threadpool(int num_threads_in_pool);void dispatch(threadpool from_me, dispatch_fn dispatch_to_h

原创 分享一个boost.mapreduce代码

http://download.youkuaiyun.com/detail/xuqianghit/3815838

原创 nutch安装、配置和使用

安装nutch1. 下载nutch编译完的安装包，下载地址如下：http://labs.renren.com/apache-mirror//nutch/apache-nutch-1.3-bin.zip 并解压。解压完的目录如下：[root@mdss33 nutch-1.3]# lsbuild.xml CHANGES.txt conf default.properties docs

原创 hbase全局负载均衡流程

原创 hbase简介

原创 leveldb源代码分析4：SkipList

skiplist思想可以具体参考这：Skip listView more documents from xuqianghitsoft 或者是参考我的这篇博文：http://www.cnblogs.com/xuqiang/archive/2011/05/22/2053516.html， leveldb中的实现方式基本上和我的那篇博文中的实现方式类似。SkipList在db

原创 leveldb源代码分析3 memtable

上面一篇博文主要说了leveldb的理论原理，接下来将说明leveldb中如何去实现这些组件，主要是按照下面的思路进行的：首先分别分析LSM的各个组件，例如memtable，commit log，compaction实现，之后将这些功能串联起来分析一下leveldb的读写流程。这篇中主要是关于memtable的分析。memtable常驻于内存，需要按照key进行排序，通常意义上的话，可以使用二

原创 leveldb源代码分析2 理论基础

leveldb其实就相当于是bigtable中简化的每个数据节点，其中关键性的思想如下(来自于http://www.slideshare.net/sunzhidong/google-leveldb-study-discuss)：也就是说原始的想法就是向如何将随机的io操作转换成顺序的io写操作，下面可能需要考虑的问题就是基于LSM这种数据结构如何进行insert, delete, up

原创 Cassandra源代码分析：数据写入流程

org.apache.cassandra.thrift.CassandraServer类的add方法将接受客户端的请求，该函数定义如下： public void add(ByteBuffer key, ColumnParent column_parent, CounterColumn column, ConsistencyLevel consistency_level)

原创 leveldb源代码分析1

1. leveldb简介leveldb是一个key/value型的存储引擎，由google开发，并宣布在BSD许可下开放源代码。2. leveldb下载和安装leveldb托管在google code上，可以使用git下载源代码：git clone https://code.google.com/p/leveldb/下载完成之后，开始编译leveldbcd leve

转载 Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase vs Membase vs Neo4j comparison

Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase vs Membase vs Neo4j comparisonWhile SQL databases are insanely useful tools, their monopoly of ~15 years is coming to an end. And it was j

原创 tokyo cabinet源代码分析2

tokyo cabinet（以下简称TC）作为一个程序库，其中并没有main函数，那么我们该如何去开始代码阅读工作，这里的基本思路如下：1. 首先明确TC中数据类型2. 按照example的示例程序了解TC的运行过程。TC中仅仅包含了8个头文件，各个头文件作用如下：1. Md5.h 定义md5算法中需要使用的数据类型，和md5函数原型声明2. Myconf.h 程序配置信息，通

原创 tokyo cabinet源代码分析1

1. tokyo cabinet系统介绍 tokyo cabinet官方主页http://fallabs.com/tokyocabinet/，是一款kv型的数据库，没有数据类型，没有表的概念，key和value都可以是任意长度的字符串。2. 安装及简单客户端程序tokyo cabinet安装比较简单：1. 下载源文件包：http://fallabs.com/tokyocabin

原创 Can't create directory '/var/www/svn/': Permission denied错误及解决方法

上网查一下 httpd 的文档 (主要是鸟哥的私房菜)，知道httpd 的主人和组在“/etc/httpd/conf/httpd.conf”里规定好了都是 apache：...User apacheGroup apache使用如下的命令，修改一下工程目录即可：chown -R apache.apache project-folder

转载 使用hadoop进行大规模数据的全局排序

1.   Hellow hadoop~~!Hadoop（某人儿子的一只虚拟大象的名字）是一个复杂到极致，又简单到极致的东西。说它复杂，是因为一个hadoop集群往往有几十台甚至成百上千台low cost的计算机组成，你运行的每一个任务都要在这些计算机上做任务的分发

转载 “分布式哈希”和“一致性哈希”的概念与算法实现

分布式哈希和一致性哈希是分布式存储和p2p网络中说的比较多的两个概念了。介绍的论文很多，这里做一个入门性质的介绍。　　分布式哈希(DHT)　　两个key point：每个节点只维护一部分路由；每个节点只存储一部分数据。从而实现整个网络中的寻址和存储。DHT只是一个

原创 子网掩码的计算方法

如何计算子网掩码？在求子网掩码之前必须先搞清楚要划分的子网数目，以及每个子网内的所需主机数目。1)将子网数目转化为二进制来表示2)取得该二进制的位数，为 N3)取得该IP地址的类子网掩码，将其主机地址部分的的前N位置 1 即得出该IP地址划分子网的子网掩码。如

原创 细说c语言中的sizeof运算符

细说c语言sizeof运算符-于哈尔滨的一个地下室旅店，2011-9-11下午所有开始奔波找工作的毕业生们，加油。1. sizeof是什么？宏定义？函数？sizeof即不是宏定义，也不是函数，那么好吧，他是什么？答曰”运算符“。2. 应用场景在设计计算对象

原创 pthread_cond_wait和while的问题

如果使用linux下的条件变量的话通常意义上，会编写这样的代码：#include struct msg { struct msg *m_next; /* ... more stuff here ... */};struct msg *workq;pt

原创 memcached基本处理流程

main线程网络处理流程worker网络处理流程

原创 libevent学习笔记1：牛刀小试

libevnet学习笔记11.   Libevent是什么？Libevent是一个轻量级的开源的高性能的网络库，被众多的开源项目使用，例如大名鼎鼎的memcached等。具有如下的显著的特点：事件驱动，轻量级（和ACE相比的话），跨平台，支持多路的IO复用技术，支持定时器、信号等