lfruc的专栏

海量数据处理

lfruc — Sat, 22 Oct 2011 19:40:30 +0800

大数据量的问题是很多面试笔试中经常出现的问题，比如baidu google 腾讯这样的一些涉及到海量数据的公司经常会问到。下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。

代码测试

lfruc — Sat, 28 May 2011 11:00:00 +0800

#include
#include
#include
#include
typedef struct ct_sum
{
int sum;
pthread_mutex_t lock;
}ct_sum;

test

lfruc — Sat, 19 Mar 2011 10:14:00 +0800

#include int main(void) { char c; while ( (c = getc(stdin)) != EOF) { if (putc(c,stdout) == EOF) { fprintf(stderr,"output error/n"); exit(1); } } exit(0); }

Incorporating contextual information in recommender systems using a multidimensional approach

lfruc — Tue, 21 Dec 2010 21:22:00 +0800

Introduction 许多应用不止应考虑用户和物品，也应该包含上下文信息。例，个性化的内容推荐系统，决定哪些内容是需要被推荐给用户，何时推荐给用户是十分重要的。更特殊的，在工作日，一个使用者早上登录时或许喜欢读事件新闻，晚上喜欢读故事报告，在休息日喜欢读电影评论和购物。另一例，智能购物车利用无线定位技术为消费者提供实时的推荐，需要考虑的信息不仅是商品和消费者的信息，还有诸如购物时间，商店，谁陪同消费，购物车中的商品，商品在商店的位置等上下文信息。另一例，一个推荐系统或许推荐用户不同的电影一

MapReduce and Parallel DBMSs Friends or Foes

lfruc — Tue, 21 Dec 2010 21:20:00 +0800

MR架构更像一个ETL（extract-transform-load提取-传输-装载）系统，它可以即时的快速地装载处理大规模数据，所以说MR是并行数据库的补充。由A Comparison of Approaches to Large-Scale Data Analysis的benchmark可得一条结论：DBMSs效率要优于MR，但是数据装载开销长于MR。并行数据库系统：应用技术：关系表的水平分割和SQL查询的分割执行水平分割：将表中的行分布到集群中的各个节点上以便并行处理大多

C#借助API实现黑盒自动化测试工具的编写

lfruc — Tue, 21 Dec 2010 21:15:00 +0800

本文和大家分享一下C#借助API实现黑盒自动化测试工具的编写，嗯，是篇不错的文章，一起来学习下。本文摘要： 1：一个简单的例子 1.1：EnumChildWindows介绍 1.2：主要源码 2：难点：如何获取指定的控件句柄 2.1：使用SPY++ 2.2：获取控件位置 2.3：获取控件ID 1：一个简单的例子在日常编码过程中，我们常常会进行自动化测试。这里的自动化测试不是指单元测试，而是模拟人工输入来进行快速的、高并发的

LSB-Tree

lfruc — Mon, 13 Dec 2010 21:56:00 +0800

应用：高维空间的最近邻居搜索，比如在协同过滤系统中找到与你最相似的用户等应用。从数据库的角度，好的解决方案应该有如下两个特征： 1）很容易和关系型数据库兼容； 2）查询开销随着数据集的增大应该线性的增长，而与数据和查询分布无关； LSH(Locality sensitive hashing,局部敏感哈希算法）是满足两个特征的经典方法。但是它的实现或是需要昂贵的空间和查询开销，或是丧失对查询结果质量的理论保证。所以香港中文大学的陶宇飞等人提出了LSB-Tree算法，提供快速，准确的关系数据库上的高维