
高性能及分布式计算[hadoop]
kangquan2008
一是希望我能把以前的积累再次重新的梳理一次,查缺补漏。二也是在这世界留下点记录。。表明我曾经来到过这世界,学到过这些东西。。
展开
-
分布式的CAP原理与最终一致性
http://baike.baidu.com/view/45961.htm#3 来自百度百科,只是为了备忘。 CAP原理(CAP Theorem) 在足球比赛里,一个球员在一场比赛中进三个球,称之为帽子戏法(Hat-trick)。在分布式数据系统中,也有一个帽子原理(CAP Theorem),不过此帽子非彼帽子。CAP原理中,有三个要素: 一致性(Con转载 2011-12-30 21:56:18 · 1246 阅读 · 0 评论 -
使用Eclipse 开发hadoop应用[备忘]
1。我使用的是 hadoop0.20.2,使用最新版时无法用Eclipse连接,解决不了2。插件在hadoop的contrib文件夹中,0.20.2的插件放在eclipse 的plugins文件夹中,运行 run on hadoop 无反映,后下载了0.20.3的插件,放在 dropins中,可用3。放完插件,重启Eclipse后windows->openperspective->othe原创 2011-12-12 19:48:53 · 748 阅读 · 0 评论 -
Hadoop 上使用c 语言编程
今天尝试用C语言在hadoop上编写统计单词的程序,具体过程如下:一、编写map和reduce程序mapper.c#include #include #include #define BUF_SIZE 2048#define DELIM '\n'int main(int argc, char * argv[]){ char buffer[BUF_SIZE]; wh原创 2011-12-05 16:05:43 · 10217 阅读 · 4 评论 -
HBase入门
转自 : http://www.jdon.com/jivejdon/thread/38244最近因为项目原因,研究了Cassandra,Hbase等几个NoSQL数据库,最终决定采用HBase。在这里,我就向大家分享一下自己对HBase的理解。在说HBase之前,我想再唠叨几句。做互联网应用的哥们儿应该都清楚,互联网应用这东西,你没办法预测你的系统什么时候会转载 2011-12-30 22:39:59 · 1344 阅读 · 0 评论 -
hadoop管理时遇到的问题[备忘]
1.Hadoop缺省端口列表Daemon Default PortConfiguration ParameterNamenode 50070 dfs.http.addressData原创 2011-12-14 20:02:34 · 862 阅读 · 0 评论 -
hadoop 单机、伪分布式及集群下的运行测试总结
最近老师叫找几个并行框架来测试一下,想用于分布式图像渲染。之前了解过google的GFS和mapreduce,然后听说hadoop不错,试着用了一下。我使用的是hadoop0.20.2版,测试的例子均使用统计单词个数的例子,下面是总结:首先提一下,命令的格式一般为 bin/hadoop (命令所属集) -(具体命令).1.单机模式hadoop支持在单机的情况原创 2011-12-01 22:29:54 · 3097 阅读 · 0 评论 -
图解redis
内容主要摘自redis设计与实现一书图为visio所作,如若想要原vsd文件以便编辑,可留言留下邮箱原创 2014-02-04 13:36:59 · 1997 阅读 · 0 评论