- 博客(23)
- 收藏
- 关注
RSS订阅原创 Time Clocks and the Ordering of Events in a Distributed System(译)
作者：Leslie Lamport. 1978原文：http://www.stanford.edu/class/cs240/readings/lamport.pdf译者：phylips@bmy 2012-10-13译文：http://duanple.blog.163.com/blog/static/709717672012920101343237/[序： 时间是一个很抽象的概...
2014-02-12 10:19:46
653
原创 分布式系统领域经典论文翻译集
分布式领域论文译序sql&nosql年代记SMAQ：海量数据的存储计算和查询一．google论文系列1. google系列论文译序2. The anatomy of a large-scale hypertextual Web search engine (译 zz)3. web search for a planet :the go...
2013-06-06 11:15:42
441
原创 Redis安装和使用示例
Redis是目前众多NoSQL产品中非常有特点的一款，支持的数据类型和方法都非常丰富，做为一款具备持久化功能的软件，实际使中更多却是将其做为cache。三思在个人的测试环境中安装使 用了两三天，这期间尽管文档看了不少，但其实收获不多，不过对于NoSQL产品的整体看法一直没变，我觉着各类型NoSQL产品都还只是工具，并且是小工 具，称不上产品。小工具能起大作用这不假(redis目前在国内最知名...
2013-06-04 14:27:57
189
原创 [转]linux共享库位置配置(LD_LIBRARY_PATH环境变量 或者 更改/etc/lld.so.conf
Linux 运行的时候，是如何管理共享库(*.so)的？在 Linux 下面，共享库的寻找和加载是由 /lib/ld.so 实现的。 ld.so 在标准路经(/lib, /usr/lib) 中寻找应用程序用到的共享库。但是，如果需要用到的共享库在非标准路经，ld.so 怎么找到它呢？目前，Linux 通用的做法是将非标准路经加入 /etc/ld.so.conf，然后运行 ldconfi...
2013-05-28 12:02:25
250
原创 常用资源地址集
1. heritrix svn地址https://archive-crawler.svn.sourceforge.net/svnroot/archive-crawler/trunk/heritrix32. heritrix源码分析http://www.cnblogs.com/chenying99/category/468890.html
2013-05-23 00:15:09
200
Heritrix源码分析之URI调度详解
一. 简述URI调度，简单的来说就是提供一个分配URI和加入URI的方法，抓取线程通过分配URI获取待抓取URI，抓取分析完成后需要把希望继续抓取的URI加入到调度器内，等待调度。Heritrix的CrawlController是通过定义一个Java代码 private transient Frontier frontier 来实现调度器的管...
2013-05-20 23:28:24
171
原创 Heritrix源码分析之URI调度详解
一. 简述URI调度，简单的来说就是提供一个分配URI和加入URI的方法，抓取线程通过分配URI获取待抓取URI，抓取分析完成后需要把希望继续抓取的URI加入到调度器内，等待调度。Heritrix的CrawlController是通过定义一个 private transient Frontier frontier 来实现调度器的管理的，Heritrix提供了若干个调度器的实现，当然...
2013-05-20 15:50:31
258
原创 cdh3u4 编译eclipse-plugin(转载)
使用的是CDH3u4的hadoop，和单独的hadoop差不多，但是参考网上的教程的时候遇到的问题还是很多的，所以就记录下来。1.添加工程在Eclipse中Import导入已有的工程目录：\src\contrib\eclipse-plugin\2.添加build-contrib.xml直接把\src\contrib\build-contrib.xml拖到工程中就可以了，注意...
2013-05-08 13:03:41
180
原创 Berkeley DB设计经验（转载）
很久没有做翻译这种苦力活了，这是断断续续折腾了好久周的结果 - http://www.ituring.com.cn/article/details/8111原文链接：http://www.aosabook.org/en/bdb.html作者：Margo Seltzer 和 Keith Bostic康威法则（Conway’s law）说明了设计反映了产生它的组织的结构。展开来说，我们...
2013-05-06 16:08:13
307
原创 Ubuntu 11.4 安装 Cloudera CDH3
Part I Hadoop Click one of the following:this link for a Maverick system. 安装一个最近的吧Install the package. Do one of the following: Choose Open with in the download window to use the package manag...
2013-05-01 01:45:02
126
android 开发小知识集
1.缩小模拟器的尺寸当你打开你的模拟器，如果发现模拟器无法完全显示在屏幕内，通常是下面有一部分被遮住了，这时候可以缩小其尺寸：具体方法如下：Eclipse下：可以通过Run configuration->Target,然后在最下面的Additional Emulator内设置参数-scale,赋予小于1的值，如0.8 ...
2013-04-29 17:33:34
132
原创 Android开发之旅：环境搭建及HelloWorld
引言 本系列适合0基础的人员，因为我就是从0开始的，此系列记录我步入Android开发的一些经验分享，望与君共勉！作为Android队伍中的一个新人的我，如果有什么不对的地方，还望不吝赐教。 在开始Android开发之旅启动之前，首先要搭建环境，然后创建一个简单的HelloWorld。本文的主题如下： 1、环境搭建1.1、JDK安装1.2、Eclipse...
2013-04-29 16:31:59
118
原创 消息中间件实现比较
转载自：http://it.dianping.com/base/2011/94_%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E5%AE%9E%E7%8E%B0%E6%AF%94%E8%BE%83.html这一篇博客准备聊聊消息系统，消息中间件对目前大中型互联网来说是非常重要的，在业务数据流动中仅次于RPC服务调用，担负着越来越复杂的网站业务从主...
2013-04-27 11:17:25
324
原创 Hadoop MapReduce开发环境搭建
开发MR程序一般需要用到JDK，Eclipse，Hadoop集群，网上已经有不少的博文已经有这方面的记载，但是还是想把整个过程好好的整理和记录下来。一.基于Windows 7 平台搭建hadoop集群及MR开发环境 需要安装的软件及版本：OS:win 7shell支持：cygwinJDK:1.6.0_38hadoop:0.20.2eclipse:Juno Servi...
2013-04-24 00:56:39
367
原创 MapReduce数据流
转载自：http://www.open-open.com/lib/view/open1329385847468.htmlHadoop的核心组件在一起工作时如下图所示：图4.4高层MapReduce工作流水线 MapReduce的输入一般来自HDFS中的文件，这些文件分布存储在集群内的节点上。运行一个MapReduce程序会在集群的许多节点甚至所有节点上运行mappi...
2013-04-22 21:54:06
193
原创 编译hadoop-0.20.2的eclipse-plugin插件
hadoop-0.20.2自带的eclipse-plugin对版本在3.3以上的eclipse不起作用，在eclipse hadoop开发环境配置中，我用的是第三方编译的eclipse插件，但它也有可能在你的电脑上不起作用，所以自己会编译hadoop-0.20.2的eclipse-plugin很有必要。在编译eclipse-plugin之前，需要安装apache-ant，apache-...
2013-04-21 23:32:08
142
Hadoop 0.23.6安装实践1-单机开发版安装
hadoop 0.23开始添加了yarn（MRv2）模块，文件结构也发生了较大的变化。以下就安装部署流程详细记录一下。安装环境：系统：Ubuntu 12.10hadoop：0.23.6jdk：sun 1.7.0_21安装步骤：一.安装JDK安装 orcale jdk，并且配置环境以及设置成默认（略）检查jdk是否正确安装和配置在主目录下执行java -v...
2013-04-20 15:43:49
135
原创 Hadoop 0.23.6安装实践1-单机开发版安装
hadoop 0.23开始添加了yarn（MRv2）模块，文件结构也发生了较大的变化。以下就安装部署流程详细记录一下。安装环境：系统：Ubuntu 12.10hadoop：0.23.6jdk：sun 1.7.0_21安装步骤：一.安装JDK安装 orcale jdk，并且配置环境以及设置成默认（略）检查jdk是否正确安装和配置在主目录下执行java -v...
2013-04-18 22:45:46
142
原创 zookeeper学习(01)——初识zookeeper
Zookeeper有什么用：Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题。通俗的讲，zookeeper管理和维护这个集群系统中节点共同关系的关键数据，集群的节点作为zookeeper集群的客户端，能够向zookeeper提交关键数据，并允许节点向zookeeper注册感兴趣的数据，当感兴趣的数据被修改时能够通过事件回调方式及时通知集群节点。zo...
2013-04-12 23:33:37
180
原创 m2eclipse插件地址
SVN 插件地址http://subclipse.tigris.org/update_1.6.xhttp://subclipse.tigris.org/update_1.8.x m2eclipse插件地址：http://m2eclipse.sonatype.org/sites/m2e/0.10.0.20100209-0800/http://mevenide.codehaus....
2013-04-10 00:41:01
173
原创 shell 常用语句备忘录
shell 常用语句备忘录：1.获取shell脚本所在的目录，该语句允许在不同的目录下执行该脚本 DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"
2013-04-10 00:39:33
116
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人