dp452667730-优快云博客

转载 hadoop基准测试

一、测试条件集群完全安装配置后，应立即开始基准测试。基准测试时集群里不应该运行其他一切任务。二、测试目标1. 硬盘故障：新系统最常见的故障。可以通过运行高强度的IO基准测试程序集中测试。例如TestDFSIO2. MapReduce的性能三、测试方法1、TestDFSIO基准测试HDFS测试顺序应该是先写测试后读测试写测试：使用10个map任务写10个文件

2012-10-12 15:34:17 1521

转载 linux下的arp命令详解

转自：http://it.100xuexi.com/view/otdetail/20120417/18e5dc81-17c3-4df1-8086-73f4b4c22956.htmllinux下的arp命令详解 [大] [中] [小] 发布人：圣才学习网发布日期：2012-04-17 14:09 共158人浏览　　佚名 baidu我们先看一下linux下的a

2012-08-20 14:40:46 2003

转载 SVN中补丁(patch)的制作与应用

来源：http://wenxuezhai.net/archives/107SVN中补丁(patch)的制作与应用2012-07-11最近，在项目中忽然有了使用补丁的需求，所以上网查了一下，找的一篇觉得不错的文章，抄录如下。命令简介用到的两个命令是diff和patch。diffdiff可以比较两个东西，并可同时记录下二者的区别。制作补丁时的一般用法和常见选项为：

2012-08-14 17:16:57 11486

转载使用svn 时打patch与应用 patch

来源:http://blog.youkuaiyun.com/zjujoe/article/details/3622312我们使用 svn 作为版本管理工具。有时同事 A 做的修改需要同事 B 去 Review, 同事 C 去提交。今天发现，使用 patch 工具可以很好的解决代码传递问题。生成 patch:同事 A 运行如下命令生成 patch:svn diff > aaa.patch

2012-08-14 17:08:33 862

转载 linux进程的一些操作

linux前后台进程操作转载自：http://blog.163.com/zheng_he_xiang/blog/static/186505326201163110556342/bg命令后台运行命令作用：bg命令使一个被挂起的进程在后台执行。格式：bg该命令无参数。使用说明：Linux作为一个多任务环境，用户会同时执行多项任务，例如，查看系统情况、备份资料、编

2012-08-08 14:35:23 505

转载 java中assert的使用

一、assertion的意义和用法 J2SE 1.4在语言上提供了一个新特性，就是assertion功能，它是该版本在Java语言方面最大的革新。从理论上来说，通过 assertion方式可以证明程序的正确性，但是这是一项相当复杂的工作，目前还没有太多的实践意义。在实现中，assertion就是在程序中的一条语句，它对一个boolean表达式进行检查，一个正确程序必须保

2012-08-07 11:51:45 399

翻译进程名杀进程

killall 进程名pid='ps gaux | grep smonsvr | grep -v grep | awk '{print $2}''kill -9 &pid如何kill掉进程名包含某个字符串的一批进程: kill -9 $(ps -ef|grep 进程名关键字|gawk '$0 !~/grep/ {print $2}' |tr -s '\n' ' ') 观测进程名

2012-08-06 09:44:23 1414

转载 hadoop作业执行之TaskTracker

转自：http://hi.baidu.com/fengvsjinglove/item/7e78060ff64f5c1a3b53ee7chadoop作业执行流程及代码简略解读之四TaskTracker6. TaskTrackerTaskTracker是在网络环境中开始和跟踪任务的核心位置。与Jobtracker连接请求执行任务而后报告任务状态6.0 TaskTracker的启动

2012-08-03 16:50:44 3022

转载 ZK编程-创建节点+watcher（转载）

华夏35度Data Mining,NLP,Search EngineZooKeeper编程CreateModePERSISTENT：创建后只要不删就永久存在EPHEMERAL：会话结束年结点自动被删除SEQUENTIAL：节点名末尾会自动追加一个10位数的单调递增的序号PERSISTENT_SEQUENTIAL：结合PERSISTENT和SEQUENTI

2012-07-31 10:28:35 8312

原创 Avatar配置（转载）

Hadoop 双机热备-AvatarNode部署转载自：http://blog.youkuaiyun.com/rzhzhz/article/details/7448453Hadoop 双机热备--AvatarNode部署部署环境虚拟机5台（1G内存，40G硬盘，ubuntu操作系统，Hadoop-0.20.2）hadoop1-virtual-machine 10.10.11.2...

2012-07-26 20:02:43 1002

如果只增加集群的存储量，建议增加Hadoop datanode节点。方法：- •停掉集群包括Hadoop和hbase，当然也可以不停掉，直接在hadoop namenode的配置文件Slave里添加新节点的host，别忘了在host文件里也要添加新添加的host名。 •执行bin/start-all.sh启动集群 •如果不手动作平衡，插入的数据将会放在新添加的节点上。以趋于平衡。 •如果手动平衡...

2012-07-26 19:31:08 129

原创 zookeeper理论（转载）

分布式服务框架 Zookeeper -- 管理分布式环境中的数据许令波, Java 工程师, 淘宝网许令波，现就职于淘宝网，是一名 Java 开发工程师。对大型互联网架构设计颇感兴趣，喜欢钻研开源框架的设计原理。有时间将学到的知识整理成文章，也喜欢记录下工作和生活中的一些思考。个人网站是： HYPERLINK "http://xulingbo.net" http://xu...

2012-07-26 19:13:26 101

Hadoop工作室