杨镇宇的博客

【文章摘要】据悉，淘宝Hadoop集群拥有2860个节点，清一色基于英特尔处理器的x86服务器，其总存储容量50PB，实际使用容量超过40PB，日均作业数高达15万，为淘宝网的日常运营做出了关键支撑。对了，它还有一个很美丽的名字：“云梯”。　　当下中国超大规模的单Master节点Hadoop集群在哪里？在淘宝。　　据悉，淘宝Hadoop集群拥有2860个节点，清一色基于英特尔处理器的x8...

hadoop + ffmpeg 分布式转码系统实践hadoop 安装ffmpeg 安装mkvtoolnix 安装 一、分割视频：mkvmerge --split size:32m ./heihu01.mp4 -o ./heihu01.%05d.mp4 二、hdfs中创建存放分割后视频的目录hadoop fs -mkdir movies 三、上传分割后的...

我的新浪微博：http://weibo.com/freshairbrucewoo。欢迎大家相互交流，共同提高技术。 第一章 Hadoop启动Shell启动脚本分析第一节 start-all.sh脚本此脚本很简单，就是根据运行此脚本的目录进入安装hadoop目录下的bin目录，然后运行启动hdfs和mapred的启动脚本。 [plain] view plain...

前记： 这些天一直学习hadoop,学习中也遇到了许多的问题，主要是对hadoop的shell脚本和hadoop的源码概念不够清楚，所以我就对hadoop的bin目录下的shell脚本进行了研究，有一些成果想记录下来，也希望大家前来批评指正。分析原因： 很多hadoop的初学者对hadoop的脚本不是很清楚，不知道为什么可以在命令行中启动hadoop,也不知道为什么有时在命令行中运行hadoop...

使用的是CDH3u4的hadoop，和单独的hadoop差不多，但是参考网上的教程的时候遇到的问题还是很多的，所以就记录下来。1.添加工程在Eclipse中Import导入已有的工程目录：\src\contrib\eclipse-plugin\2.添加build-contrib.xml直接把\src\contrib\build-contrib.xml拖到工程中就可以了，注意选择...

对于Hadoop开发者来讲，通过JAVA API编程是进入Map-Reduce分布式开发的第一步。由于Eclipse本身并没有提供对MapReduce编程模式的支持，所以需要一些简单的步骤来实现。1. 安装Hadoop。本文的Hadoop是部署在虚拟机上的伪分布模式。相关软件环境如下：JDK： sun jdk1.6.0_30Hadoop: hadoop-0.20.203.0L...

接上一篇文章：Hadoop学习全程记录——hadoop 入门 这是Hadoop学习全程记录第2篇，在这篇里我将介绍一下如何在Eclipse下写第一个MapReduce程序。 新说明一下我的开发环境： 操作系统：在windows下使用wubi安装了ubuntu 10.10 hadoop版本：hadoop-0.20.2.tar.gz Eclipse版本：eclipse-jee-helios-SR1-...

可扩展的分布式数据库架构7 15th, 2010 | Posted by jacky | Filed under 大话技术发表评论 | Trackback本文发表在《程序员》杂志2010年第6期引 言数据库的可用性和扩展性一直是数据库厂商和用户最关注的问题。过去我们采用高端的设备，比如使用小型机和大型存储来保证数据库的可用 性。而扩展性主要采用向上扩展(Scal...

原文: http://ria101.wordpress.com/2010/02/24/hbase-vs-cassandra-why-we-moved/ 原作者：Dominic Williams 原文发布日期：February 24, 2010 at 7:27 pm 译者：王旭（http://wangxu.me/blog/ , @gnawux） 翻译时间：2010年3月21-25日我的团队...