<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[碧波海天]]></title><description><![CDATA[皓月星空]]></description><link>https://blog.youkuaiyun.com/magicdreaming</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; magicdreaming]]></copyright><item><title><![CDATA[ToolRunner与eclipse hadoop 插件的替代品，简化M/R程序的开发]]></title><link>https://blog.youkuaiyun.com/magicdreaming/article/details/7966074</link><guid>https://blog.youkuaiyun.com/magicdreaming/article/details/7966074</guid><author>magicdreaming</author><pubDate>Tue, 11 Sep 2012 12:44:44 +0800</pubDate><description><![CDATA[目前开发的时候测试M/R程序有三种方式

1.  直接打成jar包，然后放到服务器中去执行。此方法步骤繁琐，每次都要打包上传。


2.  使用Hadoop的Ecilpse插件，但是对于N多的Hadoop版本总替换插件，是不是也是一种痛苦呢？


3.  使用Hadoop的测试框架，这种情况我使用的比较少，感觉不太方便，每都相当于在本地启动各个服务（我电脑配置不好，压力啊！！汗一个]]></description><category></category></item><item><title><![CDATA[String.split()方法的一点说明]]></title><link>https://blog.youkuaiyun.com/magicdreaming/article/details/7814786</link><guid>https://blog.youkuaiyun.com/magicdreaming/article/details/7814786</guid><author>magicdreaming</author><pubDate>Tue, 31 Jul 2012 16:23:16 +0800</pubDate><description><![CDATA[今天在进行开发时结果总是不正确。调试发现如下内容：
原字符串

valStr="1.txt\\*\\&\\*5" 想拆分成1.txt与5，方法如下


String[] splitVal = valStr.split("\\*\\&\\*");
String rowkey = splitVal[0];
可是实际结果却是没有拆分成功，结果还是splitVal.length=1]]></description><category></category></item><item><title><![CDATA[hbase的replication使用]]></title><link>https://blog.youkuaiyun.com/magicdreaming/article/details/7722825</link><guid>https://blog.youkuaiyun.com/magicdreaming/article/details/7722825</guid><author>magicdreaming</author><pubDate>Fri, 06 Jul 2012 16:54:23 +0800</pubDate><description><![CDATA[原地址：http://koven2049.iteye.com/blog/983633
hbase-0.90.0的一个重要改进是引入了replication机制，使它的数据完整性得到了进一步的保障。虽然这一功能还不太完善，但是今后必然会变得更加重要。 

hbase的replication机制很像mysql statement-based replication。它是通过WALEdit和hlo]]></description><category></category></item><item><title><![CDATA[Mongodb VS Hbase]]></title><link>https://blog.youkuaiyun.com/magicdreaming/article/details/7722679</link><guid>https://blog.youkuaiyun.com/magicdreaming/article/details/7722679</guid><author>magicdreaming</author><pubDate>Fri, 06 Jul 2012 16:23:55 +0800</pubDate><description><![CDATA[转载：http://hi.baidu.com/i1see1you/blog/item/a8038399d9a777286e068c8a.html
1.Mongodb bson文档型数据库，整个数据都存在磁盘中，hbase是列式数据库，集群部署时每个familycolumn保存在单独的hdfs文件中。
2.Mongodb 主键是“_id”,主键上面可以不建索引,记录插入的顺序和存放的顺序一样，h]]></description><category></category></item><item><title><![CDATA[hadoop作业调优参数整理及原理]]></title><link>https://blog.youkuaiyun.com/magicdreaming/article/details/7673509</link><guid>https://blog.youkuaiyun.com/magicdreaming/article/details/7673509</guid><author>magicdreaming</author><pubDate>Mon, 18 Jun 2012 15:44:54 +0800</pubDate><description><![CDATA[原地址：http://www.tbdata.org/archives/1470


1 Map side tuning参数


1.1 MapTask运行内部原理



当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优]]></description><category></category></item><item><title><![CDATA[使用Hive读取Hbase中的数据]]></title><link>https://blog.youkuaiyun.com/magicdreaming/article/details/7673205</link><guid>https://blog.youkuaiyun.com/magicdreaming/article/details/7673205</guid><author>magicdreaming</author><pubDate>Mon, 18 Jun 2012 14:29:08 +0800</pubDate><description><![CDATA[原地址：http://victorzhzh.iteye.com/blog/972406




第一步，启动hadoop，命令：./start-all.sh

第二步，启动hive，命令：

./hive --auxpath /home/dream-victor/hive-0.6.0/lib/hive_hbase-handler.jar,/home/dream-victor/hi]]></description><category></category></item><item><title><![CDATA[Hadoop MapReduce容错性分析]]></title><link>https://blog.youkuaiyun.com/magicdreaming/article/details/7667127</link><guid>https://blog.youkuaiyun.com/magicdreaming/article/details/7667127</guid><author>magicdreaming</author><pubDate>Fri, 15 Jun 2012 17:09:56 +0800</pubDate><description><![CDATA[转载自董的博客 作者:Dong 
网址:http://dongxicheng.org/mapreduce/hadoop-mapreduce-failure-tolerance/
本文讲述Hadoop-0.21.0 以及以上版本中MapReduce的容错机制。包括JobTracker，TaskTracker，Job，Task，Record等级别的容错机制。
1. JobTracker]]></description><category></category></item><item><title><![CDATA[关于NoSQL，你必须知道的九件事]]></title><link>https://blog.youkuaiyun.com/magicdreaming/article/details/7666444</link><guid>https://blog.youkuaiyun.com/magicdreaming/article/details/7666444</guid><author>magicdreaming</author><pubDate>Fri, 15 Jun 2012 14:48:20 +0800</pubDate><description><![CDATA[翻译：http://blog.nosqlfan.com/html/1535.html
原文：NOSQL DB BASICS FOR THE RDBMS-SAVVY


本文提到的列表来源于一篇文章，文章标题是关系型数据库使用者必须知道的一些NoSQL知识。其中总结的九点NoSQL与RDBMS的区别联系非常不错。NoSQLFan为大家翻译在此。

原文链接：NOSQL
 DB BASI]]></description><category></category></item><item><title><![CDATA[关于HBase的一些零碎事]]></title><link>https://blog.youkuaiyun.com/magicdreaming/article/details/7666123</link><guid>https://blog.youkuaiyun.com/magicdreaming/article/details/7666123</guid><author>magicdreaming</author><pubDate>Fri, 15 Jun 2012 13:14:53 +0800</pubDate><description><![CDATA[原地址：http://www.ningoo.net/html/2011/some_tips_about_hbase.html

        目前稳定版本的HBase0.90.2只能基于Hadoop0.20.x系列版本，暂不支持最新的0.21.x。而且官方版本的Hadoop0.20.2（或者0.203.0）缺少一个重要的特性，HDFS不支持sync模式的持久，这样HBase就有较大的丢失数据]]></description><category></category></item><item><title><![CDATA[Region Server意外退出之后…]]></title><link>https://blog.youkuaiyun.com/magicdreaming/article/details/7665587</link><guid>https://blog.youkuaiyun.com/magicdreaming/article/details/7665587</guid><author>magicdreaming</author><pubDate>Fri, 15 Jun 2012 10:42:05 +0800</pubDate><description><![CDATA[原地址：http://www.spnguru.com/2011/04/region-server%E6%84%8F%E5%A4%96%E9%80%80%E5%87%BA%E4%B9%8B%E5%90%8E/

早晨上班好好的，突然nagios报出一台regionserver挂了。顿时忙碌起来。

上去一看，从log中看到这样一条信息


2011-04-08 04:02:22,083]]></description><category></category></item><item><title><![CDATA[Linux和开源软件的商业化历程]]></title><link>https://blog.youkuaiyun.com/magicdreaming/article/details/7662763</link><guid>https://blog.youkuaiyun.com/magicdreaming/article/details/7662763</guid><author>magicdreaming</author><pubDate>Thu, 14 Jun 2012 13:49:35 +0800</pubDate><description><![CDATA[原地址：http://www.oschina.net/news/19409/linux-opensource-commerce

Linux和开源软件的商业化历程大致经历了以下几个阶段。
1.萌芽阶段(1995年以前)
在1995年以前，开源社区基本上没有考虑过商业化运行的问题。与开源软件有关的商业活动仅限于出售开源软件安装盘、书籍及印有开源软件标志的 文化衫等小物品。但是这种商业行为当时]]></description><category></category></item><item><title><![CDATA[Hadoop压缩算法说明与选择]]></title><link>https://blog.youkuaiyun.com/magicdreaming/article/details/7658403</link><guid>https://blog.youkuaiyun.com/magicdreaming/article/details/7658403</guid><author>magicdreaming</author><pubDate>Wed, 13 Jun 2012 10:10:37 +0800</pubDate><description><![CDATA[原地址：http://yjhexy.iteye.com/blog/565334

压缩是否支持多文件和分割：


hadoop默认用压缩算法的本地实现

===============================邪恶的分割线=======================

 压缩是否有本地实现：

hadoop的mapReduce算方法需要Splittable的压缩算法支]]></description><category></category></item><item><title><![CDATA[Hadoop一些参数以及问题解悉]]></title><link>https://blog.youkuaiyun.com/magicdreaming/article/details/7658372</link><guid>https://blog.youkuaiyun.com/magicdreaming/article/details/7658372</guid><author>magicdreaming</author><pubDate>Wed, 13 Jun 2012 10:06:34 +0800</pubDate><description><![CDATA[原地址：http://hi.chinaunix.net/?uid-9976001-action-viewspace-itemid-48380


有时候DFSClient 操作hdfs总报连接超时的time
 out错，不一定都是因为网络原因造成，还有一种比较大的可能性是由于namenode的dfs.namenode.handler.count配置参数太低，默认为10。对hdfs和name]]></description><category></category></item><item><title><![CDATA[redis.conf中文版（基于2.4）]]></title><link>https://blog.youkuaiyun.com/magicdreaming/article/details/7651289</link><guid>https://blog.youkuaiyun.com/magicdreaming/article/details/7651289</guid><author>magicdreaming</author><pubDate>Mon, 11 Jun 2012 09:39:32 +0800</pubDate><description><![CDATA[原地址：http://my.oschina.net/liuxd/blog/61034?from=20120610


# Redis示例配置文件

# 注意单位问题：当需要设置内存大小的时候，可以使用类似1k、5GB、4M这样的常见格式：
#
# 1k => 1000 bytes
# 1kb => 1024 bytes
# 1m => 1000000 bytes
# 1mb => 1024*]]></description><category></category></item><item><title><![CDATA[Hadoop杂解]]></title><link>https://blog.youkuaiyun.com/magicdreaming/article/details/7645521</link><guid>https://blog.youkuaiyun.com/magicdreaming/article/details/7645521</guid><author>magicdreaming</author><pubDate>Fri, 08 Jun 2012 15:26:00 +0800</pubDate><description><![CDATA[Hadoop其他开发方法：
HadoopStreaming 允许用任何 shell 命令作为 map 或 reduce 函数。
libhdfs 是一种基于 JNI 的 C 语言版 API（仅用于 HDFS）。
Hadoop Pipes 是一种兼容 SWIG 的 C++ API （非 JNI），用于编写 MapReduce 作业。 


 Map读入文件不会切割：
自己完成InputF]]></description><category></category></item><item><title><![CDATA[写给15岁的女儿]]></title><link>https://blog.youkuaiyun.com/magicdreaming/article/details/7629802</link><guid>https://blog.youkuaiyun.com/magicdreaming/article/details/7629802</guid><author>magicdreaming</author><pubDate>Mon, 04 Jun 2012 10:46:45 +0800</pubDate><description><![CDATA[近日，乐嘉在发布一篇长文，题为《写给15岁的女儿》。他在文章中就恋爱、做人、学习、阅读等问题以信件的方式跟女儿交流，原因是“丫头你不知，爹也害羞，有很多话，一直没和你说，今日和你聊聊”。该文章被网友广泛转发和评论，不少网友表示，读了之后泪流满面，“刚读前两段就眼眶发热了”，“那颗慈父心让人感动”。

 




 


　　文章里，乐嘉以一个正在过37岁生日的父亲的身份，寄语1]]></description><category></category></item><item><title><![CDATA[配置Hadoop的机架感知]]></title><link>https://blog.youkuaiyun.com/magicdreaming/article/details/7629773</link><guid>https://blog.youkuaiyun.com/magicdreaming/article/details/7629773</guid><author>magicdreaming</author><pubDate>Mon, 04 Jun 2012 10:45:19 +0800</pubDate><description><![CDATA[原地址：http://datasearch.ruc.edu.cn/~boliangfeng/blog/?p=525

我们都知道Hadoop的拓扑结构是机架感知的，这样在分配、请求数据副本时，可以根据机架感知的拓扑结构取得选取节点进行操作的权重（参考Hadoop拓扑结构中关于距离的定义）。
事实上默认Hadoop是没有机架感知的，要想使用它，需要我们额外的配置，配置过程如下：
首先修改na]]></description><category></category></item><item><title><![CDATA[为什么移动计算比移动数据更便宜？]]></title><link>https://blog.youkuaiyun.com/magicdreaming/article/details/7629002</link><guid>https://blog.youkuaiyun.com/magicdreaming/article/details/7629002</guid><author>magicdreaming</author><pubDate>Sun, 03 Jun 2012 23:09:09 +0800</pubDate><description><![CDATA[首先我们要先弄清楚什么是移动计算，什么是移动数据。
假如你是财务的经理，你手下有两名员工：负责商务的小李与负责研发部门的小王。每月统计各部门财务情况时，会发生以下两种情况：


小李与小王是新来的，还不懂业务所有事都需要你来做，小李与小王能作的的工作就是将各部门的帐本每天记录好，并在月底交给你，你算出结果交给BOSS，这就是移动数据小李与小王每个月将自已负责部门的帐本记录好，你抽个时间教会]]></description><category></category></item><item><title><![CDATA[M/R的数据源为HBase时须关闭Speculative Execution]]></title><link>https://blog.youkuaiyun.com/magicdreaming/article/details/7616547</link><guid>https://blog.youkuaiyun.com/magicdreaming/article/details/7616547</guid><author>magicdreaming</author><pubDate>Wed, 30 May 2012 15:40:04 +0800</pubDate><description><![CDATA[在HBase使用Speculative Execution会加重regionserver的load。 
因为用Hadoop map/reduce操作HBase的时候，会尽量采用本地原则，即相应的task尽量使用本地的数据。 而如果另起一个task，则会导致数据不在本地，凭空浪费IO和网络资源。 
强烈建议关闭 Speculative Execution 
方法是在jobconf中设定]]></description><category></category></item><item><title><![CDATA[Hadoop容错性]]></title><link>https://blog.youkuaiyun.com/magicdreaming/article/details/7616531</link><guid>https://blog.youkuaiyun.com/magicdreaming/article/details/7616531</guid><author>magicdreaming</author><pubDate>Wed, 30 May 2012 15:30:14 +0800</pubDate><description><![CDATA[使用Hadoop来运行你的作业的其中一个主要原因就是它的高容错性，就算在由高失败率的节点或网络组成的大集群内运行的作业，Hadoop都可以让作业成功完成。
　　Hadoop实现容错的主要方法就是重新执行任务，单个任务节点(TaskTracker)会不断的与系统的核心节点（JobTracker）进行通信，如果一个TaskTracker在一定时间内（默认是1分钟）无法与JobTracker进行通信，]]></description><category></category></item></channel></rss>