<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[coderplay的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/coderplay</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; coderplay]]></copyright><item><title><![CDATA[文件在使用FileChannel.map后不能被删除(Windows上)]]></title><link>https://blog.youkuaiyun.com/coderplay/article/details/84377225</link><guid>https://blog.youkuaiyun.com/coderplay/article/details/84377225</guid><author>coderplay</author><pubDate>Sun, 06 Jan 2013 18:07:24 +0800</pubDate><description><![CDATA[同事发现在Windows上使用FileChannel的map方法之后, 不能够删除掉文件. 我在Linux上试了一下, 发现没这个问题。 做个笔记, 记录一下. 
[code=&quot;java&quot;]
import java.io.File;
import java.io.RandomAccessFile;
import java.lang.reflect.Method;
import java....]]></description><category></category></item><item><title><![CDATA[警惕使用jvm参数CMSRefProcTaskProxy]]></title><link>https://blog.youkuaiyun.com/coderplay/article/details/84342251</link><guid>https://blog.youkuaiyun.com/coderplay/article/details/84342251</guid><author>coderplay</author><pubDate>Wed, 31 Oct 2012 10:19:41 +0800</pubDate><description><![CDATA[    昨天中午的时候, 团队的兄弟找我看一个现象: 原先因为堆外内存使用过多会crash掉的java应用, 设置了最大堆外内存量(MaxDirectMemorySize)后jvm不会crash, 但出现了机器的两颗CPU全部被占满, 而且java程序没有响应的情况. 
    我用jstat -gc/-gcutil/-gccause查了一下当时gc的情况, 发现出现过CMS GC, 最后一次导...]]></description><category></category></item><item><title><![CDATA[从Java视角理解伪共享(False Sharing)]]></title><link>https://blog.youkuaiyun.com/coderplay/article/details/84199056</link><guid>https://blog.youkuaiyun.com/coderplay/article/details/84199056</guid><author>coderplay</author><pubDate>Thu, 19 Apr 2012 18:34:49 +0800</pubDate><description><![CDATA[从Java视角理解系统结构连载, 关注我的微博([url=&quot;http://weibo.com/coderplay&quot;]链接[/url])了解最新动态
 
从我的[url=&quot;http://coderplay.iteye.com/blog/1485760&quot;]前一篇博文[/url]中, 我们知道了CPU缓存及缓存行的概念, 同时用一个例子说明了编写单线程Java代码时应该注意的问题. 下面我们讨论更为...]]></description><category></category></item><item><title><![CDATA[从Java视角理解CPU缓存(CPU Cache)]]></title><link>https://blog.youkuaiyun.com/coderplay/article/details/84186344</link><guid>https://blog.youkuaiyun.com/coderplay/article/details/84186344</guid><author>coderplay</author><pubDate>Sat, 14 Apr 2012 21:54:41 +0800</pubDate><description><![CDATA[从Java视角理解系统结构连载, 关注我的微博([url=&quot;http://weibo.com/coderplay&quot;]链接[/url])了解最新动态

众所周知, CPU是计算机的大脑, 它负责执行程序的指令; 内存负责存数据, 包括程序自身数据. 同样大家都知道, 内存比CPU慢很多. 其实在30年前, CPU的频率和内存总线的频率在同一个级别, 访问内存只比访问CPU寄存器慢一点儿. 由于内...]]></description><category></category></item><item><title><![CDATA[从Java视角理解CPU上下文切换(Context Switch)]]></title><link>https://blog.youkuaiyun.com/coderplay/article/details/84184262</link><guid>https://blog.youkuaiyun.com/coderplay/article/details/84184262</guid><author>coderplay</author><pubDate>Wed, 11 Apr 2012 15:35:18 +0800</pubDate><description><![CDATA[从Java视角理解系统结构连载, 关注我的微博([url=&quot;http://weibo.com/coderplay&quot;]链接[/url])了解最新动态

在高性能编程时,经常接触到多线程. 起初我们的理解是, 多个线程并行地执行总比单个线程要快, 就像多个人一起干活总比一个人干要快. 然而实际情况是, 多线程之间需要竞争IO设备, 或者竞争锁资源，导致往往执行速度还不如单个线程. 在这里有一个经常...]]></description><category></category></item><item><title><![CDATA[抛砖引玉, 淘宝统一离线数据分析平台设计]]></title><link>https://blog.youkuaiyun.com/coderplay/article/details/84059374</link><guid>https://blog.youkuaiyun.com/coderplay/article/details/84059374</guid><author>coderplay</author><pubDate>Thu, 03 Nov 2011 22:58:35 +0800</pubDate><description><![CDATA[把这个拿出来的目的, 是想得到更多的反馈意见, 请邮件至zhouchen.zm@taobao.com

[size=large]历史[/size]
Hive 由 2009 年 3 月引入淘宝作为数据平台的海量数据分析基础框架, 引入的原因有如下
几点: 
(1)  不是所有用户都懂计算机编程, 特别是 MapReduce 的分布式程序, 并且数据平
台的用户大多数会 SQL, Hive...]]></description><category></category></item><item><title><![CDATA[HDFS的一致性分析]]></title><link>https://blog.youkuaiyun.com/coderplay/article/details/83939704</link><guid>https://blog.youkuaiyun.com/coderplay/article/details/83939704</guid><author>coderplay</author><pubDate>Wed, 01 Jun 2011 17:02:38 +0800</pubDate><description><![CDATA[这篇文章去年4月左右写的, 一直留在我的草稿箱, 一直没有写完 :)

在分析HDFS的一致性之前, 我们先得解决HDFS客户端行为的几个问题。

[b][size=large]1. 为什么HDFS不支持多个writer同时写一个文件,即不支持并发写?[/size][/b]
首先谈一谈HDFS产生的历史。HDFS是根据Google的GFS论文所实现的, 初期时它的主要设计目标是为了存储M...]]></description><category></category></item><item><title><![CDATA[NameNode优化笔记 (一)]]></title><link>https://blog.youkuaiyun.com/coderplay/article/details/83810493</link><guid>https://blog.youkuaiyun.com/coderplay/article/details/83810493</guid><author>coderplay</author><pubDate>Wed, 12 Jan 2011 10:32:08 +0800</pubDate><description><![CDATA[很久没有发博客了, 最近这段时间工作上、生活上杂事比较多。最近经常有人问我在学校还是在公司。其实之前在学校读研, 入研之前工作过几年。那时候在学校研究MapReduce, 部署了10台的PC机做些Hadoop与机器学习的研究。08年末觉得学校限制我的发展, 就联系了几家公司实习。最后我到了淘宝实习了一年半, 那时候因为身份还是学生, 前期主要维护淘宝的Hadoop集群, 后期主要研发Hive, 同...]]></description><category></category></item><item><title><![CDATA[我在Hadoop云计算会议的演讲]]></title><link>https://blog.youkuaiyun.com/coderplay/article/details/83737534</link><guid>https://blog.youkuaiyun.com/coderplay/article/details/83737534</guid><author>coderplay</author><pubDate>Tue, 26 Oct 2010 14:59:11 +0800</pubDate><description><![CDATA[点击下载演讲稿


由中科院计算所主办的“Hadoop 中国2010云计算大会”于9月4日在北京召开。淘宝网作为国内最大的Hadoop应用商之一赞助与参与了这次会议。我有幸代表淘宝在大会上分享了淘宝在分布式数据处理实践的内容，下面是ppt的一个节选：
淘宝网目前有会员2亿左右，日均UV高达4000万，日交易量高达10亿元，每天产生大量的数据，所以部署了一系列不同规模的Hadoop集群。淘宝...]]></description><category></category></item><item><title><![CDATA[分布式online与offline设计 slides]]></title><link>https://blog.youkuaiyun.com/coderplay/article/details/83699114</link><guid>https://blog.youkuaiyun.com/coderplay/article/details/83699114</guid><author>coderplay</author><pubDate>Wed, 25 Aug 2010 00:24:18 +0800</pubDate><description><![CDATA[花了两个小时简单了做了一个ppt,给兄弟公司相关人员讲解offline分析(例如hadoop,hive, pig这种应用)与online(例如bigtable, hbase)在设计上的不同,希望能解开大家对两种不同应用在设计上的一些误区。...]]></description><category></category></item><item><title><![CDATA[演讲: Hadoop与数据分析]]></title><link>https://blog.youkuaiyun.com/coderplay/article/details/83636044</link><guid>https://blog.youkuaiyun.com/coderplay/article/details/83636044</guid><author>coderplay</author><pubDate>Sat, 29 May 2010 20:35:49 +0800</pubDate><description><![CDATA[前些天受金山软件公司西山居朋友的邀请, 去了趟珠海与金山的朋友们分享Hadoop与数据分析的相关经验.
附件是此次分享的ppt, 里面有一些图是来自网上。 ...]]></description><category></category></item><item><title><![CDATA[Hadoop的Mapper是怎么从HDFS上读取TextInputFormat数据的]]></title><link>https://blog.youkuaiyun.com/coderplay/article/details/83635905</link><guid>https://blog.youkuaiyun.com/coderplay/article/details/83635905</guid><author>coderplay</author><pubDate>Sat, 29 May 2010 11:46:30 +0800</pubDate><description><![CDATA[[code=&quot;java&quot;]
LineRecordReader.next(LongWritable key, Text value)
  LineReader.readLine(Text str, int maxLineLength, int maxBytesToConsume)
    DataInputStream.read(byte b[])  /* DFSDataInputStream...]]></description><category></category></item><item><title><![CDATA[ Anthill: 一种基于MapReduce的分布式DBMS ]]></title><link>https://blog.youkuaiyun.com/coderplay/article/details/83612650</link><guid>https://blog.youkuaiyun.com/coderplay/article/details/83612650</guid><author>coderplay</author><pubDate>Tue, 11 May 2010 22:47:44 +0800</pubDate><description><![CDATA[MapReduce is a parallel computing model proposed by Google for large data sets, it’s proved to have high availability, good scalability and fault tolerance, and has been widely used in recent years. H...]]></description><category></category></item><item><title><![CDATA[HDFS的追加/刷新/读设计]]></title><link>https://blog.youkuaiyun.com/coderplay/article/details/83533924</link><guid>https://blog.youkuaiyun.com/coderplay/article/details/83533924</guid><author>coderplay</author><pubDate>Tue, 26 Jan 2010 00:26:48 +0800</pubDate><description><![CDATA[hdfs将在0.21版(尚未发布),把DFSOutputStream中的fsync操作(实际上是sync方法)更名为hflush, 因为之前的fsync做的工作实际上不是同步数据到磁盘,而是刷新(flush)缓存。fsync功能可能会在以后的版本中添加。
 
DFS对于未关闭文件的数据提供最大努力持久:
1. NameNode持久化文件元数据信息，但不持久化文件由哪些块组成的信息。重启Nam...]]></description><category></category></item><item><title><![CDATA[TFile, SequenceFile与gz,lzo压缩的测试]]></title><link>https://blog.youkuaiyun.com/coderplay/article/details/83526591</link><guid>https://blog.youkuaiyun.com/coderplay/article/details/83526591</guid><author>coderplay</author><pubDate>Thu, 07 Jan 2010 22:47:59 +0800</pubDate><description><![CDATA[先记一记,以后解释 :)
 
$hadoop jar tfile-0.00.1-dev.jar org.apache.hadoop.io.file.tfile.TestTFileSeqFileComparison -c gz -f seqfile -r /home/zhoumin/tmp -x rw -b 65536 -s 1024 
=== SeqFile: Creation (KLEN:...]]></description><category></category></item><item><title><![CDATA[用户推荐Slope One算法与mapreduce&hive实现]]></title><link>https://blog.youkuaiyun.com/coderplay/article/details/83460148</link><guid>https://blog.youkuaiyun.com/coderplay/article/details/83460148</guid><author>coderplay</author><pubDate>Mon, 14 Sep 2009 20:23:58 +0800</pubDate><description><![CDATA[下载本文代码

用户推荐越来越热, Google使用MinHash, PLSI, LDA, SVD, SVM等算法,分析用户的喜好, 实现新闻的自动分类；新浪也用Slope One以及一些Item-based的算法对音乐进行推荐; 淘宝定期会启动MapReduce作业分析前一天或者一个月用户收藏的宝贝,给相同喜好的买家提供推荐服务。
本文要描述的Slope One
算法是一种对评分进行预测...]]></description><category></category></item><item><title><![CDATA[hive权限控制]]></title><link>https://blog.youkuaiyun.com/coderplay/article/details/83457581</link><guid>https://blog.youkuaiyun.com/coderplay/article/details/83457581</guid><author>coderplay</author><pubDate>Mon, 07 Sep 2009 14:35:53 +0800</pubDate><description><![CDATA[对hive的元数据表结构要作以下调整：

hive用户不与表有直接关系,表没有owner,只有能看见(能操作)/不能看见(不能操作)某个表之分。所以TBLS表应当去掉Owner字段。
对于CLI版本还是有一些冲突。目前Hive的CLI是运行在hive本地, 各用户使用各自的配置。配置里有元数据所在持久层(我们使用的是mysql)的位置，所以得有此库的写权限。一般情况下，每个用户对应自己的一个m...]]></description><category></category></item><item><title><![CDATA[avro编译]]></title><link>https://blog.youkuaiyun.com/coderplay/article/details/83426664</link><guid>https://blog.youkuaiyun.com/coderplay/article/details/83426664</guid><author>coderplay</author><pubDate>Sat, 04 Jul 2009 00:36:22 +0800</pubDate><description><![CDATA[avro是doug cutting主持的rpc项目,有点类似google的protobuf和facebook的thrift. avro用来做以后hadoop的rpc, 使hadoop的rpc模块通信速度更快,数据结构更紧凑。还有一个很令人兴奋的一点，就是支持多种语言,例如: c/c++,java,python。 这就意味着我们用c写hdfs文件,可以不用烦人的jni; 提交一个job也可以直接是p...]]></description><category></category></item><item><title><![CDATA[Hive的一些问题]]></title><link>https://blog.youkuaiyun.com/coderplay/article/details/83402105</link><guid>https://blog.youkuaiyun.com/coderplay/article/details/83402105</guid><author>coderplay</author><pubDate>Mon, 01 Jun 2009 16:51:58 +0800</pubDate><description><![CDATA[偏激了一点.
总体来说Hive的思想是不错的, 思路是清晰的, 但代码也是啰嗦的, 简单的功能非得涉及到3,4个类,有时候十多个类。
 
1. 实现代码过量使用自己造的术语以及由它们引申的术语,导致代码理解起来非常困难, 例如SerDe(DynamicSerDe, LazySimpleSerDe), 如果说SerDe从字面Deserializer+Serializer还比较好理解的话. 那么...]]></description><category></category></item><item><title><![CDATA[出道distinct相关的sql题给大家做做]]></title><link>https://blog.youkuaiyun.com/coderplay/article/details/83399487</link><guid>https://blog.youkuaiyun.com/coderplay/article/details/83399487</guid><author>coderplay</author><pubDate>Fri, 22 May 2009 20:13:07 +0800</pubDate><description><![CDATA[这几天在做sql编译相关的东西, 自己弄了个题目,连资深数据库开发人员都可能会搞错. 以下sql中哪些执行时会报错? (适于所有常见DBMS)
1.
select
   distinct col
from
  tbl

2.
select
  distinct col1,
  distinct col2
from
  tbl  

3.
select
   coun...]]></description><category></category></item></channel></rss>