shuhuai007的专栏

原创 Alluxio Master - BlockMaster

Alluxio Master - Block Master

原创 Alluxio架构图-Worker

原创 Alluxio架构图-Master

Alluxio

原创 Alluxio架构图-总

注释：先把最粗的架构图填上

翻译 Alluxio Paper

Alluxio Paper原文 : http://people.eecs.berkeley.edu/~haoyuan/papers/2014_EECS_tachyon.pdf Reliable, Memory Speed Storage for Cluster Computing Frameworks本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Mark

转载 欢迎使用优快云-markdown编辑器

解析json之net.sf.jsonCome From:http://blog.youkuaiyun.com/itlwc/article/details/38442667下载地址 [plain] view plaincopy在CODE上查看代码片派生到我的代码片 本次使用版本:http://sourceforge.net/projects/json-lib/files/json-lib/json-lib-1

转载 正则表达式 不包含指定字符串

参考资料 http://www.imkevinyang.com/2009/08/%E4%BD%BF%E7%94%A8%E6%AD%A3%E5%88%99%E8%A1%A8%E8%BE%BE%E5%BC%8F%E6%89%BE%E5%87%BA%E4%B8%8D%E5%8C%85%E5%90%AB%E7%89%B9%E5%AE%9A%E5%AD%97%E7%AC%A6%E4%B8%B2%E7%9

转载 ant

target>  target name="compile" depends="init" description="compile the source " > javac srcdir="${src}" destdir="${build}"/> target>  target name="dist" depends="compi

转载 Centos 5 install SVN 1.7.X

Coming From: http://blog.youkuaiyun.com/pengyouchuan/article/details/8198667可以在这里下载http://subversion.apache.org/packages.html#centosCentOS默认的yum --install subversion ，安装的是1.6版本WANdis

转载 Virtualbox set shared folder

1. 安装增强功能包(Guest Additions)安装好Ubuntu 11.04 后，运行Ubuntu并登录。然后在VirtualBox的菜单里选择"设备(D)" -> "安装增强功能(I)..."。您会发现在Ubuntu桌面上多出一个光盘图标，这张光盘默认被自动加载到了文档夹/media/VBoxGuestAdditions-4.1.4进入命令

转载 Linux命令----分析CPU的瓶颈

衡量CPU性能的指标：1，用户使用CPU的情况；CPU运行常规用户进程CPU运行niced processCPU运行实时进程2，系统使用CPU情况；用于I/O管理：中断和驱动用于内存管理：页面交换用户进程管理：进程开始和上下文切换3，WIO：用于进程等待磁盘I/O而使CPU处于空闲状态的比率。4，CPU的空闲率，除了上面的WIO以外的空闲时间

转载 solaris上应该如何监控CPU使用情况

在solaris系统上，通常可以使用top和prstat命令监控CPU使用情况。但仅使用这两个命令还不够，因为这两个命令看到的CPU使用率是占全部CPU的比例。也就是说，如果服务器有10个CPU，其中9个CPU使用率为0，1个CPU使用率为100%，那么这两个命令看到的CPU使用率是10%。从整体上看似乎不存在CPU瓶颈，但实际上那个使用率为100%的CPU很可能就是系统性能不佳的根本原因。

转载 Java HotSpot VM Options

http://www.oracle.com/technetwork/java/javase/tech/vmoptions-jsp-140102.htmlPlease note that this page only applies to JDK 7 and earlier releases. For JDK 8 please see the Windows, Solaris, Li

转载 hadoop伪分布式下 无法启动datanode的原因及could only be replicated to > 0 nodes, instead of 1的错误

目前发现一个原因是 因为datanode无法启动从而导致在hadoop上 put数据 出现 could only be replicated to > 0 nodes, instead of 1的错误。输入jps发现唯独只有datanode进程没有起来。所以我们要想办法把datanode启动起来。1.环境描述：ubuntu11.10伪分布是hadoopjdk

转载 DirectBuffer及内存泄漏

创建Buffer对象时，可以选择从JVM堆中分配内存，也可以OS本地内存中分配，由于本地缓冲区避免了缓冲区复制，在性能上相对堆缓冲区有一定优势，但同时也存在一些弊端。两种缓冲区对应的API如下：JVM堆缓冲区：ByteBuffer.allocate(size)本地缓冲区：ByteBuffer.allocateDirect(size)从堆中分配的缓冲区为普通的Java对象，生命周期与

转载 Understanding Java Garbage Collection

come from: http://www.cubrid.org/blog/dev-platform/understanding-java-garbage-collection/What are the benefits of knowing how garbage collection (GC) works in Java? Satisfying the intellectual cur

转载 How to Monitor Java Garbage Collection

Come from: http://www.cubrid.org/blog/dev-platform/how-to-monitor-java-garbage-collection/This is the second article in the series of "Become a Java GC Expert". In the first issue Understanding

转载 How to Tune Java Garbage Collection

Come from : http://www.cubrid.org/blog/dev-platform/how-to-tune-java-garbage-collection/This is the third article in the series of "Become a Java GC Expert". In the first issue Understanding

转载 pig cookbook学习

Overview近期需要用pig做一些统计，由于没有系统学习，总是出现一些问题，且不容易调试，执行效率也不高。所以打算看一些官方文档，在此做些笔记。pig性能提升指定类型如果在load文件时不指定类型，pig在计算时会指定为double类型，而在很多时候，数据本应是整形等，指定为double类型会增加广计算量。另外，指定类型也会使错误提早暴露出来。--Query

转载 Pig性能优化

Pig性能优化  1. 尽早去除无用的数据  MapReduce Job的很大一部分开销在于磁盘IO和数据的网络传输，如果能尽早的去除无用的数据，减少数据量，会提升Pig的性能。  1). 尽早的使用Filter  使用Filter可以去除数据中无用的行(Record)，尽早的Filter掉无用的数据，可以减少数据量，提升Pig性能。  2). 尽早的使用Project(F

转载 Hortonworks member of technical staff戴建勇解读Apache Pig的性能优化

以下为现场实录：什么是Apache  Pig？ApachePig包括两个部分，首先是PigLatin的语言，是类SQL的数据处理语言。其次，Apache  Pig是在Hadoop这个软件上运行Pig  Latin语言的执行引擎，一部分是语言的部分，还有一部分是实践的部分。比较一下Pig和Hadoop，跟Hadoop相比Pig具有更快的开发效率，所以可以用更少的代码实现和MapRed

转载 了解CMS(Concurrent Mark-Sweep)垃圾回收器

1.总体介绍：CMS(Concurrent Mark-Sweep)是以牺牲吞吐量为代价来获得最短回收停顿时间的垃圾回收器。对于要求服务器响应速度的应用上，这种垃圾回收器非常适合。在启动JVM参数加上-XX:+UseConcMarkSweepGC ，这个参数表示对于老年代的回收采用CMS。CMS采用的基础算法是：标记—清除。2.CMS过程：初始标记(STW initial m

转载 Hive 的 distribute by

Order by 能够预期产生完全排序的结果，但是它是通过只用一个reduce来做到这点的。所以对于大规模的数据集它的效率非常低。在很多情况下，并不需要全局排序，此时可以换成Hive的非标准扩展sort by。Sort by为每个reducer产生一个排序文件。在有些情况下，你需要控制某个特定行应该到哪个reducer，通常是为了进行后续的聚集操作。Hive的distribute by 子句可以做

转载 JVM系列三:JVM参数设置、分析

不管是YGC还是Full GC,GC过程中都会对导致程序运行中中断,正确的选择不同的GC策略,调整JVM、GC的参数，可以极大的减少由于GC工作，而导致的程序运行中断方面的问题，进而适当的提高Java程序的工作效率。但是调整GC是以个极为复杂的过程，由于各个程序具备不同的特点，如：web和GUI程序就有很大区别（Web可以适当的停顿，但GUI停顿是客户无法接受的），而且由于跑在各个机器上的配置不同

转载 hive语句优化-通过groupby实现distinct

同事写了个hive的sql语句，执行效率特别慢，跑了一个多小时程序只是map完了，reduce进行到20%。该Hive语句如下：select count(distinct ip) from (select ip as ip from comprehensive.f_client_boot_daily where year="2013" and month="10"  uni

转载 Scala 访问权限控制——Scala Access Modifiers

其他的都和Java的差不多，唯一的区别是多了Scope protectScope of protectionAccess modifiers in Scala can be augmented with qualifiers. A modifier of the form private[X] or protected[X] means that acces

转载 vim syntax highlighting for scala : A bash one liner

Just for posterity, here is a Bash one-liner to download the VIM plugins to handle syntax highlighting for Scala: 1$ mkdir -p ~/.vim/{ftdetect,indent,syntax} && for d in ftdetect

转载 如何成为数据科学家（ http://gkkgo.com/guide/44）

KK学习助手基础统计学编程机器学习文本挖掘数据可视化大数据工具集合怎样成为一个数据科学家？有人说数据科学家将会是未来最性感的职业？且看小编攒的数据科学家学习路线图。第1节: 基础线性代数、概率

转载 [R] dataframe sort

dd data.frame(b = factor(c("Hi","Med","Hi","Low"), levels = c("Low","Med","Hi"), ordered = TRUE), x = c("A","D","A","C"), y = c(8,3,9,9), z = c(1,1,1,2))sort by column z (descending) then by column b

转载 [R]字符串函数

摘自：http://www.biostatistic.net/thread-195-1-1.html用于字符串分割的函数：如strsplit('123abcdefgabcdef','ab')[[1]][1] "123"   "cdefg" "cdef" #字符串连接：paste() #paste(..., sep = " ", collapse

转载 GitHub的Ruby代码规范

最近开始接触Ruby和Rails的开发，个人是一个疯狂迷恋编写代码边format的编写方式，看到摆的凌乱的代码就会有一种无法言说的焦躁感，同样的习惯被我带到了Ruby的学习过程中，可是应该如何确定Ruby源文件的format呢？ GitHub公布了他们的答案： Ruby Style Guide：https://github.com/bbatsov/ruby-style-guide 

转载 数据科学家

一、数据科学家的起源"数据科学"（DataScience）起初叫"datalogy "。最初在1966年由Peter Naur提出，用来代替"计算机科学"（丹麦人，2005年图灵奖得主，丹麦的计算机学会的正式名称就叫Danish Society of Datalogy，他是这个学会的第一任主席。Algol 60是许多后来的程序设计语言，包括今天那些必不可少的软件工程工具的原型。图灵奖被

转载 js undefined & null

typeof（）函数 返回的是字符串，有六种可能："number"、"string"、"boolean"、"object"、"function"、"undefined" js中undefined,null,NaN的区别1.类型分析：js中的数据类型有undefined,boolean,number,string,object等5种，前4种为原始类型，第5种为引用类型。

转载 dataframe常见操作

在使用R做数据挖掘时，最常用的数据结构莫过于dataframe了，下面列出几种常见的dataframe的操作方法。1.查看数据head(dataframe) # 查看数据前10行tail(dataframe) # 查看数据后10行2.合并数据(1)data.frame(x,y)x,y是dataframe或者一列数据，x和y的行数一样，

转载 PowerMock介绍

转自：http://blog.youkuaiyun.com/jackiehff/article/details/14000779一、为什么要使用Mock工具      在做单元测试的时候，我们会发现我们要测试的方法会引用很多外部依赖的对象，比如：（发送邮件，网络通讯，远程服务, 文件系统等等）。 而我们没法控制这些外部依赖的对象，为了解决这个问题，我们就需要用到Mock工具来模拟这些外部依

转载 对 HTTP 304 的理解(转)

对 HTTP 304的理解(转)最近和同事一起看Web的Cache问题，又进一步理解了 HTTP中的 304 又有了一些了解。304 的标准解释是：Not Modified 客户端有缓冲的文档并发出了一个条件性的请求（一般是提供If-Modified-Since头表示客户只想比指定日期更新的文档）。服务器告诉客户，原来缓冲的文档还可以继续使用。如 果客户端在请求一个文件的时

转载 MyBatis动态SQL

动态SQLMyBatis的动态SQL，解决了SQL字符串拼接的痛苦。1.if[html] view plaincopyselect id="findActiveBlogWithTitleLike"      parameterType="Blog" resultType="Blog">      SELECT * FROM BLO

转载 Mysql更新字段中部分数据的方法

Mysql更新字段中部分数据的方法 Mysql更新字段中部分数据第一种情况： update tab set     A   = concat(substring(A,1,3),'bbb'); 从A的1个字符开始取3个字符，加上'bbb'，再写入a中，如果A原始值为'123aaa'，那么更新之后为'123bbb'了。 如果我们要将字段A

转载 让terminal显示git所在的当前分支名

find_git_branch () { local dir=. head until [ "$dir" -ef / ]; do if [ -f "$dir/.git/HEAD" ]; then head=$( "$dir/.git/HEAD") if [[ $head = ref:\ refs/heads/* ]];

转载 JUnit4 中@AfterClass @BeforeClass @after @before的区别对比

JUnit4使用Java5中的注解（annotation），以下是JUnit4常用的几个annotation： @Before：初始化方法   对于每一个测试方法都要执行一次（注意与BeforeClass区别，后者是对于所有方法执行一次）@After：释放资源  对于每一个测试方法都要执行一次（注意与AfterClass区别，后者是对于所有方法执行一次）@Test：测试方法，在这里可以