wusecaiyun的专栏

1. tar -zxvf hit-oslab-linux-20110823.tar.gz -C /home/shiyanlou/-z, --gzip, --gunzip, --ungzip 通过 gzip 过滤归档-x, --extract, --get 从归档中解出文件-v, --verbose 详细地列出处理的文件-f, --file...

linux系统里提供的文件转化编码的命令iconv，使用如下： iconv -t utf-8 -f gb2312 -c my_database.sql > new.sql-f  原编码-t  目标编码-c 忽略无法转换的字符

SecureCRT 绝佳配色方案, 保护你的眼睛关键词：SecureCRT配色, SecureCRT设置颜色, Linux终端颜色设置.终端有一个好的配色，不仅能保护自己的眼睛，也能给人一个好心情，本配色方案适合任意一种SSH客户端软件.设置背景颜色Options => Sessions options => Terminal =>

文件格式为query\tpv文件名为query_stat.txt，语句为：cat query_stat.txt | sort -t " " -k2nr > sorted。其中-t指定分隔符，在这里指定为\t，在键盘上通过ctrl+v+i输入。-k2表示以第二列进行排序。n表示按照数值型，r表示逆序。

今天写了一个mapreduce程序，功能是根据query的pv次数，对pv进行排序。但是写了三个小时，却都没有搞定。最后在同事Wuzhen的搞定下，才输出了正确结果。总结一下原因。1. 需要对输入进行转码。转码语句为：String line = new String(value.getBytes(), 0, value.getLength(), "GBK");2.

不得不说，Hadoop确实是处理海量离线数据的利器，当然，凡是一个东西有优点必定也有缺点，hadoop的缺点也很多，比如对流式计算，实时计算，DAG具有依赖关系的计算，支持都不友好，所以，由此诞生了很多新的分布式计算框架，Storm，Spark，Tez，impala，drill，等等，他们都是针对特定问题提出一种解决方案，新框架的的兴起，并不意味者他们就可以替代hadoop，一手独大，HDFS和M

http://jingyan.baidu.com/article/9c69d48f43ed6d13c8024e7b.html 见链接中的百度经验。解释得非常清楚

在Linux中，cat -A file可以把文件中的所有可见的和不可见的字符都显示出来，在Vim中，如何将不可见字符也显示出来呢？当然，如果只是想在Vim中查看的话，可以这样:%!cat -A在Vim中调用cat转换显示。这样的做法不便于编辑，其实Vim本身是可以设置显示不可见字符的。只需要:set invlist即可以将不可见的字符显示出来，例如，会以^I表示一个tab符，$表示

转自：http://logic0.blog.163.com/blog/static/1889281462014183271283/要安装有homebrew，homebrew 是一个包管理器。安装homebrew的命令如下：ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/ma

今天需要搜索一个字符串%BD%A3%CF%C9，并且字符串的左侧和右侧都是tab符号，后来查询到用-P选项就行了。hdfs dfs -text /user/webrank/luliujie/alpha/20150104/part-r-* | grep -P '\t'%BD%A3%CF%C9'\t' | more而且grep还支持正则表达式。可以直接用^和$符号。

今天需要用版本为 0.20.2-cdh3u4的Zeus集群上拷贝文件到版本为2.3.0-cdh5.0.0的晨曦集群上。怎么鼓捣不行。后来用了下面的命令行了。hadoop distcp hftp://rsync.console01.zeus.hadoop.ctc.sogou-op.org:50070/user/webrank/whitelist/ /user/webrank/luliujie/w

今天学习了一下awk，因为需要对两个文件打下diff。这两个文件每一行的$1和$2都是一样的，只有$3是不一样的。我们需要把这两个文件中$3不同的行取出来，输出到一个叫做diff.txt的文件。当时所看的中文资料是陈浩写的awk入门http://coolshell.cn/articles/9070.html和http://www.361way.com/comm-diff-awk-fil

主要是配置Sublime的一些网上资料。