- 博客(52)
- 收藏
- 关注
RSS订阅原创 shell运算符
<div class="iteye-blog-content-contain" style="font-size: 14px"></div>
2014-07-30 14:25:50
148
原创 tar备忘
http://www.cnblogs.com/qq78292959/archive/2011/07/06/2099427.html tar -c ${要打包的文件列表，空格分隔} -f ${archive文件名} 或者写成 tar -cf ${archive文件名} ${要打包的文件列表，空格分隔} -v 显示打包过程 --5个option -c: 建立压缩...
2013-08-09 20:49:28
146
原创 shell变量替换
MARK //TODO http://www.360doc.com/content/12/0419/14/496343_204908029.shtml http://www.cnblogs.com/fhefh/archive/2011/04/22/2024750.html http://jianlee.ylinux.org/Computer/Shell/parameter_...
2013-02-05 20:32:38
222
原创 shell元字符 metadata
MARK //TODO http://blog.youkuaiyun.com/mqboss/article/details/6549176 http://www.cnblogs.com/xuxm2007/archive/2011/10/20/2218846.html http://www.jb51.net/LINUXjishu/32573.html http://linux.chinaitlab...
2013-02-05 20:09:11
157
原创 shell中的括号 () (()) [] [[]] {}
MARK //TODO 待验证 http://www.cnblogs.com/gx-303841541/archive/2012/10/25/2740191.html //GOOD 括号 四则运算以及逻辑运算 http://www.cnblogs.com/gx-303841541/archive/2012/10/25/2740195.html http://hi.baidu.c...
2013-02-05 20:01:57
99
awk分隔符
分隔符，可以用正则来表示 echo 'a-b.c' | awk -F'[-.]' '{print NF,$1,$2,$3}' 输出->3 a b c echo 'a--b.c' | awk -F'[-.]' '{print NF,$1,$2,$3}' 输出->4 a b echo 'a--b.c' | awk -F'[-.]+' '{print NF,$1,$...
2013-02-04 20:12:41
162
原创 xargs用法
path=/home/xx/data/xx ls path | xargs -n10 -i -t cp {} {}.back -n10 10个一组 -t 选项使用一个周详模式， 打印后面的动作 -i 用{} 占位符来引用匹配项
2012-10-30 19:52:52
281
原创 FORK BOMB
http://blog.youkuaiyun.com/ninthing/article/details/5968949 :() { :|:& }; : # <-- 打开终端,输入这个,回车.你看到了什么?? 改一下格式增强可读性 :() { : | : & }; ...
2012-06-28 14:22:24
124
原创 日志采集与转储
TODO 原始日志 --- 》 Ok_Log(原始日志) ， url编码， 替换成外键， （减少存储空间） ----》 LogFormat
2012-06-12 12:39:41
143
原创 Hive Shell Client中的顺序问题
语句块1， 移动到最后， 报错 语句块2， 移到 语句块3 后面， 也报错 上面两种情况都报同一种错误：见图二 图一，正确的顺序 图二, 报错 ...
2012-06-11 17:17:47
102
原创 source/exec/fork
http://blog.youkuaiyun.com/zhuying_linux/article/details/6891436 SHELL十三问的 第6章
2012-06-07 16:07:24
103
原创 #!/bin/bash
http://www.cnblogs.com/ghj1976/archive/2010/07/12/1775860.html 第一次学shell编程，看的文章中说shell程序必须以"#!/bin/sh"开始，也就认为是这样了。 虽然知道在shell中以"#"开始的语句都是注释，但也从没认为"#!/bin/sh"也是注释，就像对C语言程序必须有main函数一样毫无怀疑...
2012-06-07 16:03:46
177
原创 SHELL 命令行解释执行
//TODO 参考 Unix Shell中解释引号的方法 http://hi.baidu.com/wader2006/blog/item/e507f6240f466c378744f9eb.html DEMO1:参见附件1 shell先作变量替换，然后作文件名替换，最后把这行处理为参数 ...
2012-06-06 11:46:39
276
原创 Hadoop Streaming 之 传递参数 环境变量
-cmdenv 用于在提交作业时向Streaming进程设置环境变量， 1.参见《Hadoop权威指南 第二版》P187 2.Hadoop Streaming高级编程 http://dongxicheng.org/mapreduce/hadoop-streaming-advanced-programming/...
2012-05-20 16:15:33
508
原创 shell 逻辑表达式 运算符
转自 http://www.cnblogs.com/chengmo/archive/2010/10/01/1839942.html 一、逻辑运算符 逻辑卷标 表示意思 1. 关于档案与目录的侦测逻辑卷标！ -f 常用！侦测『档案』是否存在 eg: if [ -f filename ] -d 常用！侦测『目录』是否存在 -b 侦测是否为一个『 bl...
2012-03-20 00:02:58
146
原创 HIVE 设置参数
转自 http://www.tbdata.org/archives/716 对于一般的参数，hive有以下的几种设置方式：1》配置文件：2》命令行参数：3》set参数声明：配置文件包括：用户自定义配置文件：$HIVE_CONF_DIR/hive-site.xml默认配置文件：$HIVE_CONF_DIR/hive-default.xml用户自定义配置会覆盖默认配置。另外，hive也会...
2012-03-13 12:01:17
157
原创 HIVE desc formatted ${tableName}
查看表结构的详细信息，如 desc formatted cv4_20120201;
2012-03-07 19:32:34
4241
原创 shell字符串处理
1.待实践 http://www.blogjava.net/Man/archive/2012/02/07/369504.html http://blog.youkuaiyun.com/dao123mao/article/details/5339201 2.cut echo "1/2/3/4" | cut -d"/" -f1 =》1 echo "1/2/3/4" | cut -d"/" -f...
2012-02-29 01:19:19
102
原创 linux 查看CPU等硬件信息
http://www.oschina.net/question/12_30886?sort=time 测试机器的硬件信息： 查看CPU信息（型号） # cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c 8 Intel(R) Xeon(R) CPU E5410 @ 2.33GHz (看到有...
2012-02-12 22:08:15
118
原创 [转载]Hadoop Streaming 实战： aggregate
http://blog.youkuaiyun.com/yfkiss/article/details/7019022 2. aggregate class summary DoubleValueSum This class implements a value aggregator that sums up a sequence of double values. LongValueM...
2012-02-01 20:30:59
131
原创 AWK数组
1.判断是否存在某个key时的怪现象 //TODO 2.asort之后，下标变成1,2,3,4... 3.array["5"]="hello"; print array[5]; ?? print array[1]; ?? 4.AWK的字符串化解释了 第3条中的怪现象 参见 http://www.ibm.com/developerworks/...
2012-01-11 23:56:39
95
原创 awk中的字符串处理函数
//TODO 1. index 与 match的区别 2. length, substr, ........ 3. 跟正则相关的. 替换函数 sub, gsub 3. 类似的“子表达式向前引用” & 引用匹配到的子串 s="123aa456bb" ; sub("aa","[&]",s)...
2012-01-05 09:44:17
109
原创 awk正则表达式
1.使用ERES， (),{} 使用这两个元字符时无需转义 SO，参考ERES对BRES的扩展 DEMO echo -e "ab1\na1\nac2ab" | awk '/(ab|ac)/'echo -e "aa1\na1\nac2ab" | awk -W re-interval '/(a|b){2}/'echo -e "aa1\na1\nac2ab" | awk ...
2012-01-05 01:33:13
134
原创 ERES BRES的区别
参考这里 http://baiy.cn/utils/_regex_doc/index.htm 1.BRES定义的元字符 TODO 2.ERES对BRES的扩展/修改 ERE 修改了 BRE 中的部分语法，并增加了以下语法符号： ? - 最多一次匹配（零次或一次匹配）。 + - 至少一次匹配（一次或更多次匹配）。 | ...
2012-01-05 01:09:49
283
原创 AWK 几个特殊的内置变量
FILENAME:当前文件名 只能在Action里引用，而不能再BEGIN{}里。 ARGC：命令行参数的数目；是一整数，代表命令行上除了选项-v， -f 及其对应的参数之外所有参数的个数ARGV：包含命令行参数字符串数组，ARGV[0]，ARGV[1]....ARGV[ARGC-1]分别代表命令行上相对应的参数， 可以引用到文件名 FNR:和NR类似，打开一个文...
2011-12-28 10:17:32
227
原创 awk 去空格
sub(/^[[:blank:]]*/,"",变量) 是去掉变量左边的空白符 sub(/[[:blank:]]*$/,"",变量) 是去掉变量右边的空白符 gsub(/[[:blank:]]*/,"",变量) 是去掉变量中所有的空白符 示例： echo ' 123 456 789 ' | awk '{ print "<" $0 ">"; sub(/
2011-12-27 19:30:23
4800
原创 AWK pattern {action} 详解
准备一个数据文件 awk-sample-salary.txt 一、Pattern {Action} 详解 这一节的目标：详解 Pattern和{Action}的组合方式， 这两者各自的详解请看下面 这里以简单的正则表达式作为Pattern为例，（Pattern本身又有多种case、组合，请参考 “ 二、Pattern详解 ”） 1.单个Pattern {Action}...
2011-12-10 23:43:03
199
原创 GAWK的兼容模式，传统模式
Gawk is the GNU Project’s implementation of the AWK programming language. -W posix --posix This turns on compatibility mode, with the following additional restric...
2011-12-10 22:44:50
136
原创 Hadoop Streaming 之 awk实现Map/Reduce
//TODO 说明 [xxuser@xxhost ~]$ hadoop jar $HADOOP_STREAMING_JAR \ > -input /test/ylb/mock_data/cv-pt-demo.txt \ > -output /test/ylb/mock_data/output/cv-pt-demo-10 \ > -mapper...
2011-12-03 22:33:10
398
原创 awk 第x1行 到 第x2行
1. 用NR或者FNR来选择行范围 awk 'NR==5,NR==7 {print $0}' demo.txt awk 'NR>=5 && NR<=7 {print $0}' demo.txt 两者效果一样: 输出demo.txt中从第5行 到 第7行 把 NR 换成 FNR，则表示 如果输入文件有多个，那么每个文件的第一行从0开始计数 ...
2011-12-03 20:32:55
207
原创 mysql concat函数 字符串连接
1.concat select concat("http://",host,":",port) from hostInfo 2.concat_ws concat with seperator select concat("|", f1,f2 ) from table 3.group_concat group by 的加强版 select age, group_c...
2011-12-01 17:10:09
115
原创 awk调用shell
在awk中执行shell , 返回0:成功 1. result= system("shell cmd") 调用shell来获取值 并赋值给变量 2. "shell cmd" |getline valueaa ; print valueaa "shell cmd" |getline ; print $0 -->如果不加变量名， 则 $0 ...
2011-11-30 21:41:31
196
原创 grep 参数
-v 反向选择， 即： 筛选出跟表达式不匹配的行 grep "hi\|hello" test.txt => 搜索包含 hi 或者 hello 的行 grep -v "hi\|hello" test.txt => 搜索不包含 hi 或者 hello 的行 --color=auto 高亮显示 -i -c -a...
2011-11-29 14:18:40
115
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人