数据技术控

你是否曾经有过要计算一个非常大的数据(几百GB)的需求？或在里面搜索，或其它操作——一些无法并行的操作。数据专家们，我是在对你们说。你可能有一个4核或更多核的CPU，但我们合适的工具，例如 grep, bzip2, wc, awk, sed等等，都是单线程的，只能使用一个CPU内核。借用卡通人物Cartman的话，“如何我能使用这些内核”?要想让Linux命令使用所有的CPU内核，

split用法echo "hello_xiao_lan" | awk '{split($0,b,"_");print b[3]}'//substr用法 awk '{a=substr($1,2);print a}' file2 //求均值 awk '{ sum = $1+sum ;count++ } END {print count, sum,sum/count}' aa.txt

目标实现记录执行存储过程的开始时间，结束时间，运行状态，错误信息等，以函数封装日志记录的方式，存储调用函数

编辑文本 sed -i '1i xyz' test.txt 在第一行之前sed -i '1a xyz' test.txt  在第一行之后插入sed -i '1c xyz' test.txt  把第一行数据替换成xyzsed '/^bb/i\kjdlfkjdslkf' temp.txt  //在匹配的行之前加入新一行sed '/^bb/a\kjdlfkjdslkf' te

grep -E 'l\{2,\}' 2.txtgrep -E 'h(ell|a)o' test.txtgrep '[a-z]\{5,\}' test.txtgrep -xf a.txt b.txt  //查询a与b共同存在的行grep -vxf b.txt a.txt //查询a的行不在b文件里面的,就是a比b多出来的行 grep -v '^h' test.txt //显示