
shell
weixin_43866709
The best or nothing
展开
-
在脚本中取出hive表的字段名
现在要写一个脚本,拿到hive表的字段名,并使用逗号分隔可以使用hive -e "SET hive.cli.print.header=true;select * from yewu.data1 limit 0;" | sed -e "s/\t/,/g;s/data\.//g" | grep -v "WARN" > fileds.csv使用这种方法,拿下来的字段名前面都会带有一个表名....原创 2019-12-16 15:55:04 · 2939 阅读 · 0 评论 -
使用AWK按照符号截取字符串
现在要写一个脚本,传入一个表名,格式为库名.表名,例如:yewu.data1现在要取出data1可以使用命令:table_name=$(echo "yewu.data1" | awk -F '.' '{print $2}')原创 2019-12-16 15:43:49 · 1309 阅读 · 0 评论 -
shell脚本按要求拆分文件,并按照指定格式命名
写一个shell脚本,按照每200000行对一个文件进行拆分,拆分之后命名为原始文件_01.csv,原始文件_02.csv假设原始文件名是data.txt处理后的结果为:data_01.csv,data_02.csv…一开始我使用的是split对文件进行拆分:split -l 200000 data.txt -d -a 2 data_然后再匹配出所有的结果文件,将其命名为.csv文件。...原创 2019-12-16 15:38:02 · 2274 阅读 · 0 评论 -
Linux三剑客之sed常用命令
1.在一个文件的首行添加内容例如:现有一个test.csv文件,要在首行添加上hello world:sed -i "1i\hello world" test.csv**注意:**如果要将一个变量添加到文件行首,需要将变量用单引号引着a="hello world"sed -i "1i\'${a}'" test.csv...原创 2019-11-05 12:36:56 · 317 阅读 · 2 评论