shell编程：字符串string的相关处理*

最新推荐文章于 2024-05-15 00:55:34 发布

转载最新推荐文章于 2024-05-15 00:55:34 发布 · 140 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/cjun/blog/716042

文章标签：

#shell #大数据

本文介绍如何利用Shell脚本批量处理HDFS上的文件，包括去除文件名后缀及测试文件夹大小的方法。文章详细展示了具体的Shell命令与字符串操作技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

为什么80%的码农都做不了架构师？>>>

注意：shell中的字符串拼接是不需要用+号的，直接在字符串后面继续添加即可。如：${file}-`date +%s`.ok，最后出来的就是file名字+日期+.ok

1.批量去除.ok后缀的文件名，使用表达式${string%substring}

for file in `hdfs dfs -find $1 -name "*.ok"`
do
echo `date`" move ok on file ${file}"
hdfs dfs -mv ${file} ${file%.ok}
done

2.测试文件夹的大小，result包含几个值，用空格分开，只有第一个是文件夹的大小。首先将空格用AAA代替，表达式：${result// /AAA}。然后取出第一个AAA的index，表达式：expr index ${result_rep} AAA。最后再截取字符串，表达式：expr substr ${result_rep} 1 ${index}

result=`hdfs dfs -du -s /user/hive/warehouse/splited_tmp_split`
result_rep=${result// /AAA}
index=$[`expr index ${result_rep} AAA` - 1]
size=`expr substr ${result_rep} 1 ${index}`

参考：linux shell 字符串操作详解（长度，读取，替换，截取，连接，对比，删除，位置）

转载于:https://my.oschina.net/cjun/blog/716042