Linux组合命令大全

1、杀进程
ps -ef | grep tipu | grep -v grep| xargs kill -9
ps -aux | grep ‘glusterfsd|glustershd’ | awk ‘{print $2}’ | xargs kill
2、产生2G文件
dd if=/dev/zero of=/tmp/test bs=1M count=2048
3、awk拼接后sh执行
ls -all |awk ‘{print "klist -ke " KaTeX parse error: Expected 'EOF', got '}' at position 2: 9}̲' |sh 4、号拼接执行
sudo docker rm -v $(sudo docker ps -q -f status=exited)
5、筛选排序去重
cat ./hadoop-datanode.log | grep ‘^2024-01-12’|egrep -o "Slow.?(took|cost)" | sort | uniq -c
6、统计匹配数量后判断
grep ‘cmd=’ hdfs-audit.log|awk ‘{print $1$2}’|awk -F ‘,’ ‘{print $1}’| awk ‘{sum[$1]++}END{for(time in sum) print time, sum[time]}’|awk ‘{if($2>40000) print $1,$2}’ |sort >> aduit.log
7、多阶段grep租户筛选
ls -lrt -R * | grep -w Jan | grep ’ 6 ’ | grep -v 2024
8、保留原文件属性的前提下复制文件
cp -a
9、删除目录下所有exe文件
find . -name '.exe’ -type f -print -exec rm -rf {} ;
“.” 表示从当前目录开始递归查找
-name ‘*.exe’ 根据名称来查找，要查找所有以.exe结尾的文件夹或者文件
-type f 查找的类型为文件
-print 输出查找的文件目录名
最主要的是是-exec了，-exec选项后边跟着一个所要执行的命令，表示将find出来的文件或目录执行该命令。
exec选项后面跟随着所要执行的命令或脚本，然后是一对儿{}，一个空格和一个，最后是一个分号。
10、for循环批量执行命令
for i in cat hosts;do echo $i ;ssh $i “kill -9 $(ps -ef|grep -E ‘itgent’|grep -v grep|awk ‘{print $2}’);exit;”;done

mkdir -p /Data{1…14}/doris

du -sh -G * | sort -n
find ./ -type f -name “*log” -mtime +1| wc -l
find ./ -type f -name “*log” -mtime +1| xargs rm -rf

for i in {1…72}; do
end_time=date -d "$start_time" +"%Y-%m-%d %H"
end_time=date -d "$end_time +2 hour" +"%Y-%m-%d %H:%M:%S"
done
11、HDFS文件按照时间排序取最新一条
hdfs dfs -ls / | grep -v ‘^Found’ | sort -k6,7 -r | head -n 1