一些常用的大数据命令（日常更新）

note：由于本人经常忘记各种命令（包括一些简单的），所以做一个总结

Linux常用命令

查找大文件 ls -lh $(find /data -type f -size +100M)
查看目录文件占用最大 du -h --max-depth=1或者 du -sh *
查看磁盘使用 df -h
查找文件 find / -name ‘filename’
查找目录 find / -name ‘path’ -type d
查找内容 find . | xargs grep -ri ‘content’
find . | xargs grep -ril ‘content’ 只显示文件名称
从文件内容查找与正则表达式匹配的行：
grep –e “正则表达式” 文件名
查找时不区分大小写：
grep –i “被查找的字符串” 文件名
查找匹配的行数：
grep -c “被查找的字符串” 文件名
从文件内容查找不匹配指定字符串的行：
grep –v “被查找的字符串” 文件名
从根目录开始查找所有扩展名为.log的文本文件，并找出包含”ERROR”的行
find / -type f -name “*.log” | xargs grep “ERROR”
给所有sh后缀文件可执行权限：chmod a+x *.sh
清理内存缓存 echo 3 > /proc/sys/vm/drop_caches
将大文件置空 truncate -s 0 文件名

logstash常用命令

./bin/logsta