一些常用的大数据命令(日常更新)

这篇博客汇总了常用的大数据操作命令,包括Linux、logstash、kafka、flink、sqoop、hbase、Spark、hive和maven。例如,如何在Linux中查找大文件、清理内存缓存,kafka的生产者和消费者命令,flink运行任务,sqoop导入数据到HBase,以及Spark提交作业等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

note:由于本人经常忘记各种命令(包括一些简单的),所以做一个总结

Linux常用命令

查找大文件 ls -lh $(find /data -type f -size +100M)
查看目录文件占用最大 du -h --max-depth=1或者 du -sh *
查看磁盘使用 df -h
查找文件 find / -name ‘filename’
查找目录 find / -name ‘path’ -type d
查找内容 find . | xargs grep -ri ‘content’
find . | xargs grep -ril ‘content’ 只显示文件名称
从文件内容查找与正则表达式匹配的行:
grep –e “正则表达式” 文件名
查找时不区分大小写:
grep –i “被查找的字符串” 文件名
查找匹配的行数:
grep -c “被查找的字符串” 文件名
从文件内容查找不匹配指定字符串的行:
grep –v “被查找的字符串” 文件名
从根目录开始查找所有扩展名为.log的文本文件,并找出包含”ERROR”的行
find / -type f -name “*.log” | xargs grep “ERROR”
给所有sh后缀文件可执行权限:chmod a+x *.sh
清理内存缓存 echo 3 > /proc/sys/vm/drop_caches
将大文件置空 truncate -s 0 文件名

logstash常用命令

./bin/logsta

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值