一些常用的大数据命令（日常更新）

最新推荐文章于 2024-05-01 03:10:59 发布

原创

最新推荐文章于 2024-05-01 03:10:59 发布 · 289 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #flink #hadoop #hdfs #大数据

这篇博客汇总了常用的大数据操作命令，包括Linux、logstash、kafka、flink、sqoop、hbase、Spark、hive和maven。例如，如何在Linux中查找大文件、清理内存缓存，kafka的生产者和消费者命令，flink运行任务，sqoop导入数据到HBase，以及Spark提交作业等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

note：由于本人经常忘记各种命令（包括一些简单的），所以做一个总结

Linux常用命令

查找大文件 ls -lh $(find /data -type f -size +100M)
查看目录文件占用最大 du -h --max-depth=1或者 du -sh *
查看磁盘使用 df -h
查找文件 find / -name ‘filename’
查找目录 find / -name ‘path’ -type d
查找内容 find . | xargs grep -ri ‘content’
find . | xargs grep -ril ‘content’ 只显示文件名称
从文件内容查找与正则表达式匹配的行：
grep –e “正则表达式” 文件名
查找时不区分大小写：
grep –i “被查找的字符串” 文件名
查找匹配的行数：
grep -c “被查找的字符串” 文件名
从文件内容查找不匹配指定字符串的行：
grep –v “被查找的字符串” 文件名
从根目录开始查找所有扩展名为.log的文本文件，并找出包含”ERROR”的行
find / -type f -name “*.log” | xargs grep “ERROR”
给所有sh后缀文件可执行权限：chmod a+x *.sh
清理内存缓存 echo 3 > /proc/sys/vm/drop_caches
将大文件置空 truncate -s 0 文件名