
Linux
xugaopengjeep
活好事少的IT男
展开
-
Linux常用命令之获取查找重定向去重
当前目录中有多个文件,查找其中所有以 xm 结尾的文件命令find -name _*.xmShell 获取某行第几个字符怎么做?$ echo ${test:n:m}shell 如果获得本文第 10 行数据?sed –n ‘10p’ 文件名称一个文本文件名为 sample.txt,使用 shell 命令将不包含 abc 的行的数据重定向到 sample1.txtcp sampl...原创 2020-01-07 14:45:05 · 462 阅读 · 0 评论 -
使用 shell 实现 wordCount
cat 11.txt | tr ' ' '\n' | sort -k 1 | uniq -c | awk '{print $2"\t"$1}' |sort -k2 -nr|head原创 2019-12-10 15:24:35 · 340 阅读 · 0 评论 -
哪些方法可以对 Spark 任务进行优化
1通过 spark-env 文件,对 spark 集群进行合理的参数设置2在程序中,设置合理的 sparkconf 和 set property3计算量大时,给已经缓存了的 RDD 添加 checkpoint,以减少容错带来的开销4使用 combine 对小分区进行合并,避免过小的分区造成过多的切换任务开销...原创 2019-12-10 15:23:47 · 228 阅读 · 0 评论 -
只准写一行 shell 脚本,实现以下功能提取进程名包含 datastore 的进程id 并强割杀死这些进程。(提示:管道、xargs)
ps -ef | greap datastore | greap -v greap | awk '{print $2}' | xargs kill -9原创 2019-11-30 09:15:52 · 296 阅读 · 0 评论 -
发现磁盘空间不够,如何快速找出占用空间最大的文件?
1使用 find 命令找到大于指定大小的文件:find / -type f -size +10G输出: /usr/local/apache2/logs/access_log马上可以通过 du 命令查看此文件的大小:du -h /usr/local/apache2/logs/access_lo2让文件按大小排序du -h * | sort -n...原创 2019-11-30 09:15:10 · 3745 阅读 · 0 评论 -
如何快速的将一个文本中所有“abc”替换为“xyz”?
cat file | tr "abc" "xyz" > new_file原创 2019-11-30 09:14:35 · 1533 阅读 · 0 评论 -
那些命令可以查看 file1 文件的第 300-500 行的内容?
cat file1 | head -n 500 | tail -n +300Sed -n ‘300,500p’ file1原创 2019-11-27 15:59:04 · 2933 阅读 · 0 评论 -
显示进程命令
ps -ef | grep java | grep -v grepjps原创 2019-09-10 21:11:53 · 385 阅读 · 0 评论 -
Linux服务器同步时间命令
ntpdate ntp2.aliyun.comntp2.aliyun.com(为阿里服务器2如果不行可以试试ntp3.aliyun.com ntp4.aliyun.com 等等)原创 2019-07-24 09:23:57 · 7607 阅读 · 0 评论