liunx命令

查看当前目录下所有包含字符'cnsz20pl1052.sh的文件以及文件中的记录  --color是用颜色标记匹配的字符串

grep -R 'cnsz20pl1052.sh' * --color

log/log_env.properties:shell_sqoop_log=sh /home/hdfs/azkaban_shell/cnsz20pl1052.sh /home/hdfs/sqoop_scripts/tables
log/log_env.properties:shell_hive_log=sh /home/hdfs/azkaban_shell/cnsz20pl1052.sh /home/hdfs/hive_scripts
log/log_env.properties:shell_spark_log=sh /home/hdfs/azkaban_shell/cnsz20pl1052.sh /opt/shell/log

1 用top命令筛选出hadoop进程

top - 00:08:27 up 15 days, 2:51, 2 users, loadaverage: 0.04, 0.07, 0.09

Tasks: 251 total, 1 running, 250 sleeping, 0 stopped,0 zombie

%Cpu(s): 0.5 us, 0.3 sy, 0.0 ni, 99.2 id, 0.0 wa, 0.0hi, 0.0 si, 0.0 st

KiB Mem: 7983868 total, 5792492 used, 2191376 free,335816 buffers

KiB Swap: 19529724 total, 0 used, 19529724 free.1903536 cached Mem

 

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND

6726 hadoop 20 0 2724516 152256 22820 S 0.7 1.914:06.72 java

7073 hadoop 20 0 2895064 340328 22972 S 0.7 4.338:04.96 java

7661 root 20 0 29148 3448 2856 R 0.7 0.0 0:00.06 top

9 root 20 0 0 0 0 S 0.3 0.0 1:21.45 rcuos/0

1071 root 20 0 19264 2184 1928 S 0.3 0.0 2:04.25irqbalance

1216 mysql 20 0 558264 63028 10532 S 0.3 0.8 6:18.97mysqld

1676 root 20 0 5652424 347276 19608 S 0.3 4.3 18:34.55java

3179 hadoop 20 0 1026700 143780 95920 S 0.3 1.815:26.34 chrome

3362 hadoop 20 0 1033224 296192 162180 S 0.3 3.726:54.89 chrome

 

 top  (u  hadoop) / top |grep hadoop

2 更改文件夹/app/java 的拥有者为sfapp

 chown sfapp /app/java

3 查看网络端口流量

 iptraf /sar -n DEV 1

4 查看硬盘的读写任务

 iostat /iotop

5 查看系统的名称

 uname -a /hostname -a

6 查看文件的根目录以下最大深度为2 的各文件的大小

 du -h --max-depth=2

备注：du(disk usage)命令可以计算文件或目录所占的磁盘空间。

磁盘空间被耗尽的时候，免不了要清理一下，比如说/home目录太大，就可以使用下面命令看看到底是谁：

sort -nr 表示倒序排序
du -s /home/* | sort -nr

7 不打开文件test.log中替换文本中第一个data为test

 sed -i ‘0，/data/s//test/’ test.log

8 将文件夹 data 压缩并打包成data.tar.gz 同时解压该文件

 tar -czf data.tar.gz data/

9 将eth0设置为192.168.1.100 子网掩码为255.255.255.0

 ifconfig eth0 192.168.1.100 netmask 255,255,255,0

10 将路由的网关设置为 192.168.1.1

 route add default gw 192.168.1.1

11 查找/opt/shell 下边所有以sh为后缀的 文件

 find  /opt/shell -name *.sh

12 查看cpu的相关信息

 cat /proc/cpuinfo

13 vi 命令中替换文本中所有的datas 为ds

 :g/datas/s//ds/g    (%s/datas/ds/g)

 

14 vi 删除4到30行的数据 并跳转到文件末尾

 :4,30d shift+g

15 查看防火墙的状态 并重启防火墙

 查看防火墙状态：chkconfig iptables --list/service iptables status 

重启防火墙 ：service iptables restart

关闭防火墙 chkconfig iptables off

16 将磁盘分区/dev/sd3 挂载到 /mnt 下边

 mount /dev/sd3

17 在后台执行test.sh 脚本并将错误日志输出到 test.log

 nohup ./test.sh 2>test.log 

18 抓取网卡eth0 中8080 的端口流量并输出到eth0.txt

 tcpdump -i eth0 port 8080 -w eth0.txt

19 查看端口9090占用进程 假设存在进程 15689 并将进程杀掉

 netstat -nltp|grep 8080 kill -9 15689

20 Hdfs dfs –ls /rawdata/os/linux/2016/08/01/waiting/其中输出的一条记录为

-rw-r--r--  3 root root    2641440 2016-08-0200:51 /rawdata/os/linux/2016/08/01/waiting/vm6~~.146998080827

其中~~之前的vm6是主机名。现在要取出所有/rawdata/os/linux/2016/08/01/waiting的所有主机名并去重排序，将结果输出到host.txt

hdfs dfs -lsr /rawdata/os/linux/2016/08/01 |grep ~~ |awk -F'/' '{print $9}'|awk -F'~~' '{print $1}'|sort| uniq