Linux_常用命令总结

Linux常用基本命令

top   查看内存和运行情况
iotop 查看磁盘 io
iotop -o 直接查看比较高的磁盘读写程序
ps -ef 查看进程运行情况
free -h 查看内存使用情况
du -h 查看磁盘使用情况
tar tail -nf
netstat -apn | grep 端口号 查看端口号
rpm
wc -l -k 统计行数 统计单词数

awk 用于列的切割
sed 查找替换
sort 排序
cut 切割，不咋用

查看进程并kill掉

一般来讲，比如有一个进程是循环跑的，然后报错了，你想干掉它，如何处理

我一般先

ps -ef | grep xxx.sh

然后找到这个进程

kill -9 这个进程号

脚本未知进程号,通过进程名实现结束进程

ssh $i "ps -ef | grep file-flume-kafka | grep -v grep |awk '{print \$2}' | xargs kill"

通过文件名查询文件

find 目录 -type f  | xargs grep -rn "要查找的字符串" >> file.txt

使用tail查看久远日志不方便，写入文件

tail -n 10000 >> /opt/test1.txt    将日志内容写入一个文件中查看就好很多

mkdir 创建目录

mkdir /xxxx

rm 删除目录或文件

 rm -rf /opt/bak/

mv 移动文件到某个目录下

cp 复制文件

cp 命令是 copy 的缩写，cp 不仅可以复制目录，也可以复制文件.

tar 命令参数解释及使用方式

tar命令的常见选项包括：

-c：创建新的归档文件。
-x：从归档文件中解包。
-t：列出归档文件中的内容。
-r：向归档文件中追加文件。
-u：只向归档文件中添加新的文件。
-z：通过gzip进行压缩。
-j：通过bzip2进行压缩。
-v：显示归档/解归档的过程。
-f：指定归档文件的名称和路径。

最常用的使用方式

将文件或目录打包成tar格式的归档文件，并通过gzip或bzip2算法进行压缩，以减小文件大小。可以使用如下命令：

压缩成tar.gz文件：

tar -czvf filename.tar.gz directory

其中，filename.tar.gz为新的归档文件名，directory为要归档的目录或文件。

tar -xzvf filename.tar.gz

其中，filename.tar.gz为要解压的归档文件名。

压缩示例：

将目录 /home/user1/mydir 压缩成文件 mydir.tar

tar -cvf mydir.tar /home/user1/mydir

将目录 /home/user1/mydir 压缩成文件 mydir.tar.gz （使用gzip压缩）

tar -czvf mydir.tar.gz /home/user1/mydir

scp 分发命令

scp -r /xxx/xx  user@worker1:~/

Hadoop常用操作

hadoop目录下注释某文件

# 在 /data 目录下查找 xxx.jar 文件，并注释掉

sudo sed -i 's/^/#/g' /data/xxx.jar

hadoop上传文件

hadoop fs -put /opt/xxx(本地) /data/xxx(hdfs文件系统)

Hadoop下载文件

hadoop fs -get /data/xxx/xxx /opt/

hadoop删除某目录文件

hdfs dfs -rm -r /data/xxx

给某文件赋予权限

chmod

hadoop fs -chmod 777 某文件，将文件filename的权限设置为所有者、组和其他用户都具有读取、写入和执行权限

hadoop fs -chmod -R 777 某目录  将文件目录的权限设置为所有者、组和其他用户都具有读取、写入和执行权限

最NB的VIM编辑命令

        这个是我几年前从一个十几年老华为开发大哥那里学到的，怕自己忘记了 ，记录一下

--vim常用快捷键，进入vim编辑器界面
shift+zz：保存并退出
shift+zq：不保存并退出

        为什么说这个好呢，因为我一开始使用的还是这个，太麻烦了，那天我看到大哥几下就退出来，就请教了怎么操作的，这么NB就保存了！大神就告诉了我嘿嘿

--按esc
:w  保存数据
:wq  保存退出
:q!  不保存退出

其余vim编辑命令，比较常用的，参考的是linux学习 笔记

Ctrl+f  向下翻页
Ctrl+b  向上翻页
G  移动到文件最后一行
gg  移动到文件第一行
N+回车 N 为数字，向下移到到 N 行
/关键字 向下寻找关键字
?关键字 向上寻找关键字
# 从光标向后查找光标所在关键词
* 从光标向前查找光标所在关键词
n  向下重复上一次查找操作
N  与 n 相反，反向重复上一次查找操作
dd 删除整行
ndd n 为数字，删除光标所在向下 n 行。
yy  复制光标所在行
nyy  n 为数字，复制光标所在向下 n 行
p,P  小 p 将复制的数据在光标下一行粘贴，大 P 将复制的数据在光标上一行粘贴
u  撤消前一个操作
Ctrl+r  重做上一个操作
.  将会重复上一个命令
i：在当前字符的左边插入
I：在当前行首插入
a：在当前字符的右边插入
A：在当前行尾插入
o：在当前行下面插入一个新行
O：在当前行上面插入一个新行
:w  保存数据
:wq  保存退出
:q!  不保存退出
:w 文件名 相当于另存为