大数据命令，一文在手，全部都有2.0

Linux

1. vi/vim

一般模式

语法	功能描述
yy	复制光标当前一行
y数字y	复制一段（从第几行到第几行）
p	箭头移动到目的行粘贴
u	撤销上一步
dd	删除光标当前行
d数字d	删除光标（含）后多少行
x	删除一个字母，相当于del
X	删除一个字母，相当于Backspace
yw	复制一个词
dw	删除一个词
shift+^	移动到行头
shift+$	移动到行尾
1+shift+g	移动到页头，数字
shift+g	移动到页尾
数字N+shift+g	移动到目标行

编辑模式

按键	功能
i	当前光标前
a	当前光标后
o	当前光标行的下一行
I	光标所在行最前
A	光标所在行最后
O	当前光标行的上一行

指令模式

命令	功能
:w	保存
:q	退出
:!	强制执行
/要查找的词	n 查找下一个，N 往上查找
? 要查找的词	n是查找上一个，shift+n是往下查找
:set nu	显示行号
:set nonu	关闭行号

2. RPM

RPM查询命令：rpm -qa |grep firefox

RPM卸载命令：

rpm -e xxxxxx

rpm -e --nodeps xxxxxx（不检查依赖）

RPM安装命令：

rpm -ivh xxxxxx.rpm

rpm -ivh --nodeps fxxxxxx.rpm（--nodeps，不检测依赖进度）

选项	功能
-i	-i=install，安装
-v	-v=verbose，显示详细信息
-h	-h=hash，进度条
--nodeps	--nodeps，不检测依赖进度

3. 登录与注销

命令	描述
sudo useradd lilei	添加用户 (不能被立即使用，需设置密码 sudo passwd lilei)
sudo adduser lilei	添加用户
login	登录或切换用户
logout	注销用户（命令行）  exit(shell-退出控制台)
shutdown -h 10	10分钟后自动关机 shutdown -c  //取消
halt(root用户)	关闭所有进程后自动关机
poweroff	同上
shutdown -r 10	十分钟后自动重启
init 6	重启 （0-停机，1-单用户，2-多用户，3-完全多用户，4-图形化，5-安全模式，6-重启）
reboot	重启

4. 目录与文件

命令	描述
cat > myfile	创建文件并编辑内容（ctrl+D结束编辑）
cat -n myfile	查看文件
chmod [u/g/o/a][+/-/=][r/w/x] myfile	更改文件权限 u-user,g-group,o-others,a-all  .   +-添加,--删除,=-重置   .r-read读（4），w-write写（2），x-execute执行（1）
more myfile	分页往后显示文件（Space空格）
less myfile	分页自由显示文件（Page Down / Page Up）
head (-10) myfile	指定显示文件前若干行（默认前10）
tail (-10) myfile	指定显示文件后若干行（默认后10）

5. 文件内容处理

命令	描述
sort myfile	对文件内容进行排序
sort -r myfile	逆序
uniq myfile	检查文件中的重复内容
grep （-c）‘a’ myfile	在文件中查找指定内容 (显示行号)
diff myfile01 myfile02	对不同文件进行比较
diff3 myfile01 myfile02 myfile03	三个文件
sdiff myfile01 myfile02	合并
cmp myfile01 myfile02	通过字节对不同文件进行比较
omm myfile01 myfile02	对有序文件进行比较
cut -b(-c)(-d) 2(3) myfile	对文件内容进行剪切
paste myfile02 myfile01	对文件内容进行粘贴 02-）01
wc （-参数） myfile	对文件内容进行统计 （c-字符数,w-单词数,l-行数）

6. 文件搜索

命令	描述
find / -name file1	从 '/' 开始进入根文件系统搜索文件和目录
find / -user user1	搜索属于用户 'user1' 的文件和目录
find /home/user1 -name *.bin	在目录 '/ home/user1' 中搜索带有'.bin' 结尾的文件
find /usr/bin -type f -atime +100	搜索在过去100天内未被使用过的执行文件
find /usr/bin -type f -mtime -10	搜索在10天内被创建或者修改过的文件
find / -name *.rpm -exec chmod 755 '{}'	搜索以 '.rpm' 结尾的文件并定义其权限 ^
find /tmp -name *.hprof -exec rm -f {}	批量删除java堆栈.hprof文件
find / -xdev -name *.rpm	搜索以 '.rpm' 结尾的文件，忽略光驱、捷盘等可移动设备
locate *.ps	寻找以 '.ps' 结尾的文件 - 先运行 'updatedb' 命令
whereis halt	显示一个二进制文件、源码或man的位置
which halt	显示一个二进制文件或可执行文件的完整路径
grep -rn "query_string" *	Linux目录下全局查找所有文件中是否包含指定字符串（-r：递归；-n：显示行号）

7. 压缩

命令	描述
zip myfile.zip myfile	压缩
zip -d myfile.zip myfile	添加
zip -m myfile.zip myfile	删除
unzip -o myfile.zip	解压（覆盖）
unzip -n myfile.zip	解压（不覆盖）
zipinfo myfile.zip	列出压缩文件信息

8. 磁盘空间

命令	描述
df -h	显示已经挂载的分区列表
ls -lSr |more	以尺寸大小排列文件和目录
du -sh dir1	估算目录 'dir1' 已经使用的磁盘空间'
du -sk * | sort -rn	以容量大小为依据依次显示文件和目录的大小

9. 系统负载

命令	描述
top -d 20 -p 1303	将进程号1303的系统负载，每隔20秒刷新一次
top -d 20 -n 3 -b > test.txt	每隔20秒，一共执行3次， 将统计结果导入到test.txt文件中。

Shell

输入/输出重定向

命令	功能说明
command > file	将输出重定向到 file
command < file	将输入重定向到 file
command >> file	将输出以追加的方式重定向到 file
n > file	将文件描述符为 n 的文件重定向到 file
n >> file	将文件描述符为 n 的文件以追加的方式重定向到 file
n >& m	将输出文件 m 和 n 合并
n <& m	将输入文件 m 和 n 合并
<< tag	将开始标记 tag 和结束标记 tag 之间的内容作为输入

脚本编辑

快捷方式	功能说明
shift	参数左移
$@	所有的参数
$#	参数的个数

---

Git

基本命令

命令	说明
git init	初始化仓库
git clone	拷贝一份远程仓库，也就是下载一个项目
git add	添加文件到暂存区
git status	查看仓库当前的状态，显示有变更的文件
git diff	比较文件的不同，即暂存区和工作区的差异
git commit	提交暂存区到本地仓库
git reset	回退版本
git rm	删除工作区文件
git mv	移动或重命名工作区文件
git log	查看历史提交记录
git blame	以列表形式查看指定文件的历史修改记录
git remote	远程仓库操作
git fetch	从远程获取代码库
git pull	下载远程代码并合并
git push	上传远程代码并合并

分支管理命令

命令	说明
git branch	列出分支
git branch (branchname)	创建分支命令
git branch -d (branchname)	删除分支
git checkout (branchname)	切换分支
git merge	合并分支

---

Hadoop

启动类命令

功能说明	命令脚本
启动hdfs集群	sbin/start-dfs.sh
启动yarn	sbin/start-yarn.sh

hadoop fs/hdfs dfs 命令

功能说明	命令
创建目录	hdfs dfs -mkdir -p /data/flink
显示目录	hdfs dfs -ls /
从HDFS拷贝到本地	hdfs dfs -copyToLocal /data/data.txt ./
文件上传到集群(从本地)	hdfs dfs -copyFromLocal data.txt /
文件下载	hdfs dfs -get /data/flink
删除集群的文件	hdfs dfs -rm /data/flink
删除文件夹	hdfs dfs -rm -r -skipTrash /data
从本地剪切粘贴到HDFS	hdfs dfs  -moveFromLocal data.txt /data/
追加一个文件到已经存在的文件末尾hdfs dfs -appendToFile data1.txt /data/data.txt
显示文件内容	hdfs dfs -cat data.txt
修改文件所属权限	hdfs d