280亿条大数据处理实战—(一)linux基本使用

Spark是最适合运行在 linux 系统和 mac 系统的(当然 Windows 也可以安装，但是比较麻烦，不建议在 Windows 上安装)，实在不行可以自己在 Windows 上安装一个虚拟机，虚拟机上安装 centos 系统。学习大数据必须之前要学习一些 linux 系统的基本操作。

如下是我在使用中吐血总结的一些最基本的操作：

1、编辑完后保存退出：先按Esc键，通过vim的":wq"命令进行保存退出;

2、直接按 su ，进入root用户下；如按su oce，切换到oce用户下;

3、重启 shutdown -r now；

   注意 cd /和cd ..的区别

   注意 cd  lib/ 和 cd lib/ 是不同的

4、下载安装包：wget  http://learning.happymmall.com/tomcat/apache-tomcat-7.0.73.tar.gz

      解压缩：tar  -zxvf  apache-tomcat-7.0.73.tar.gz

5、使配置生效 source /etc/profile

6、新建文件夹 ：sudo  mkdir  product

7、查看某个文件的位置：whereis  nginx

8、查看某个文件夹里面的文件：ll

9、查看本机IP：ifconfig

10、打开某个文件：sudo  vim  nginx.conf

        按 i 键执行编辑操作；

11、修改文件名称(重命名)：sudo  mv  image.imooc.com  image.imooc.com.conf

12、复制指定目录的文件到当前目录，并重命名:sudo cp /home/ocean/Downloads/01.jpg  dog.jpg

13、清屏：clear

14、移动某文件到指定目录下：sudo mv /home/ocean/Downloads/navicat120_mysql_cs_x64.tar.gz -t /usr/local/

15、删除某文件：sudo rm -rf navicat120_mysql_cs_x64.tar

16、删除所有的cmd文件：rm  *.cmd

17、查看有哪些进程 jps

18、查看进程的具体信息 jps -m

19、查看当前目录路径：pwd

20、. (点)开头的文件是隐藏文件，可以用 ls  -la 查看

21、查看Java安装目录：echo  $JAVA_HOME

22、vi进入文件编辑时，输入/，再输入查找的关键字即可查找，按n一直查找下一个。

23、查看文件的读写权限：ls  -la

24、修改文件名：mv 1.txt 2.txt

25、查看一个大文件的前 20 条数据：more access.log

26、查看文件大小(以 M 为单位)：ls -lh

27、抽取文件的前10000条：head -10000 access.20161111.log >> 10000_access.log

28、查看本机磁盘环境：df -h

或者输入lsblk

29、查看哪个空间占用空间大: sudo du -sh /*,依次执行,找到没有的文件删除,或者进行迁移

执行:hdfs dfsadmin -safemode leave

30、目前在服务器里面安装了一个传文件插件，通过 Xshell ，输入 rz 即可传

如果我们要将服务器当前目录的一个文件test_file下载到桌面电脑，只需要在服务器上执行：sz test_file

因为设置了默认保存路径，会保存在 E:\Downloads\software 目录下

31、合并文件：cat file1 file2 … >> file3

32、查找文件条数：wc -l filename

33、查看内存使用情况：free -m、free -lh

34、清理内存：echo 1 > /proc/sys/vm/drop_caches

35、重启服务器：reboot