主要学习内容:
javaSE编程语言->(hadoop生态,storm流式计算)
linux系统->linux命令行与shell脚本编程大全
hadoop生态->HDFS/MR/YARN/hive/hbase/zk/sqoop/flume/azkaban/…(离线计算)
storm实时计算->dataV QuickBI…(私人定制)
flink计算引擎
spark一站式开发->离线计算sparkSQL 实时计算sparkStreaming 机器学习
一、基础
01:Linux简介
linux是一种自由和开放源代码的类UNIX操作系统。该操作系统的内核由林纳斯·托瓦兹
在1991年10月5日首次发布。,在加上用户空间的应用程序之后,成为Linux操作系统。
Linux也是自由软件和开放源代码软件发展中最著名的例子。
应用:长时间的运行编写的程序代码,可以安装在各种计算机硬件设备中,如:
手机、平板电脑、路由器等 安卓最底层运行在linux。
02:Linux的分类
各种版本
1->Linux根据市场的需求不同,基本分两个方向:
1)图形化界面版:注重用户体验,目前成熟度不够(图形渲染、性能稍低)
ubuntu(python)
2)服务器版:没有好看的界面,控制台窗口输入命令操作系统(性能高)
centOS(支持图形化)
redhat(支持图形化)
2->Linux根据原生程度(后期二次开发)
1)内核版本:在linus领导下的小组开发维护的系统(原版)
2)发行版本:一些组织或者公司在内核版本的基础上进行的二次开发之后发行
的版本(盗版)
03:linux常用版本
centOS
ubuntu
redhat
04:Linux安装
1)安装虚拟机
虚拟机器。
BIOS->虚拟化(电脑型号如何打开虚拟化)
2)安装centOS
鼠标退出linux->ctrl+alt
05:Linux的目录结构
bin:存放二进制的可执行文件
sbin:存放二进制的可执行文件,只有root才能访问
etc:存放系统配置文件
usr:用于存放共享的系统资源(约定俗称)
home:存放用户文件的根目录
root:超级用户的目录
dev:用于存放设备文件
lib:存放根本文件系统中的程序运行所需要的共享库和内核模块
mnt:系统管理员安装临时系统的安装点
boot:存放于系统引导时使用的文件
tmp:用于存放各种临时文件
var:用于存放运行时需要改变数据的文件
06:Linux常用命令行
ll/ls:查看当前目录下的所有文件
cd / :进入根目录
cd /usr/games : 进入子路径
cd .. : 退出到上一层目录
pwd:当前所在的路径
cd -:切换上一个所在的目录
07:远程连接(工具)
CRT/xshell/putty
firewall-cmd --state 显示centOS7防火墙状态
systemctl stop firewalld 关闭防火墙
systemctl disable firewalld 禁止开机自启动
二、linux文件、文件夹操作命令
1-> 配置IP
1)修改配置文件
vi /sysconfig/network-scripts/ifcfg-eno16777736
2)注释掉dhcp
#BOOTPROTO="dhcp"
3)添加配置(windows->ipconfig -all)
IPADDR=192.168.50.179
NETMASK=225.255.255.0
GATEWAY=192.168.50.1
DNS1=219.141.136.10
4)重启网卡
service network restart
2-> Linux常用命令(增删改查)
1)当前目录下创建文件夹
mkdir 文件夹名
2)创建指定路径文件夹
mkdir 路径
3)修改文件夹名
mv oldname newname
4)删除文件
rm 文件
5)强制删除文件
rm -f 文件
6)递归删除文件夹
rm -r 文件夹
7)强制递归删除
rm -rf
8)拷贝文件
cp 文件 路径
9)拷贝文件夹
cp -r 文件夹 路径
3-> Linux文件的操作命令(增删改查)
1)创建文件
touch 文件名
2)查看文件内容
-》cat 文件名
-》more 文件名 显示百分比,回车下一行,空格向下一页,q退出
-》less 文件名 可以使用PgUp PgDn 向上和向下翻页,q退出
-》tail -10 查看文件的后10行
tail -f 监控文件(flume)
3)vi编辑
按i:插入内容
按esc:退出编辑模式
按:wq!
4)删除
rm -rf 文件名
4-> Linux压缩和解压命令
进入sftp:alt+p
1)解压
tar -zxvf 压缩包
z:调用gzip压缩命令进行压缩
x:解压文件
v:显示运行过程
f:指定文件名
2)打包
tar -zcvf 打包后文件名 打包文件 打包文件...
c:打包文件
5-> linux其它常用命令
1)显示当前所在位置
pwd
2)搜索命令
find / -name "a.txt"
whereis date
3)查看进程
ps -ef
ps -ef | grep 进程名
| 含义:上一条命令的输出时下一条命令的输入
一个程序至少有一个进程,一个进程至少有一个线程
4)yum软件包管理器
yum search 软件
yum install tools
例如:没有ifconfig ,则先使用 yum search ifconfig 在使用yum install tools(缺少的工具名称)
5)权限操作
chmod u+x 文件名
6-> linux用户操作
1)添加用户
useradd 用户名
passwd 用户名
2)切换用户
su 用户名
3)权限
vi /etc/sudoers
root ALL=(ALL) ALL