数据治理从理论到实战系列
提示:系列教程将实践的形式,所以基础的环境配置也是必须的
数据治理(二):Linux虚拟机配置
前言
提示:本章节我们将安装vmware虚拟机、安装Linux、Linux服务器复制、设置时间同步、虚拟机之间免密登录等操作,完成基础建设,已有基础环境可以跳过本章节
二、Linux虚拟机安装
安装步骤(16为例,15操作一样不影响)
默认下一步
稍后安装
修改虚拟机名称和位置
默认不修改,下一步
指定虚拟机内存,建议2G以上
一直下一步,不需要修改。直到这一步修改内容,建议能到50G以上内存
下一步到完成
左键点击
修改iso镜像文件地址
如果没有镜像文件
微云网盘下载地址:
https://share.weiyun.com/Ep3djH7t 密码:6fb9gv
阿里云镜像源下载地址:
http://mirrors.aliyun.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-2009.iso
开启此虚拟机
接下来选择时间
选择上海时区
选择磁盘分区
使用默认自动磁盘分区即可,进去之后直接点击Done按钮
修改网络配置
暂时先设置成自动获取IP
然后点击Begin Installation按钮开始继续安装
点击进入设置root密码
设置好密码,然后done退出
退出后会自动进入安装阶段,耐心等待中~
重启服务
重启完成,输入之前配置的密码进行登录
使用Linux命令 ip addr 回车;只要出现里面的IP即为成功,当然IP地址不一定和我这边显示的一致,只要有IP即可。
1.克隆服务器
我们需要三台这样的服务器,需要连续安装三次,属实是有点繁琐,所以我们选择克隆的方式克隆出两台一模一样的服务器来。
右键选择关闭服务器

右键管理-克隆
直接点下一步
选择第一个选项
这里要选择创建完整的克隆,这样克隆的计算机和原始虚拟机没有什么依赖关系
修改虚拟机名称和保存位置
完成,用这个方法重复克隆一个node03即可
2.静态IP
目前三台虚拟机都已经准备完毕,我们需要调整成静态IP,不能每次启动都变更IP,所以静态IP是必要的。
cat /etc/sysconfig/network-scripts/ifcfg-ens33
首先修改BOOTPROTO参数,将之前的dhcp改为static
vim /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO=“static”
43是自定义的网段,这个固定一个统一值,我这里使用了43。
181是我给这个虚拟机的IP 我设计是
181 node01
182 node02
183 node03 这个可以根据自己的喜好来。
如果不熟悉,建议不要修改,按照我的来。
需要加入:
IPADDR=192.168.43.181
GATEWAY=192.168.43.2
DNS1=223.5.5.5
DNS2=8.8.8.8
修改完成后需要返回到vw中修改对应的虚拟机网络编辑器
修改完成后,回到Linux中
[root@localhost ~]# service network restart
使用以上命令重启网关后,重新连接新的IP地址,我这边设置的是192.168.43.181.连接登录后,
ping baidu.com 通过证明外网可以访问
ping 192.168.43.2 通过证明可以ping通网关
修改node01 node02 node03 dns
vim /etc/resolv.conf
nameserver 223.5.5.5
nameserver 8.8.8.8
这样就证明Linux网络完成,依次我们将node02/node03完成
3.给虚拟机改个名字
以node01为例子,node02 node03同理
[root@localhost ~]# vi /etc/hostname
node01
[root@localhost ~]# reboot
4.关闭防火墙
临时关闭防火墙
[root@bigdata01 ~]# systemctl stop firewalld
永久关闭防火墙
[root@bigdata01 ~]# systemctl disable firewalld
5.免密登录
- ssh-keygen -t rsa 需要连续按 4 次回车键回到 linux 命令行才表示这个操作执行 结束
- cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
- node01上执行 scp ~/.ssh/authorized_keys node02:~/
- node02 node03 上执行 cat ~/authorized_keys >> ~/.ssh/authorized_keys
6.时间同步
1.ntpdate -u ntp.sjtu.edu.cn 如果失败需要执行第二步
2.yum install -y ntpdate #yum安装ntpdate命令
3.各个节点执行 vi /etc/crontab
-
-
-
-
- root /usr/sbin/ntpdate -u ntp.sjtu.edu.cn
-
-
-
7.安装docker
Docker 要求 CentOS 系统的内核版本高于 3.10 ,查看本页面的前提条件来验证你的CentOS 版本是否支持 Docker 。
3、卸载旧版本(如果安装过旧版本的话)
yum remove docker docker-common docker-selinux docker-engine
4、安装需要的软件包, yum-util 提供yum-config-manager功能,另外两个是devicemapper驱动依赖的
yum install -y yum-utils device-mapper-persistent-data lvm2
5、设置yum源
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
6、可以查看所有仓库中所有docker版本,并选择特定版本安装
yum list docker-ce --showduplicates | sort -r
7、安装docker
#由于repo中默认只开启stable仓库,故这里安装的是最新稳定版17.12.0
yum install # 例如:sudo yum install docker-ce-17.12.0.ce
8、启动并加入开机启动
systemctl start docker
systemctl enable docker
9、验证安装是否成功(有client和service两部分表示docker安装启动都成功了)
docker version
8.docker安装MySQL
1.查找镜像:
docker search mysql
也可以去官网查看镜像tag,选择自己需要的版本,否则会下载最新版本:https://hub.docker.com/_/mysql/
2.下载镜像(如上一步,可以指定想要的版本,不指定则为最新版):
docker pull mysql
3.通过镜像创建容器并运行:
docker run -p 3306:3306 --name mymysql -v $PWD/conf:/etc/mysql/conf.d -v $PWD/logs:/logs -v $PWD/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql
-p 3306:3306:将容器的 3306 端口映射到主机的 3306 端口。
-v -v $PWD/conf:/etc/mysql/conf.d:将主机当前目录下的 conf/my.cnf 挂载到容器的 /etc/mysql/my.cnf。
-v $PWD/logs:/logs:将主机当前目录下的 logs 目录挂载到容器的 /logs。
-v $PWD/data:/var/lib/mysql :将主机当前目录下的data目录挂载到容器的 /var/lib/mysql 。
-e MYSQL_ROOT_PASSWORD=123456:初始化 root 用户的密码。
此时,用navicat for mysql连接mysql发现报错:Client does not support authentication protocol requested by server。。。
解决方案:
进入容器:
docker exec -it 62349aa31687[docker ps 查看到ID值] /bin/bash
进入mysql:
mysql -uroot -p
授权:
mysql> GRANT ALL ON . TO ‘root’@‘%’;
刷新权限:
mysql> flush privileges;
更新加密规则:
mysql> ALTER USER ‘root’@‘localhost’ IDENTIFIED BY ‘password’ PASSWORD EXPIRE NEVER;
更新root用户密码:
mysql> ALTER USER ‘root’@‘%’ IDENTIFIED WITH mysql_native_password BY ‘123456’;
刷新权限:
mysql> flush privileges;