- 博客(6)
- 收藏
- 关注
原创 HDFS、Zookeeper知识总结
1、传统数据与大数据的对比 数据量:传统数据的单位是从GB到TB,大数据的单位是从TB到PB以上。 增长速度:传统数据的数据量稳定,增长速度缓慢; 大数据是持续实时生产 数据。 多样化:传统数据主要是结构化数据, 大数据是半结构化和非结构化数据。 价值:传统数据体现在统计和报表, 大数据是数据挖掘、预测分析等。 2、大数据服务器安装规范 系统硬盘 两块硬盘做一个RAID1 引导分区 200M 交换分区 可以不设置或设置的很小,因为在大数据中需要将其关闭 根分区 /(
2020-11-25 10:30:28
1205
原创 安装Hadoop集群
由于CDH的所有安装包版本都给出了对应的软件版本,一般情况下是不需要自己进行编译的,所以我这里直接从上传压缩包开始。 先在一台服务器上安装好再复制到其他服务器。 Hadoop集群安装的准备 1、服务器主机名和IP配置(每台) 2、修改每个主机的/etc/hosts文件,添加IP和主机名的对应关系(每台) 3、管理节点到从节点配置无密码登录 4、配置jdk 1.8(每台) 5、关闭防火墙(每台) 6、关闭selinux(每台) vi /etc/selinux/config SELINUX=enforci
2020-10-30 20:31:57
256
原创 Linux常用命令
Linux常用命令 查看当前所在位置 pwd 切换文件夹 cd 目录名 帮助信息 command --help 软连接(快捷键) ln -s 目标文件绝对路径 快捷方式路径 清屏 clear 重启 reboot 关机 halt 查看内存 free –h 查看某一目录所占空间大小 du -h 可以在最近的两次目录之间切换 cd - 创建文件夹的命令 mkdir 目录名 mkd
2020-10-19 20:09:38
317
原创 在节点配置网络资源库
例如:在dashuju002节点配置网络资源库 1)、进入/etc/yum.repos.d 2)、创建old文件夹,把后缀为.repo的文件移动进old 3)、复制CentOS-Media.repo 到当前文件 4)、编辑CentOS-Media.repo,红箭头为修改后的,绿箭头的位置要删除 5)、安装httpd 6)、开启httpd 7)、关闭防火墙 8)、在/etc/hosts配置节点IP和对应的主机名 9)、修改CentOS-Media.repo红箭头位置 10)、创建软连接 1
2020-10-14 20:05:14
229
原创 硬盘实现开机自动挂载
例如:要在dashuju001节点添加20G硬盘,平均划分为两个区,实现开机自动挂载,挂载路径为/data11(10G) /data22(10G) 1、在虚拟机添加新硬盘 2、查看硬盘是否存在 3、硬盘分区 绿箭头表示默认,可以直接回车 4、查看分区 5、硬盘格式化 6、查看硬盘格式化(红箭头位置有内容,表示格式化成功) 7、创建挂载硬盘的文件 8、配置硬盘开机自动挂载 9、重启或mount -a后,df -h查看 ...
2020-10-12 19:41:15
1335
1
原创 无密码登录其他节点的两种方法
这里写自定义目录标题 方法一: 1、通过hosts文件配置节点IP与对应的主机名 2、添加你要无密码跳转的节点IP和主机名,如图 3、生成公钥和私钥 ssh-keygen + 按四下回车 公钥和私钥所在的位置 /root/.ssh 4、将公钥内的内容写入到目标服务器(免密码登录的节点)内/root/.ssh/authorized_keys文件内(没有authorized_keys自己创建) authorized_keys用户存储可以登录本节点的所有公钥 将上面node的公钥复制到node
2020-10-10 13:27:27
1190
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅