
大数据
0java
这个作者很懒,什么都没留下…
展开
-
HBase集群安装部署
(1)下载安装包http://archive.apache.org/dist/hbase/1.3.1/hbase-1.3.1-bin.tar.gz(2)规划安装目录/opt/lagou/servers/(3)上传安装包到服务器(4)解压安装包到指定的规划目录tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/lagou/servers(5)修改配置文件需要把hadoop中的配置core-site.xml 、hdfs-site.xml拷贝到hbase安装目原创 2021-07-28 20:34:57 · 169 阅读 · 0 评论 -
Zookeeper集群搭建
解压 压缩包cd /opt/lagou/softwaretar -zxvf zookeeper-3.4.14.tar.gz -C ../servers/修改配置⽂件创建data与log⽬录#创建zk存储数据⽬录mkdir -p /opt/lagou/servers/zookeeper-3.4.14/data#创建zk⽇志⽂件⽬录mkdir -p /opt/lagou/servers/zookeeper-3.4.14/data/logs#修改zk配置⽂件cd /opt/lagou/serv原创 2021-07-26 15:58:38 · 96 阅读 · 0 评论 -
Impala 安装
Linux121安装Httpd服务器#yum⽅式安装httpd服务器yum install httpd -y#启动httpd服务器systemctl start httpd#验证httpd⼯作是否正常,默认端⼝是80,可以省略http://linux121下载Impala安装所需rpm包Impala所需安装包需要到Cloudera提供地址下载http://archive.cloudera.com/cdh5/repo-as-tarball/5.7.6/cdh5.7.6-centos7.t原创 2021-07-22 20:42:21 · 412 阅读 · 1 评论 -
HiveServer2配置
HiveServer2作用:为Hive提供了一种允许客户端远程访问的服务基于thrift协议,支持跨平台,跨编程语言对Hive访问允许远程访问Hive配置规划:节点HiveServer2clientlinux121linux122√linux123√配置步骤:1、修改集群上的 core-site.xml,增加以下内容:vi $HADOOP_HOME/etc/hadoop/core-site.xml<!-- HiveServer2原创 2021-07-22 14:42:01 · 915 阅读 · 0 评论 -
hive元数据管理与存储
metastore远程模式配置配置规划:节点metastoreclientlinux121√linux122√linux123√配置步骤:配置步骤:**1、将 linux123 的 hive 安装文件拷贝到 linux121、linux122linux123上[root@linux123 ~]# cd $HIVE_HOME[root@linux123 servers]# rsync-script hive-2.3.7/在三台服务器上分别安原创 2021-07-22 10:29:47 · 167 阅读 · 0 评论 -
Hive安装配置
软件规划软件linux121linux122linux123Hadoop√√√MySQL√Hive√# hive安装包apache-hive-2.3.7-bin.tar.gz# MySQL安装包mysql-5.7.26-1.el7.x86_64.rpm-bundle.tar# MySQL的JDBC驱动程序mysql-connector-java-5.1.46.jar# 整体的安装步骤:1、安装MySQL2、安装配置Hive3、H原创 2021-07-21 09:45:32 · 142 阅读 · 0 评论 -
Apache Hadoop 完全分布式集群 搭建
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar原创 2021-07-14 17:09:30 · 96 阅读 · 0 评论 -
集群分发配置脚本
编写集群分发脚本rsync-scriptrsync 远程同步工具rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。rsync和scp区别:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。scp是把所有文件都复制过去。1 基本语法rsync -rvl $pdir/$fname $user@$host:$pdir/$fname命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称2选项参数说明选项原创 2021-07-13 14:41:12 · 173 阅读 · 0 评论 -
CentOS7使用yum时File contains no section headers.解决办法
安装阿里云yum镜像网络不通导致下载了html页面原创 2021-07-13 10:23:45 · 170 阅读 · 0 评论 -
虚拟机环境准备
关闭三台虚拟机的防火墙防⽕火墙相关的命令:systemctl status firewalld.service --查看firewall状态systemctl stop firewalld.service --停⽌止firewallsystemctl disable firewalld.service --禁⽌止firewall开机启动给三台虚拟机添加hostnamevi /etc/sysconfig/networkNETWORKING=yeshostname=linux121重启网原创 2021-07-12 17:56:13 · 126 阅读 · 0 评论 -
准备三台虚拟机环境
1.准备一台centos虚拟机器修改网络配置vi /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=dhcpDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_M原创 2021-07-05 17:30:59 · 256 阅读 · 0 评论