集群
关注
分享
扫一扫
文章平均质量分 91
fct2001140269
大数据架构、地理信息系统
展开
-
[安装] 搭建hadoop集群
参考资料：Hadoop集群搭建，14张过程截图超详细教程目录目录hadoop集群构建 for ljgk一、基础环境准备修改主机名称配置yum源1. 局域网中配置代理环境2.或者使用私有的yum源的方式关闭防火墙配置ip映射集群免密登录修改操作系统最大打开文件数(句柄数量)设置服务器时间同步二、构建hadoop集群安装jdk添加hadoop用户，并赋予权限(强烈推荐做)修改hadoop配置文件(不完全配置)格式化hdfs的节点验证部署结果[参考文档]HDFS新增节点与删除节点待完成(非紧急)搭建集群之前的准备原创 2022-12-07 11:23:37 · 1055 阅读 · 0 评论 -
hbase建表shell脚本
hbase上执行的建表shell脚本，并指定压缩方式为SNAPPY压缩#!/bin/bash #source /etc/profile$HBASE_HOME/bin/hbase shell <<EOFcreate 'table1',{ NAME => 'data', COMPRESSION => 'SNAPPY' }create 'table2',{ NAME ...原创 2019-01-17 13:19:29 · 1103 阅读 · 0 评论 -
史上最详细的Hadoop环境搭建
原文出处：https://gitbook.cn/books/5954c9600326c7705af8a92a/index.html GitChat 作者：鸣宇淳 原文： 史上最详细的Hadoop环境搭建 关注公众号：GitChat 技术杂谈，一本正经的讲技术 【不要错过文末活动哦】前言Hadoop在大数据技术体系中的地位至...转载 2018-08-18 16:56:52 · 299 阅读 · 0 评论 -
mongoDB集群异常关闭后重新启动失败
mongoDB集群断电启动过程中常见的问题一、mongodb问题解决前使用说明该台主机mongodb安装目录为/usr/local/mongodb/ 三台主机构成一个mongo集群，以其中一台主机为例,./bin/master.conf 配置文件为：#master.conf dbpath=/data/mongodb/master1logpath=/usr/local/mong...原创 2018-07-03 15:02:27 · 5114 阅读 · 0 评论 -
shell脚本启动与停止storm集群
一、使用前准备工作介绍： 1.storm安装目录 /hadoop/apache-storm-1.1.0 2.配置好环境变量 3.三台主机(或者是虚拟机)修改了主机名、关闭了防火墙、并配置免密码登陆，主机IP与主机名的映射关系 stormfct1 192.168.11.111 stormfct2 192.168.11.112 stormfct3 192.168.11.113...原创 2018-07-02 09:04:10 · 2816 阅读 · 0 评论 -
spark集群搭建
spark集群搭建完整的spark集群搭建方式 准备工作（以三台机器为例）： 安装jdk，配置免密登陆，修改主机名，配置主机名与IP地址的映射一、准备工作安装scala 安装scala二、搭建hadoop集群(只需要启动hdfs即可)设置搭建hadoop(hdfs+mapReduce)参考： https://blog.youkuaiyun.com/gebitan505/...原创 2018-07-08 21:43:48 · 205 阅读 · 0 评论 -
shell脚本启动与关闭zookeeper集群
zookeeper集群shell脚本启动与关闭提示：适用于使用shell脚本控制zookeeper集群的启动与关闭：使用前准备工作介绍脚本介绍启动与关闭zk集群一、使用前准备工作介绍： 1.zookeeper安装目录/hadoop/zookeeper-3.4.10 2.配置好环境变量 3.三台主机(或者是虚拟机)修改了主机名、关闭了防火墙、并配...原创 2018-07-01 22:05:08 · 1968 阅读 · 0 评论 -
Hadoop集群安装搭建（12台主机）
Hadoop集群搭建所有集群安装zookeeper，并配置相关系统的主机名映射；然后安装Hadoop软件，参考如下步骤进行安装。1 安装java详见java安装手册《JDK1.8安装搭建手册》。2 安装zookeeper详见《Zookeeper安装手册》。3 解压配置（1）将Master节点中hadoop的安装目录打包，发送给各Slave节点，注意必须先打包...原创 2018-06-26 12:10:55 · 779 阅读 · 0 评论 -
Zookeeper安装手册
Zookeeper安装手册本次集群安装的zookeeper版本为3.4.10，按照如下步骤进行安装。1 Java安装Java版本为1.8，相关安装细节不在赘述，参考《JDK1.8安装搭建手册》。2 解压zookeeperTar xvf *.tar.gz3 配置环境变量Export 配置系统的环境变量，并Source生效。4 免密登录设置设置s...原创 2018-06-26 11:10:33 · 185 阅读 · 0 评论 -
Postgresql集群搭建与PostGIS安装
目录 &amp;gt; Postgresql集群搭建手册 1 Postgresql集群搭建手册 2 一、软件安装预先准备工作 2 二、Postgresql安装 (附带PostgreGIS安装) 3 2.1 potgresql安装 3 2.2 postgres常见错误说明 9 三、PostgreGIS安装 postGIS 12 四...原创 2018-06-26 11:06:15 · 8784 阅读 · 0 评论 -
Storm集群搭建（三台机器）
一、Storm集群搭建一.搭建前准备工作说明1.要搭建storm集群，需要依赖于JDK和Zookeeper（本手册重点在于讲解Storm的安装使用，JDK和ZooKeeper安装不是本文重点，如需了解请参考其它安装文档。） 1、jdk1.8.0_65 2、zookeeper-3.4.10 3、apache-storm-1.1.0本文准备了三台机器，来搭建zoo...原创 2018-06-26 10:36:34 · 745 阅读 · 1 评论 -
Storm集群使用与维护（三台机器）
接续前一章节….三、Storm集群使用与维护3.1 常见问题解决办法在storm启动过程中,当storm报错：Could not find leader nimbus from seed hosts [“localhost”] 该问题往往是由于storm集群断电后再重启引起的问题，解决方式： 删除zookeeper下的storm节点元数据，重启zookeeper，重新发布top...原创 2018-06-26 10:25:16 · 719 阅读 · 0 评论 -
Storm集群启动（三台机器）
接续前一章节……二、Storm集群启动2.1 相关说明192.168.10.100 storm1 ##主节点192.168.10.101 storm2 ##次级节点192.168.10.102 storm3 ##次级节点提醒：storm集群的配置是在storm.yarn中设置（本集群该文件storm.yarn所在路径为：/hadoop/apache-sto...原创 2018-06-26 10:19:50 · 1184 阅读 · 0 评论 -
新购买的服务器搭建大数据集群之前的准备工作
1、 设置时区，统一设置为东8区，手动同步时间(hbase对集群服务器之间时间要求比较严格) 答： 2、 检查防火墙是否关闭，并将防火墙设置为永久关闭 答： # 关闭iptables /etc/init.d/iptables stop 永久关闭chkconfig iptables off检查chkconfig –list iptables3、...原创 2018-06-21 22:14:05 · 940 阅读 · 0 评论