集群搭建

RocketMQ集群搭建 Producer:消息的发送者;举例:发信者Consumer:消息的接收者;举例:收信者Broker:暂存和传输消息;举例:邮局NameServer:管理Broker;举例:各个邮局的管理机构Topic:区分消息的种类;一个发送者可以发送消息给一个或者多个Topic;一个消息的接收者可以订阅一个或者多个Topic消息Message Queue:相当于是Topic的分区;用于并行发送和接收消息。 阅读详情
4. 集群搭建

4.1 HADOOP集群搭建

4.1.1集群简介

HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起

HDFS集群:

负责海量数据的存储,集群中的角色主要有 NameNode / DataNode

YARN集群:

负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager

(那mapreduce是什么呢?它其实是一个应用程序开发包)

 

本集群搭建案例,以5节点为例进行搭建,角色分配如下:

hdp-node-01    NameNode  SecondaryNameNode

hdp-node-02    ResourceManager

hdp-node-03 DataNode    NodeManager

hdp-node-04 DataNode    NodeManager

hdp-node-05 DataNode    NodeManager

部署图如下:

 

 

4.1.2服务器准备

本案例使用虚拟机服务器来搭建HADOOP集群,所用软件及版本:

ü Vmware 11.0

ü Centos  6.5  64bit

 

4.1.3网络环境准备

ü 采用NAT方式联网

ü 网关地址:192.168.33.1

ü 3个服务器节点IP地址:192.168.33.101、192.168.33.102、192.168.33.103

ü 子网掩码:255.255.255.0

4.1.4服务器系统设置

ü 添加HADOOP用户

ü 为HADOOP用户分配sudoer权限

ü 同步时间

ü 设置主机名

n hdp-node-01

n hdp-node-02

n hdp-node-03

ü 配置内网域名映射:

n 192.168.33.101          hdp-node-01

n 192.168.33.102          hdp-node-02

n 192.168.33.103          hdp-node-03

ü 配置ssh免密登陆

ü 配置防火墙

 

4.1.5 Jdk环境安装

ü 上传jdk安装包

ü 规划安装目录  /home/hadoop/apps/jdk_1.7.65

ü 解压安装包

ü 配置环境变量 /etc/profile

 

 

4.1.6 HADOOP安装部署

ü 上传HADOOP安装包

ü 规划安装目录  /home/hadoop/apps/hadoop-2.6.1

ü 解压安装包

ü 修改配置文件  $HADOOP_HOME/etc/hadoop/

最简化配置如下:

vi  hadoop-env.sh

# The java implementation to use.

export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_51

 

vi  core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://hdp-node-01:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/HADOOP/apps/hadoop-2.6.1/tmp</value>

</property>

</configuration>

vi  hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.name.dir</name>

<value>/home/hadoop/data/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/home/hadoop/data/data</value>

</property>

 

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

 

<property>

<name>dfs.secondary.http.address</name>

<value>hdp-node-01:50090</value>

</property>

</configuration>

 

 

 

vi  mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

 

vi  yarn-site.xml

<configuration>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop01</value>

</property>

 

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

 

vi  salves

hdp-node-01

hdp-node-02

hdp-node-03

 

 

4.1.7 启动集群

初始化HDFS

bin/hadoop  namenode  -format

 

启动HDFS

sbin/start-dfs.sh

 

启动YARN

sbin/start-yarn.sh

4.1.8 测试

1、上传文件到HDFS

从本地上传一个文本文件到hdfs的/wordcount/input目录下

[HADOOP@hdp-node-01 ~]$ HADOOP fs -mkdir -p /wordcount/input

[HADOOP@hdp-node-01 ~]$ HADOOP fs -put /home/HADOOP/somewords.txt  /wordcount/input

 

2、运行一个mapreduce程序

在HADOOP安装目录下,运行一个示例mr程序

cd $HADOOP_HOME/share/hadoop/mapreduce/

hadoop jar mapredcue-example-2.6.1.jar wordcount /wordcount/input  /wordcount/output

 

Zookeeper集群搭建和Kafka集群的搭建 Zookeeper!!! 一、Zookeeper集群搭建步骤 0)集群规划 在hadoop01、hadoop02和hadoop03三个节点上部署Zookeeper。 1)解压安装 (1)解压zookeeper安装包到/home/hadoop/insatll/目录下 [hadoop@hadoop01 tools]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /home... 阅读详情

相关推荐

搭建 Kubernetes 集群

搭建一个 Kubernetes 集群需要准备至少两台节点,一台作为 Master 节点,另一台作为 Worker 节点。

清浅 884

git教程

开发是一个团队的工作,大部分软件都是多个开发者共同编写的,在编写的时候会遇到代码开发过程中需要控制代码版本,以及远程协同开发代码的需求。这个时候就可以使用git来完成集群化、多分支的开发。点击进入下载:git官方地址git 的安装十分简单,只需要选择安装目录,其余选项默认即可。当你需要制作一个项目仓库时,创建对应文件夹,然后cd到该文件夹下 创建完仓库后会出现一个.git的隐藏文件夹 .git文件夹下有git的版本控制对应的代码等,所以仓库再不断迭代代码后该文件夹会越来越大。 一个仓库如果有局部用户则上传

kdq18486588014的博客 526

gitmesh:创建分布式git服务器集群的实验项目

gitmesh 这是什么? 这是制作分布式git服务器集群的实验项目。 该项目的主要目标是找到一种合理的方法来向git存储库添加可伸缩性和冗余。 基本思想是在多个节点上定位git存储库,并将git客户端的代理请求发送到适当的节点。 这种方法类似于 (已更名为)。 分布式gitserver集群由以下两种服务器组成: 这是群集的前端服务器。 它管理仓库服务器和从git客户端到适当仓库服务器的代理请求。 我们可以通过使用负载均衡器设置多个实例来使其冗余。 这是群集的存储服务器。 Git存储库实际上位于这种服务器上。 我们可以向集群添加任意数量的存储库服务器实例。 该项目仍处于开发阶段,但是,如果您有兴趣,请尝试一下。 欢迎任何反馈! 建立 您可以在docker和docker-compose上运行最小的gitmesh集群。 先决条件 Java 8 sbt 码头工人 建立Docker映像 首先,在此存储库的根目录运行以下命令以构建docker映像。 $ ./build-docker.sh 该脚本构建以下docker映像: gitmesh控制台 gitmesh控制器服务器 gitme

Hadoop集群完全分布式模式环境部署

Hadoop简介         Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲,可以分成两大类角色:Mas

SDUTACM的博客 889

分布式集群高可用搭建整理

hadoop安装的整理:hadoop高可用性集群配置,整合了包含hadoop,hbase等集群的安装的配置文件的设置

solr在Linux下搭建集群

solr在Linux下搭建集群solr在Linux下搭建集群solr在Linux下搭建集群solr在Linux下搭建集群solr在Linux下搭建集群solr在Linux下搭建集群solr在Linux下搭建集群

Chives 集群收割机图文说明

Chives(韭菜)是什么? *经过一段时间的修复和测试 在2021年7月11日正式发布 从CHIA硬分叉而来 主网目前只认:K29 K30 K31 对电脑硬件配置要求更低 3 迄今为止门槛较低的硬盘采集!!! 关于韭菜(CHIVES) 1、名称:韭菜(Chives) 中文名称:韭菜 英文名称:Chives​​​​​​​ 英文缩写:XCC (XCH CASH)​​​​​​​ 是否ICO :否​​​​​​​ 是否预挖:否​​​​​​​ 性质说明:从Chia分叉而来

zhao_ming_jun的博客 4468

为Codex添加任务完成提示音:提升开发效率的实用技巧

在自动化脚本开发和模型训练过程中,实时获取任务状态反馈是提升工作效率的关键。通过Hook机制,开发者可以在代码执行的关键节点注入自定义逻辑,实现各种自动化操作。Codex的Hook系统特别适合用于任务完成提醒,其post_execution节点能准确捕获执行结束事件。技术实现上,只需简单配置TOML文件并编写音频播放脚本,就能让系统在任务完成时自动播放提示音。这种声音反馈机制尤其适用于长时间运行的批量任务和模型训练场景,实测可提升30%以上的工作效率。结合动态音效选择和跨平台兼容方案,该技巧还能扩展为桌面通

weixin_26767391的博客 551

gitlab搭建

【代码】gitlab搭建。

Djdhdhskn的博客 1767

交流伺服电机绝对式位置控制实战指南

伺服电机控制是工业自动化的核心技术之一,其核心原理是通过闭环反馈实现精确位置控制。绝对值编码器作为关键传感器,能提供单圈内的绝对位置信息,避免了增量式编码器的累计误差问题。在工程实践中,电子齿轮比配置、位置环PID调节等技术直接影响系统动态性能。本文以包装机械为典型场景,详细解析了从硬件选型到参数整定的全流程实现方案,特别是针对单圈绝对值编码器初始化和限位保护等易错环节,给出了经过验证的解决方案。通过合理设置17位编码器的电子齿轮比和优化运动控制算法,最终实现了±0.05°的高精度定位。

weixin_42531588的博客 282

4D毫米波雷达与激光雷达融合评测:3种主流融合框架在极端天气下的性能对比

本文深度评测了4D毫米波雷达与激光雷达在极端天气下的三大融合框架性能,包括前融合、特征级融合和后融合。通过实测数据对比,揭示了多传感器融合在暴雨、浓雾等恶劣环境中的显著优势,为自动驾驶感知系统提供了关键的技术参考和工程实践指南。

weixin_28677005的博客 332

Redis集群搭建(非常详细)

https://blog.youkuaiyun.com/qq_42815754/article/details/82912130 redis集群搭建 在开始redis集群搭建之前,我们先简单回顾一下redis单机版的搭建过程 下载redis压缩包,然后解压压缩文件; 进入到解压缩后的redis文件目录(此时可以看到Makefile文件),编译redis源文件; 把编译好的redis源文件安装到/usr/local/redis目录下,如果/local目录下没有redis目录,会自动新建r

yygr的博客 2万+

【教程】BM1684X-32边缘计算盒子 网络配置教程

BM1684X边缘计算盒子网络配置教程

ShiMetaPi的博客 716

基于Hadoop集群的Spark集群搭建

基于Hadoop集群的Spark集群搭建 一. 单机版Spark搭建 (1)将下载下来的软件包拉至集群中(主节点上) (2)解压至指定目录 (3)将解压下的文件移至某个特定目录下并查看 (4)修改环境变量 (5)使环境变量生效并进入scala命令行测试; (6)解压scala压缩包并放置指定目录; (7)添加环境变量 (8)生效环境变量并测试spark(source .bash_pr...

青澜饮舟的博客 3279

华为手机连接Win11失败?内核隔离与驱动签名冲突的终极解决指南

在Windows操作系统中,驱动程序是硬件与系统通信的桥梁,其数字签名机制是保障系统内核安全的核心防线。基于虚拟化的安全技术通过强制验证驱动签名,能有效隔离恶意代码,提升系统抵御高级威胁的能力。然而,严格的签名策略有时会与部分硬件驱动产生兼容性问题,导致设备无法识别,直接影响文件传输、应用调试等核心工作流。本文聚焦于华为手机在开启Windows 11内核隔离功能时出现的连接故障,深入剖析驱动签名验证与Hypervisor保护的代码完整性原理,并提供从驱动更新、策略调整到无线替代方案的完整解决路径,帮助用户在

weixin_31309419的博客 360

【RT-DETR有效改进】利用MobileNetV3替换Backbone(轻量化网络结构,提点)

本文给大家带来的改进机制是,其主要改进思想集中在结合硬件感知的网络架构搜索(NAS)和NetAdapt算法,以优化移动设备CPU上的性能。它采用了新颖的架构设计,包括反转残差结构和线性瓶颈层,以及新的高效分割解码器Lite Reduced Atrous Spatial Pyramid Pooling(LR-ASPP),以提升在移动分类、检测和分割任务上的表现。实验表明,MobileNets在资源和准确性的权衡方面表现出色,并在多种应用(如对象检测、细粒度分类、面部属性识别和大规模地理定位)中展现了其有效性。

Snu77的博客 2752

Flink实战——集群搭建

下图12展示了未启动Flink集群时的进程情况,图13展示了启动Flink集群后的进程情况。本文为三台节点服务器分配如下表2所示的集群角色,后文将针对表2所示情况,在Linux系统上搭建Flink1.17版本的集群。,本文默认读者已经安装和部署过Hadoop集群,故对Hadoop集群的相关安装部署不做相应介绍。文件配置完成后,用户依据个人情况,采用两种不同的方式分发配置文件。,则在其余两台节点服务器(hadoop01和hadoop02)上。上,其中,目录位置可以自定义,本文上传的目录位置为。

m0_46332441的博客 3963

SAP-ABAP:SAP Open SQL 分页技术深度解析:语法、性能陷阱与最佳实践

SAP Open SQL 分页技术深度解析:语法、性能陷阱与最佳实践

baidu_35680696的博客 637

【redis】集群 如何搭建集群详解

基于docker在我们云服务器上搭建出一个redis集群出来当前节点,主要是因为我们只有一个云服务器,搞分布式系统,就比较麻烦。实际工作中,一般是通过多个主机的方式,来搭建集群9docker9此处我们创建11个redis节点,其中前9个用来演示集群的搭建,后2个用来演示集群扩容一定要记得,把以前启动的redis容器给停掉。

Yeeear的博客 1968

31、工程中不确定性量化与优化的全面解析

本文全面解析了工程中不确定性量化与优化的关键方法。针对数据充足与不足两种情况,分别介绍了概率理论和非概率方法在不确定性建模中的应用;系统阐述了采样方法、FORM/SORM、泰勒级数近似等不确定性传播技术;深入比较了RBDO与RDO两种主流优化框架的原理、步骤及适用场景,并通过两杆桁架案例展示了具体实现过程。文章旨在为工程师提供一套完整的从不确定性分析到优化设计的方法论,提升工程系统的可靠性与稳健性。

php55的博客 123

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

搭建Redis集群

新的的命令:redis-cli --cluster create 192.168.40.101:7000 192.168.40.101:7001 192.168.40.101:7002 192.168.40.101:7003 192.168.40.101:7004 192.168.40.101:7005 --cluster-replicas 1。- cluster-config-file nodes-7000.conf //集群节点配置文件。2.默认情况下该节点就是以master节点形式添加。

2401_86341340的博客 963

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

RabbitMQ集群搭建及使用

前提条件:linux服务器下已经安装好了docker服务。本文档将搭建一个三台RabbitMQ的集群,包括三个RabbitMQ容器安装在同一服务器和三台不同的服务器。

weixin_46562226的博客 1544

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Redis 集群搭建

使用 Redis 集群进行扩展 |文档请注意,按预期工作的小集群必须包含 至少三个主节点。对于部署,我们强烈建议 一个六节点集群,包含三个主节点和三个副本。三台服务器各部署一个主节点、一个从节点,同一台服务器上不是直接主从关系。操作系统Centos 7Centos 7Centos 7内核版本主机名称node-01node-02node-03角色IP地址Redis7.2.57.2.57.2.5。

菜鸟一枚,对云原生感兴趣 3526

redis集群搭建

集群细节 所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和宽带。 节点的fail是通过集群中超过半数的节点检测失效时才能生效。 客户端与redis节点直连,不需要中间proxy层,客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。 Redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster负责维护node<->slot<->value redis集群搭建 制作6个redis实例,端口号分别是63

qq_36779138的博客 3276
上一篇: 离线数据分析流程介绍
下一篇: 集群使用初步
github_39294367
博客等级 码龄9年 33粉丝 156原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值