搭建完全分布式redis集群

三台服务器搭建Redis cluster集群 3.并在该文件夹下创建 6379,6380,bin,redis三个文件夹,6379,6380用来放置端口为6379和6380的redis配置文件redis.conf,bin下放置redis编译后的可执行文件redis-server,redis-cli,redis-check-rdb,redis-check-aof,redis-benchmark等,redis放置解压后的redis文件夹。./redis-cli -h 127.0.0.1(该ip为当前服务器ip) -c -p 6379。执行flushall。 阅读详情

这里用三台服务器搭建一个完全分布式redis集群,用来做爬虫请求url的共享队列.每台服务器创建两个节点(一个master 一个slave),当mater挂了的时候slave会顶上去,这样就构成了一个三主三从的集群。

三台服务器:host1 host2 host3

6379端口为主节点,6380为辅助节点


1.下载

下载地址:http://download.redis.io/releases/

可选想要的版本进行下载,一般用http://download.redis.io/releases/redis-stable.tar.gz

cd /root

wget http://download.redis.io/releases/redis-stable.tar.gz

tar -zxvf redis-stable.tar.gz

mv redis-stable redis-6379


2编译redis

cd redis-6379

make

make install


3修改配置

vi redis.conf




#redis后台运行

daemonize yes

#允许访问的机器

bind 0.0.0.0

#端口

port 6379

#日志输入配置

loglevel notice

logfile"redis-6379.log"

#集群配置

#开启集群

cluster-enabled yes

#集群的配置,首次启动时会自动生成

cluster-config-filenode-6379.log

#请求超时时间当前设置为5秒

cluster-node-timeout 5000

#aof日志开启 ,每次写操作都会记录一条日志

appendonly yes



4启动 测试

src/redis-server redis.conf


ps -ef | grep redis


看到6379正在运行


5.搭建集群

安装 ruby

yum -y install ruby

yum -y install rubygems

安装 ruby 的redis 驱动

gem install redis


将redis-6379复制一份为redis-6380,再修改配置文件



#redis后台运行

daemonize yes

#允许访问的机器

bind 0.0.0.0

#端口

port 6380

#日志输入配置

loglevel notice

logfile"redis-6380.log"

#集群配置

#开启集群

cluster-enabled yes

#集群的配置,首次启动时会自动生成

cluster-config-filenode-6380.log

#请求超时时间当前设置为5秒

cluster-node-timeout 5000

#aof日志开启 , 每次写操作都会记录一条日志

appendonly yes


将这台服务器上的的redis-6379和redis-6380复制到另外两台服务器


命令创建集群:

src/redis-trib.rb create –replicas 1 host1:6379 106.host2:6379 host3:6379host1:6380 106.host2:6380 host3:6380 


(  1表示主从关系1:1的比例,前三个是主节点)



查看集群情况:

src/redis-cli

cluster info


6集群测试

集群测试

进去集群环境:

[root@localhost cluster]# redis-cli -c -h 127.0.0.1 -p 6379

127.0.0.1:7000>set sex male

Ok

127.0.0.1:7000>get sex

“male”

切换任意节点:

[root@iZuf6c4xlucvh6ze6eng2hZ redis-6379]# src/redis-cli -c -h 127.0.0.1 -p 6379


[root@localhost cluster]# redis-cli -c -h 127.0.0.1 -p 7004

127.0.0.1:7004> get sex

-> Redirected to slot [2584] located at 127.0.0.1:7000

"male"


7.清空集群数据

src/cli

flushall


需要每个节点都要执行一次



8redis可视化操作工具

Redis Desktop Manager




9报错备注

1》 ruby版本太低

手动安装ruby环境

$ wget https://cache.ruby-lang.org/pub/ruby/2.2/ruby-2.2.3.tar.gz

$ tar -zxvf ruby-2.2.3.tar.gz

$ cd ruby-2.2.3.tar.gz

$ ./configure

$ make && make install

查看安装是否成功

$ ruby -v

如果报错执行

$ export PATH=/usr/local/bin:$PATH

再测试

$ ruby -v


2》创建集群一直Waiting for the cluster to join...................

解决:


删除 nodes-6379.conf  redis-6379.log

根目录 Chmod -R 777 *

查看防火墙状态service iptables status

重新启动redis










深入解析Dataloader中shuffle机制与随机种子对模型训练的影响 本文深入探讨了Dataloader中shuffle机制与随机种子对机器学习模型训练的影响。通过实际案例分析,详细解释了数据打乱顺序的必要性、随机种子的正确设置方法以及两者协同工作的原理,帮助开发者避免常见陷阱并提升模型训练效果。 阅读详情

相关推荐

2026 具身智能 VLA/WAM 全栈学习与训练路线:从动作建模、SFT、RL 到世界模型的 RTX PRO 6000 96GB 单卡实战指南

我会把这张表做成“”而不是只列论文名:先核对每个模型截至的公开代码、训练目标和数据接口,再单独给你一套。对于没有公开、只有推理代码或训练细节不完整的模型,我会明确标出来,避免把“论文里提到”误写成“可复现”。目前有一个重要更新:。截至今天 NVIDIA 官方开源主线已经是换成 Cosmos-Reason2-2B/Qwen3-VL 架构,动作端仍是连续路线,而且官方明确给出单卡微调时默认只训练,峰值显存约。所以你的 96GB 单卡对 GR00T SFT 非常宽裕。可以。下面我按,把它整理成一张真正面向“

u013250861的博客 445

三台机器搭建redis集群过程及问题记录

Redis版本 5.0.4 服务器版本 Linux CentOS 6;CentOS 7;CentOS 9; redis集群需要至少要三个master节点,我们这里搭建三个master节点,并且给每个master再搭建一个slave节点,总共6个redis节点,三主三从。给三台机器都装上redis Linux安装部署Redis

craftsman2020的博客 5121

【后端】主流后端语言:JAVA、C、C++、GO、PYTHON

软件开发领域,语言本身在各自领域都有适用场景,有许多流行的编程语言可供选择,每种语言都有其独特的特点和适用场景。

wnm23的专栏 1万+

redis集群搭建(三主三从)

1/关闭三台服务器的防火墙,如果打开防火墙,需要开放对应的端口,例如185服务器需要打开7000、7001、17000、17001端口,其中17001和17000是集群总线端口,用于集群间的通信(非常重要)。尽量选择5.X.X版本,因为5以下版本不能用./redis-cli --cluster命令。2.三台机器安装C语言环境,redis安装依赖C语言环境。准备三台服务器,每台服务器上安装两个redis节点。选择一台机器,执行 初始化命令,需在src目录下。2.给压缩包赋权限,解压压缩包,复制到安装目录。

qq_22679769的博客 2904

用VSCode远程开发Jetson小车:告别Jupyter,在本地IDE高效调试Rosmaster Python程序

本文详细介绍了如何利用VSCode的Remote-SSH扩展在本地IDE中高效开发Jetson小车的Rosmaster Python程序。通过配置远程开发环境、调试技巧和项目管理方法,开发者可以告别Jupyter Notebook的碎片化编码,实现完整的机器人控制程序开发,显著提升工作效率。

weixin_30652491的博客 477

计算机组成原理 微程序控制器实验

微程序控制器实验 实验环境 计算机组成原理实验环境 实验目的 掌握微程序控制器的组成原理和工作过程。 理解微指令和微程序的概念,理解微指令与指令的区别与联系。 掌握指令操作码与控制存储器中微程序的对应方法。熟悉根据指令操作码从控制存储器中读出微程序的过程。 实验要求 做好实验预习,读懂实验电路图,熟悉实验元器件的功能特性和使用方法。 按照实验内容与步骤的要求,独立思考,认真仔细地完成实验。 写出实验报告。 实验电路        

Long_UP的博客 7万+

redis分布式集群环境搭建

redis 分布式集群可分为主从集群、哨兵集群、分片集群,本片文章我们就来分别介绍这三种集群环境的搭建。 本次搭建环境为 Linux 虚拟机系统。 在搭建 redis集群之前,需要先在 linux 系统中安装部署单机的 redis(安装目录为: /usr/local/src ),其详细步骤可点击如下链接:Linux云服务器安装部署redis详细步骤我们搭建的主从集群结构如图: 共包含三个节点,一个主节点,两个从节点(主节点用于写操作,从节点只能进行读操作)。这里我们会在同一台虚拟

S mile0804的博客 1780

手机直连低轨卫星通信:架构、关键技术和未来展望

【摘 要】借助低轨卫星星座全时全域覆盖优势,手机直连卫星通信预期成为6G重要特征之一。首先介绍了手机直连卫星的测试验证、标准化与商业项目发展现状。其次,介绍了基于透明转发、部分可再生处理、完全可再生处理、集成接入和回传的四种手机直连低轨卫星网络架构及组网方式。通过分析手机直连低轨卫星网络场景下高移动性与大传输时延等带来的接入与传输问题,提出对地面移动通信体制进行适应性改进的关键技术方案。最后,探讨了未来手机直连低轨卫星发展发向和潜在思路。通过上述阐述与分析,提供未来发展手机直连低轨卫星通信的可行路径。【关

fzq0625的博客 1707

redis分布式集群搭建

CentOS 7 搭建 redis 分布式集群

天羽云龙的博客 2057

液态神经网络(Liquid Neural Networks)从线虫大脑到下一代 AI

液态神经网络(Liquid Neural Networks,LNN)是一类具有动态内部结构的神经网络,其灵感来源于生物神经系统,尤其是大脑中神经元如何以复杂、非线性的方式响应外部刺激。与传统神经网络不同,液态神经网络的每个神经元在处理输入时,不再是静态线性或非线性变换,而是基于一个微分方程模型进行响应。这种建模方式使神经元的行为具有时间连续性和动态适应性。换句话说,它不仅“记住”过去的信息,还能根据当前环境实时调整自身的动态特性,这对于感知、决策、预测等任务都非常关键。

hello.reader 7416

倍福--TwinSAFE功能块的使用

在安全模块的程序设计中,输入变量取反,或者把PLC的变量连接到安全的功能块程序中, 操作流程 1.1. 功能块输出取反 例如修改IN,右击属性,然后可在Single-Channel选项中选择是NO还是NC的输入信号。 1.2. PLC标准变量作为安全程序的输入 1.2.1. 建立两个PLC变量 1.2.2. 安全程序区创建变量 1.2.3. 功能块变量链接 首先,PLC变量不能直接连到Estop功能块的输入变量中,否则会报错,但PLC可以连接到SafeAnd这些功能块,然后再转出来,如下所示

weixin_41883890的博客 5312

大数据学习第13天

redis学习笔记 伪分布式单节点配置启动sen1.conf-----port 26379sentinel monitor s1 127.0.0.1 6379 2 sen2.conf-----port 26380sentinel monitor s1 127.0.0.1 6379 2 sen3.conf-----port 26381sentinel monitor s1 127.0.0.1 ...

weixin_30486037的博客 82

驾驶行为检测数据集准备与处理详解

本文详细介绍了构建"未系安全带/打电话"检测模型的数据集准备流程。首先分析公开数据集(如StateFarm、AICityChallenge)的优缺点,并提供格式转换脚本。重点推荐自行采集+半自动标注方案:1)视频关键帧提取;2)使用预训练模型生成伪标签;3)人工修正标注;4)数据增强(光照变化、运动模糊等)。文章还包含数据配置文件编写指南,并针对类别不平衡、小目标检测等常见问题提出解决方案,如过采样、切片训练和负样本挖掘。通过这套流程可构建高质量数据集,为模型训练奠定基础。

u010117029的博客 356

大数据学习初级入门教程(七) —— Redis 3.x 完全分布式集群的安装、配置、启动和测试

在前两篇文章《大数据学习初级入门教程(二) —— Redis 3.x 单节点的安装、启动和测试》和《大数据学习初级入门教程(六) —— Redis 3.x 伪分布式集群的安装、配置、启动和测试》中,已经对 Redis3.x 的单节点安装和伪分布式集群安装做了安装、配置、启动和测试,这篇文章主要对 Redis3.x完全分布式集群安装进行详细的图文说明。 集群搭建条件: 和搭建伪分布式集群一样,...

郎图腾 644

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Hadoop完全分布式安装(HA、Yarn、ZKFC、flumeGanglia、sqoop一步到位)

Hadoop完全分布式安装,一步到位

fengxiandada的博客 2859

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Linux Centos7.6 服务器搭建(大二笔记)——JDK、Tomcat、Mysql、Redis、Hadoop完全分布式集群(三台云服务器)

Linux 7.6 服务器搭建 笔者购买的服务器是腾讯云(最低配置88元/年,穷苦大二学生为了学习后端知识)。购买之后需要在腾讯云重装系统,建立新的用户。连接服务器的软件是Xshell。 一、jdk1.8安装 1.Linux获取jdk安装包 在网上获取的jdk-8u45-linux-x64.tar.gz(网盘地址:https://pan.baidu.com/s/1o7B1PXK 密码:el7b)。然后使用Xshell连接服务器,创建在root创建software并进入,将jdk压缩包拖入Xshell命令行。

obuivy的博客 1535

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

全网最全大数据集群环境配置

包含hadoop,flume,kafka,hbase,zookeeper,mysql,tomcat,redis的部署流程,适用于单个环境的安装和项目集群环境的安装。

勇敢牛牛,不怕困难! 2168

大数据学习——Hadoop集群完全分布式的搭建

Hadoop集群是一种分布式的计算平台,用来处理海量数据,它的两大核心组件分别是HDSF文件系统和分布式计算处理框架mapreduce。HDFS是分布式存储系统,其下的两个子项目分别是namenode和datanode;namenode管理着文件系统的命名空间包括元数据和datanode上数据块的位置,datanode在本地保存着真实的数据。它们都分别运行在独立的节点上。本章详细讲解hadoop集群部署。

Linux运维老纪的博客 1621

Linux Redis集群搭建与集群客户端实现

redis集群实现方案:   关于redis的集群化方案 目前有三种   (1)Twitter开发的twemproxy   (2)豌豆荚开发的codis   (3)redis官方的redis-cluster   简介:twemproxy架构简单 就是用proxy对后端redis server进行代理 但是由于代理层的消耗性能很低 而且通常涉及多个key的操作都是不支持的 ...

dekejiao5921的博客 160

redisCluster集群搭建 完全分布式

为了实现高可用,我们为每个主节点配置一个从节点,这样总共需要6个Redis实例。同样地,为 6380 端口创建配置文件 /opt/redis/cluster/6380/redis.conf。现在所有6个Redis实例都已运行,我们需要使用 redis-cli 工具将它们组成一个集群。我们采用 三主三从 的架构,在每个节点上运行两个Redis实例(一个主,一个从,但端口不同)创建并编辑配置文件 /opt/redis/cluster/6379/redis.conf。

weixin_58026642的博客 634

redis全分布式集群

文章目录前言Redis集群分片槽位分片举例:Redis集群节点复制Redis集群故障转移全分布式集群搭建Redis集群总结 前言 之前我们介绍了Twitter的解决方案,推出了路由代理的模式。代理来对key哈希取模,带来了几个问题: 1.代理单点,要做高可用 2.hash稳定算法,一旦服务器数量增加,就得把所有的数据全量再分发。 3.就算服务器没变,也有可能key的特殊,导致哈希取模的值大多数都集...

墨玉浮白的博客 4720

python搭建分布式集群_Spark完全分布式集群搭建【Spark2.4.4+Hadoop3.2.1】

一.安装Linux需要:3台CentOS7虚拟机注意:虚拟机的网络设置为NAT模式,NAT模式可以在断网的情况下连接上虚拟机而桥架模式不行!二.设置静态IP跳转目录到:修改IP设置:备注:执行scp命令拷贝设置文件到另外两个节点,修改IP分别为192.168.136.8和192.168.136.9三.安装JDK参考我的博客:https://www.cnblogs.com/yszd/p/101403...

weixin_39602737的博客 326

Centos7搭建Hadoop HA完全分布式集群(6台机器)(内含hbase,hive,flume,kafka,spark,sqoop,phoenix,storm)

目录 Centos7搭建Hadoop HA完全分布式集群(6台机器)(内含hbase,hive,flume,kafka,spark,sqoop,phoenix,storm). 1 前期配置. 2 安装jdk 5 安装zookeeper 7 安装hadoop 8 启动集群. 17 安装hbase 21 安装hive 27 安装Flume 34 安装kafka 37 安装spar...

Mr.Cao 3026

redis集群的搭建

redis集群的搭建 一: redis集群中:存在通过投票删除错误的节点(有半数以上投票通过,可确定被投票的节点已经错误fail) 架构细节: (1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽. (2)节点的fail是通过集群中超过半数的节点检测失效时才生效. (3)客户端与redis节点直连,不需要中间proxy层.客户端不需...

weixin_34342578的博客 79

Centos6集群环境搭建(伪分布式)

架构细节: (1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽. (2)节点的fail是通过集群中超过半数的节点检测失效时才生效. (3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可 (4)redis-cluster把所有的物理节点映射到[0-16383]slot...

Never stop for the code 286
上一篇: centos常用命令
下一篇: 使用nginx+tomcate做二级域名
programmeryu
博客等级 码龄11年 23粉丝 67原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值