nsq

最新推荐文章于 2025-03-21 15:00:00 发布
最新推荐文章于 2025-03-21 15:00:00 发布
阅读量503 收藏
点赞数
分类专栏： 其他
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bosswanghai/article/details/53859780
版权

Nsq

nsq简介

NSQ 是实时的分布式消息处理平台，其设计的目的是用来大规模地处理每天数以十亿计级别的消息。

NSQ 具有分布式和去中心化拓扑结构，该结构具有无单点故障、故障容错、高可用性以及能够保证消息的可靠传递的特征。

nsq原理

NSQ 由 3 个守护进程组成：

nsqd 是接收、队列和传送消息到客户端的守护进程。

nsqlookupd 是管理的拓扑信息，并提供了最终一致发现服务的守护进程。

nsqadmin 是一个 Web UI 来实时监控集群（和执行各种管理任务）。

在 NSQ 数据流建模为一个消息流和消费者的树。一个话题（topic）是一个独特的数据流。一个 通道（channel） 是消费者订阅了某个 话题 的逻辑分组。

话题（topic）和通道（channel），NSQ 的核心基础，最能说明如何把 Go 语言的特点无缝地转化为系统设计。

Go 语言中的通道（channel）（为消除歧义以下简称为“go-chan”）是实现队列一种自然的方式，因此一个 NSQ 话题（topic）/通道（channel），其核心，只是一个缓冲的 go-chan Message指针。缓冲区的大小等于 –mem-queue-size 的配置参数。

nsq搭建

nsq 安装

nsq使用

  • 启动 nsqlookupd

  • 启动 nsqd –lookupd-tcp-address=127.0.0.1:4160

  • nsqadmin –lookupd-http-address=127.0.0.1:4161

  • nsq_to_file –topic=test –output-dir=/tmp –lookupd-http-address=127.0.0.1:4161 可以指定topic和channel

  • curl -d ‘hello world 1’ ‘http://127.0.0.1:4151/put?topic=test’

  • 在浏览器中打开 http://127.0.0.1:4171/ 就能查看 nsqadmin 的 UI 界面和队列统计数据

nsq源码阅读笔记之nsqd（四）——Channel
RayXXZhang的专栏
02-29 8673
Topic/Channel是发布/订阅模型的一种实现。Topic对应于发布，Channel对应于订阅。 消费者通过在Topic下生成不同的Channel来接收来自该Topic的消息。 通过生成相同的Channel来实现消费者负载均衡。 Channel本身在投递消息给消费者时维护两个队列，一个是inFlight队列，该队列存储正在投递，但还没被标记为投递成功的消息。 另一个是deferred队列，用来存储需要被延时投
NSQ源码分析(五）——Channel
skh2015java的博客
10-26 4978
 Channel相关的代码主要位于nsqd/channel.go, nsqd/nsqd.go中。 Channel是消费者订阅特定Topic的一种抽象。对于发往Topic的消息，nsqd向该Topic下的所有Channel投递消息，而同一个Channel只投递一次，Channel下如果存在多个消费者，则随机选择一个消费者做投递。这种投递方式可以被用作消费者负载均衡。Channel会将消息进行排列，...
实战：仿NSQ实现消息队列
最新发布
sinat_27016095的博客
03-21 1876
在分布式系统设计中，消息队列是一个不可或缺的基础组件。作为一名后端开发工程师，我曾在多个项目中使用过各种消息队列产品，而NSQ凭借其简洁的设计和优秀的性能表现，一直是我的心头好。NSQ是由Go语言编写的分布式实时消息处理平台，最初由美国图片分享网站Bitly开发并开源。它以轻量级、高性能和分布式特性著称，特别适合处理高吞吐量的实时数据流。与Kafka、RabbitMQ等"重量级"消息队列相比，NSQ更加简单易用，部署维护成本更低，这也是许多中小型团队青睐它的原因。
NSQ源码分析之channel
Think Different.
04-20 2200
阅读本文之前，推荐先阅读上一篇对topic的分析。 什么是channel 结合上一篇对topic分析，channel的作用就是将topic的数据进行分流，topic会将发布的消息分配给所有连接的channel，而channel只会将消息发送给一个consumer，这样有利于下游的均衡负载。 源码分析 数据结构 // Channel represents the concrete type for a NSQ channel (and also // implements the Queue interfa
NSQ：分布式的实时消息平台
weixin_34099526的博客
02-06 115
NSQ是一个基于Go语言的分布式实时消息平台，它基于MIT开源协议发布，代码托管在GitHub，其当前最新版本是0.3.1版。NSQ可用于大规模系统中的实时消息服务，并且每天能够处理数亿级别的消息，其设计目标是为在分布式环境下运行的去中心化服务提供一个强大的基础架构。NSQ具有分布式、去中心化的拓扑结构，该结构具有无单点故障、故障容错、高可用性以及能够保证消息的可靠传递的特征。NSQ非常容易配置和...
NSQ理解
skh2015java的博客
09-17 2546
一、介绍    NSQ是Go语言编写的，开源的分布式消息队列中间件，其设计的目的是用来大规模地处理每天数以十亿计级别的消息。NSQ 具有分布式和去中心化拓扑结构，该结构具有无单点故障、故障容错、高可用性以及能够保证消息的可靠传递的特征，是一个成熟的、已在大规模生成环境下应用的产品。它基于MIT开源协议发布，由bitly公司开源出来的一款简单易用的消息中间件。 特点：   1. NSQ提供了分...
php-nsq 是nsq的php客户端php-nsq-master.zip
06-09
NSQ是一款由Disque启发的、实时分布式消息平台，设计目标是处理大量实时数据，具有高并发、低延迟的特点。PHP-NSQ为PHP开发者提供了与NSQ进行通信的接口，使PHP应用程序能够发布消息到NSQ话题或者从NSQ订阅并消费...
nsq-topic:从节点创建和删除 NSQ 主题！
07-05
nsq-topic 从节点创建和删除 NSQ 主题！ #创建主题 创建主题很容易。 只需使用您的主题名称对您的 nsqd 实例调用 create 方法，您就会摇摆不定。 // point it to the http port on your nsqd server var nsqd = ...
nsq auth 权限认证服务
05-10
nsq auth 权限认证服务nsq auth 权限认证服务nsq auth 权限认证服务nsq auth 权限认证服务nsq auth 权限认证服务nsq auth 权限认证服务nsq auth 权限认证服务nsq auth 权限认证服务
nsq.js:适用于Node.js的NSQ客户端
05-02
nsq.js JavaScript NSQ客户端WIP。 特征 实际写成js：p 通过工具更容易调试 本机json消息支持 不随意对退回套用退避 禁用自动RDY支持手动控制（高吞吐量等） 重新连接到死的nsqd节点 优雅的亲密支持 安装 $ npm ...
nsq-strategies:在 Node.js 中使用 NSQ 的典型策略
07-24
nsq-策略 介绍 在 Node.js 中使用典型策略。 它是具有不同策略的官方客户端库（ ）的包装器。 动机 很方便，但它要求你发送带有已知 nsqd 地址的消息，这既不切实际，也不符合避免 SPOF 的原则。 最佳实践总是使用...
NsqSharp:用于NSQ的.NET库，实时分布式消息传递平台
05-04
NsqSharp 用于实时分布式消息传递平台.NET客户端库。 请查看此，以快速了解NSQ。 观看合著者 ，在不到30分钟的时间内介绍了NSQ作为消息传递平台。 项目状态 用于生产。 保持。 问题和拉取请求将得到响应。 快速安装 NsqSharp是一个客户端库，可与nsqd （消息队列）和nsqlookupd （主题发现服务） nsqlookupd 。 有关其角色的更多信息，请参见上面的幻灯片。 下载和并从命令行运行它们： nsqlookupd nsqd -lookupd-tcp-address=127.0.0.1:4160 或者，作为Windows服务安装： mkdir c:\nsq\data copy /y nsqd.exe c:\nsq copy /y nsqlookupd.exe c:\nsq sc create nsqlookupd binpath= "c:\nsq
NSQ简介（一）
辛明辉的专栏
07-16 2243
NSQ组件 nsqd是一个守护进程，负责接收，排队，投递消息给客户端。 它可以独立运行，不过通常它是由 nsqlookupd 实例所在集群配置的（它在这能声明 topics 和 channels，以便大家能找到）。 它在 2 个 TCP 端口监听，一个给客户端，另一个是 HTTP API。同时，它也能在第三个端口监听 HTTPS。 nsqlookupd 是守护进程负责管理拓扑信息。客户端通过查询 nsqlookupd 来发现指定话题（topic）的生产者，并且 nsqd 节点广播话题（topic）和通道（
nsq topic和channel的区别
leonpengweicn的专栏
01-06 3826
http://www.baiyuxiong.com/?p=960 topic:一个可供订阅的话题。 channel:属于topic的下一级，一个topic可以有多个channel。 二者关系可以再参考下面两文章： http://www.cnblogs.com/forrestsun/p/3892710.html http://www.linuxeden.com/html/n
NSQ：分布式消息队列
专注于Python编程技术的分享与交流，致力于帮助开发者提升编程技能，解决实际问题，探索Python的无限可能。
09-06 1509
NSQ 是一个高效、易于部署的分布式消息队列系统，适合需要高吞吐量和低延迟的场景。通过无中心化设计，它能够在多台机器上扩展，并且具有很高的可用性。通过本文的教程，你可以快速上手 NSQ，并将其应用于生产环境。
nsq 的AddConcurrentHandlers函数注意事项
happy
04-28 810
AddConcurrentHandlers 在使用这个函数的时候，可以指定n个线程来处理这个消息。 在handler函数内，如果不手动调用msg.FInsh函数，表现的结果是： 即使指定了多个协程来处理消息，若某一个hander堵塞了，其他的协程无法获取到消息。 所以在使用这个handler函数时，最好的使用方式是：进入handler函数后，就通知msg.finsh。这样handler的错...
nsq 优秀的消息队列
weixin_34377919的博客
01-17 406
简介 NSQ是Go语言编写的，开源的分布式消息队列中间件，其设计的目的是用来大规模地处理每天数以十亿计级别的消息。NSQ 具有分布式和去中心化拓扑结构，该结构具有无单点故障、故障容错、高可用性以及能够保证消息的可靠传递的特征，是一个成熟的、已在大规模生成环境下应用的产品。 NSQ在国内公司用的很少，在使用当中愈发的觉得惊喜，比如他的简单易...
NSQ消息发送机制
热门推荐
Jack Cheung
09-09 1万+
NSQ是Go语言编写的，开源的分布式消息队列中间件，其设计的目的是用来大规模地处理每天数以十亿计级别的消息。NSQ 具有分布式和去中心化拓扑结构，该结构具有无单点故障、故障容错、高可用性以及能够保证消息的可靠传递的特征，是一个成熟的、已在大规模生成环境下应用的产品。 nsq组件 nsqd 单个nsqd实例可以用来树立多个数据流。 topic 数据流也叫topic， 一个top...
nsq安装
03-13
<think>好的，我需要帮助用户找到NSQ的安装方法或指南。根据用户提供的引用内容，我需要整理出不同的安装方法，并确保符合用户的操作系统。首先，用户提到的引用中有几个方法，包括使用go get、二进制安装、源码编译等。 首先，我需要检查各个引用中的方法是否可行。引用1提到在CentOS 7下安装NSQ，但方法1遇到错误，转而使用方法2通过gpm安装。不过引用3提到在mac系统下使用brew install nsq，而引用4则是在Windows下使用Go 1.19编译。用户可能使用不同的操作系统，需要分别说明。 接下来，我需要将这些方法分类，按操作系统或安装方式组织。比如二进制安装适用于macOS和Linux，源码编译需要Go环境，包管理工具如brew或yum。还要注意不同方法可能遇到的常见问题，比如依赖项或权限问题，并给出解决方案。 另外，用户可能对安装后的启动步骤感兴趣，引用2提到启动多个nsqd实例，应该在安装指南后补充基本启动命令。还要验证各个步骤的正确性，比如确保Go版本符合要求，路径配置正确等。 最后，生成相关问题，帮助用户进一步了解NSQ的配置和使用。需要确保回答结构清晰，步骤详细，用户能逐步跟随操作。同时，引用来源要正确标注在相关步骤末尾。</think>### NSQ安装方法指南 #### 一、二进制安装（推荐） 1. **macOS系统** 使用Homebrew工具直接安装： ```bash brew install nsq ``` 安装后通过`nsqd`、`nsqlookupd`等命令启动服务[^3]。 2. **Linux系统** 下载预编译二进制包（以CentOS 7为例）： ```bash wget https://s3.amazonaws.com/bitly-downloads/nsq/nsq-1.2.1.linux-amd64.go1.19.3.tar.gz tar -zxvf nsq-*.tar.gz cd nsq-*/bin ./nsqd --lookupd-tcp-address=127.0.0.1:4160 # 启动nsqd节点 ``` #### 二、源码编译安装（需Go环境） 1. **安装Go语言** 要求Go版本≥1.19（Windows/Linux/macOS通用）： ```bash # 以Linux为例 wget https://go.dev/dl/go1.19.linux-amd64.tar.gz sudo tar -C /usr/local -xzf go1.19.linux-amd64.tar.gz export PATH=$PATH:/usr/local/go/bin # 添加环境变量 ``` 2. **编译NSQ源码** ```bash git clone https://github.com/nsqio/nsq cd nsq make # 生成二进制文件到./bin目录 ``` #### 三、包管理器安装（特定系统） - **CentOS/RHEL** 通过`gpm`工具安装（需root权限）： ```bash yum install gpm gpm install go get github.com/nsqio/nsq/... ``` > 注：若出现“内部包不允许引用”错误，建议改用二进制或源码方式[^1]。 #### 四、验证安装 启动基础服务集群： ```bash nsqlookupd & # 启动管理服务 nsqd --lookupd-tcp-address=127.0.0.1:4160 & # 启动节点 nsqadmin --lookupd-http-address=127.0.0.1:4161 & # 启动管理界面 ``` 访问`http://localhost:4171`查看NSQ Admin面板。 #### 五、常见问题 1. **依赖缺失** 确保安装`libtool`、`autoconf`等编译工具（Linux/macOS）： ```bash yum groupinstall "Development Tools" # CentOS brew install autoconf libtool # macOS ``` 2. **多节点配置** 创建独立目录存放节点数据（如macOS）： ```bash mkdir -p /usr/local/nsqd/{node1,node2,node3} nsqd --data-path=/usr/local/nsqd/node1 --tcp-port=4150 # 启动第一个节点[^2] ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值