NSQ 学习随记(1)

nsq安装及初探 文章内容本文主要根据官方文档进行NSQ安装以及测试: 官方文档网址: http://nsq.io/overview/quick_start.html 系统说明:windows 64位过程1. nsq安装下载地址: http://nsq.io/deployment/installing.html 目前的稳定版是V1.0.0,根据自己实际情况选择安装方式,这里使用以下版本: nsq-1 阅读详情

NSQ是用golang编写的高性能分布式消息队列(可以理解为轻量化的kafka),就个人理解来说,消息队列可以看成一个大的buffer ,用于信息生产速率和信息消费速率、分布式消息同步,同时也便于一些容灾策略的实现。

本系列文章着重点在于深入源码理解,不会写一些大的概念以及整体架构,方便理解具体功能的具体实现方式。

项目地址 nsq

整体的代码结构如下

  • apps里主要是nsq系列进程的启动器,可以理解为具体业务逻辑。主要包含nsqd,nsqlookup以及一些通讯和存储相关daemon
  • bench里主要是一些性能测试代码,没啥说的。
  • contrib里是一些配置文件,有兴趣可以看看到底需要配置啥。
  • internal是主要的方法库和底层逻辑,本系列会重点关注这一部分
  • nsqadmin是web管理界面的代码,可以稍微看看,主要是了解打桩数据的获取方式以及这些数据说明的问题
  • nsqd和nsqlookup就是这两部分需要的方法库。

 

作为系列的第一篇文章,先大概阐述下internal包的部分内容

  • 首先是实现了float_array和string_array(我只能说实现的方法很朴实……本来以为会有一些优化考虑)
  • 提供了认证机制,对producer的publish和customer的subscribe操作进行校验,主要是校验合法性(是不是可以推送,是不是可以订阅等),同时包括认证过期检测、tls等。(实现也很朴实……)
  • 提供了集群信息的获取接口(admin和其他的一些会用到,自己也可以使用这些方法来进行上层封装),这一部分主要涉及http相关的知识,部分控制信息通过Header传送。
  • 文件锁部分,log文件(数据文件)需要进行缓存,在这里提供了一个dirlock,调用系统的flock接口。看上去目前没有提供windos版本
  • http_api部分,这部分主要就是封装了下http通信接口,同时在传输时进行压缩(gzip和deflate方法),我个人觉得比较好的点就是Hijack方法的使用,自己管理连接,不用通过go原生的client,同时可以偷换应用层协议,只使用http的建连方式,这样实际效果好很多。
  • 自己实现了一个优先队列,没啥特殊的。
  • 定义了logger接口,并且提供了对loglevel的一系列操作
  • 提供了端到端(e2e)延迟收集接口。
  • 提供了一些字符串处理方法(比如一些字段的fmt、查询,合并等操作)
  • 提供了一个rand方法,可以防止原生rand造成的碰撞(math/rand是伪随机,可能会出现随机结果相同的情况,如果两个协程同时访问一个单元就会block住)
  • 封了下WaitGroup,方便使用,包了个函数句柄。
    type WaitGroupWrapper struct {
    	sync.WaitGroup
    }
    
    func (w *WaitGroupWrapper) Wrap(cb func()) {
    	w.Add(1)
    	go func() {
    		cb()
    		w.Done()
    	}()
    }

     

  • 关于传输的相关协议:首先是提供了base10方法(ascii码转uint64,0~9的映射)
  • 内部提供了一个TCPserver
type TCPHandler interface {
	Handle(net.Conn)
}

func TCPServer(listener net.Listener, handler TCPHandler, logf lg.AppLogFunc) error {
	logf(lg.INFO, "TCP: listening on %s", listener.Addr())

	var wg sync.WaitGroup

	for {
		clientConn, err := listener.Accept()
		if err != nil {
			if nerr, ok := err.(net.Error); ok && nerr.Temporary() {
				logf(lg.WARN, "temporary Accept() failure - %s", err)
				runtime.Gosched()//让当前goroutine释放cpu资源
				continue
			}
			// theres no direct way to detect this error because it is not exposed
			if !strings.Contains(err.Error(), "use of closed network connection") {
				return fmt.Errorf("listener.Accept() error - %s", err)
			}
			break
		}

		wg.Add(1)
		go func() {
			handler.Handle(clientConn)//处理链接
			wg.Done()
		}()
	}

	// wait to return until all handler goroutines complete
	wg.Wait()

	logf(lg.INFO, "TCP: closing %s", listener.Addr())

	return nil
}
  • 提供了传输协议接口,目前有V1和V2两版,nsqd使用V2,nsqdlookup使用V1(这个地方不是很清楚为什么这么做,后面补充)
  • 剩下就是一些valid方法,检查一些命名规范问题。

 

总体来说整体还是比较简单的,结构也比较清晰。

 

 

 

 

 

25. NSQ 简介及教程 NSQ 简介及教程 文章目录What is nsqWhy use nsqHow to use nsqExampleInstallTestCaseConsumerProducer What is nsq NSQ is a realtime distributed messaging platform. IntroduceLinks NSQ源码解析(1)–设计理念浅析 NSQ 解析 Why use... 阅读详情

相关推荐

Golang 借助 NSQ 实现消息的延迟处理功能

在电商大促中,用户下单后 30 分钟未支付需要自动取消订单;在社交应用里,发帖后 2 小时需要提醒用户“是否修改内容”——这些场景都需要消息的延迟处理。本文将聚焦“如何用 Golang 和 NSQ 实现这一功能”,覆盖从概念理解到代码实战的全流程。用“快递驿站”类比 NSQ 的核心组件和延迟消息的工作流程;拆解 NSQ 延迟处理的底层算法(时间轮);提供完整的 Golang 代码示例(生产者、消费者、环境搭建);总结实际项目中的常见问题和优化方向。NSQ。

AI Agent Harness Engineering 924

NSQ系列(一)nsq 介绍

NSQ 介绍 简介 NSQ 是一款 Go 语言编写的开源分布式消息队列中间件,具备非常好的性能、易用性和可用性。 性能方面,采用了分布式可横向扩展的架构,让其适用于超大规模的消息实时处理,能够满足绝大部业务量级的需要; 易用性方面,NSQ 配置和部署都非常的简便,提供了清晰的文档和多语言且功能全面的 SDK,同时还提供了浏览器 nsqadmin、nsqlookupd 等非常好用的易用性组件,nsqadmin 可以实现可视化的管理消息集群; 可用性方面,NSQ 具备非常高质量的工程实现,程序鲁棒性非

会哭的雨@的博客 7967

NSQ介绍以及使用Go操作NSQ

NSQ是Go语言编写的一个开源的实时分布式内存消息队列,其性能十分优异。NSQ提倡分布式和分散的拓扑,没有单点故障,支持容错和高可用性,并提供可靠的消息交付保证NSQ支持横向扩展,没有任何集中式代理。NSQ易于配置和部署,并且内置了管理界面。

yonggeit的博客 3268

分布式实时消息平台NSQ: 整体架构

分布式实时消息平台NSQ- 整体架构 介绍 NSQ是一个基于Go语言的分布式实时消息平台,其设计目标是为在分布式环境下运行的去中心化服务提供一个强大的基础架构。 NSQ具有分布式、去中心化的拓扑结构,该结构具有无单点故障、故障容错、高可用性以及能够保证消息的可靠传递的特征。NSQ非常容易配置和部署,且具有最大的灵活性,支持众多消息协议。 术语 Topic: 一个可供订阅的话题,是消息的分类概念。 channel: 一个通道(channel)是消费者订阅了某个话题的逻辑分组. 一个Topic有可以分为多个C

CoLiuRs 2842

车规级非易失存储选型指南:从AEC-Q100到ISO 26262的可靠性设计

非易失存储器是电子系统中负责长期保存关键数据与代码的核心组件,其可靠性直接决定了系统的长期稳定运行能力。在汽车电子领域,这一要求被提升到了极致,必须满足严苛的车规级标准。从原理上看,存储器的数据保持能力、擦写寿命等关键参数在高温、振动等恶劣环境下会急剧衰减,因此需要专门的设计与验证。其技术价值在于保障车辆全生命周期的功能安全与数据完整性,避免因存储失效导致的安全隐患或频繁维护。应用场景涵盖从发动机控制单元、自动驾驶域控制器到智能座舱的各类电子控制单元。本文聚焦于车规级非易失存储的选型,深入解析AEC-Q10

weixin_30938149的博客 460

抖音私信卡片私信名片的原理分析

简单说一下它的功能吧:抖音私信卡片,解决了客户封号严重、引流效率低的痛点,所以从去年到现在,依然是热销品。"抖音快手私信名片链接跳转"是2022年抖音快手引流最新技术,可以生成卡片链接,支持标题、描述、logo以及跳转落地页的完全自定义配置.支持微信公众号和微信号复制唤起微信客户端app添加,同时也支持任意链接落地页跳转提高粉丝引流转化率,关注转化率,引流转化率,安全绿色私信卡片功能1、跳转微信用户点击卡片,自动跳转微信界面,显示好友和群聊二维码2、跳转链接用户点击卡片,自动跳转到指定链接,支持任意链接。3

m0_71385839的博客 5191

NSQ 实现逻辑探秘

topic 中的消息会被复制到多个 channel 中,并将消息推送到其中一个消费这个 channel 的消费者手中。go sdk 中提供的 NewProducer 函数需要提供 nsqd 的地址,因此生产者会直连某个 nsqd,并向其投递消息。如果希望生产也能实现负载均衡,则需要我们自己做进一步的封装,大概逻辑是:向 nsqlookup 获取所有 nsqd 的信息建立多个 producer, 每个 producer 与不同的 nsqd 建立连接。

qq_22548549的博客 1551

ZEMAX优化方法---【Zemax学习】

在光学系统自动设计中,优化设计是光学设计中的重要阶段,也是ZEMAX软件的核心功能,涉及评价函数、权因子、阻尼因子等重要概念。在常用的阻尼最小二乘法优化设计的基础上,ZEMAX给我们提供了三种优化选择:Optimization(局部优化)、Global Search(全局优化)和 Hammer Optimization(锤形优化)。

yh的博客 4460

NSQ简介及连接模式

1、 NSQ简介 NSQ是一个实时的分布式的消息处理平台。 主要有以下特点: 支持分布式的拓扑结构,没有SPOF(单点故障) 支持横向水平扩展(没有 brokers 等任何集中式代理) 性能优越,基于推送的低延迟的消息传递模式 结合负载均衡和多路广播类型的消息路由 擅长面向流(streaming)(高吞吐量)和 任务(Job)导向的工作负载 主要是基于内存的(超过高水位线消息将透明的存储到磁盘中) 运行时的服务发现 传输层安全性(TLS) 数据格式不可知 很少的依赖项,容易部署,具有

hero_java的专栏 3899

LabVIEW内存泄漏诊断与优化:从报错到高效运行

本文深入探讨LabVIEW内存泄漏的诊断与优化方法,从理解内存泄漏本质到使用专业工具链进行问题定位,再到高频场景的解决方案和高级优化策略。通过实战案例展示如何解决工业数据采集系统中的内存不足问题,帮助开发者提升LabVIEW应用的稳定性和效率。

moon9的博客 199

UniApp 覆盖安装后首次进入 APP pages.json 不生效的解决方案

通过以上步骤,解决了缓存问题导致的首次加载异常。此方案的关键在于强制更新文件名,从根本上避免旧缓存的干扰。

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用,接口、架构、性能全搞定。 689

nsq 笔记

nsq 笔记

云满笔记 2587

YOLO11涨点优化:半监督学习 | 结合Unbiased Teacher框架,利用海量无标签数据实现自训练暴力涨点

本文提出了一种基于Unbiased Teacher v2的半监督学习方法,用于解决YOLO11目标检测模型在标注数据不足时的性能瓶颈问题。通过分析纯监督YOLO11在小样本场景下的局限性,揭示了朴素自训练方法的三大陷阱:确认偏差、类别不均衡和噪声累积。文章详细解析了Unbiased Teacher框架的核心设计理念,包括教师-学生模型互监督机制、类别平衡损失和Burn-In预热策略,并重点介绍了v2版本针对无锚框检测器的优化。最后提出将Unbiased Teacher与YOLO11相结合的融合架构设计方案,

2601_95807009的博客 209

NSQ学习笔记

文章目录NSQ架构NSQ组件Topic消息的逻辑关键词Producer消息的生产者/发布者Channel消息传递的通道Consumer消息的消费者NSQ流程图NSQ使用 NSQ架构 NSQ组件 NSQ 由 3 个守护进程组成: nsqd 是接收、队列和传送消息到客户端的守护进程。 nsqlookupd 是管理的拓扑信息,并提供了最终一致发现服务的守护进程。 nsqadmin 是一个 Web U...

任昌伟 1367

手把手教你新建一个winform项目(史上最全)

本文介绍如何利用visual studio新建一个winform程序

qq_34059233的博客 4万+

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

nsq基本使用及理解

NSQ 是一个轻量级、实时分布式消息队列,主要用于以下几种场景:高并发的消息队列处理。分布式系统中,多个服务之间的解耦。任务调度与事件通知。nsqd:消息队列守护进程,处理消息的发布和消费。nsqlookupd:服务发现组件,用于查找可用的 nsqd 实例。消费者:从 nsqd 获取消息并进行处理。生产者:将消息发布到 nsqd。发布消息:通过和发布消息到 NSQ.消费消息:使用创建消费者,监听并处理消息。同步处理:使用来确保多个消息的同步处理,或者在需要批量处理时使用锁(sync.Mutex。

qq_45249945的博客 2048

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

【NSQ部署】

NSQ是一个基于Go语言的分布式实时消息平台,其设计目标是为在分布式环境下运行的去中心化服务提供一个强大的基础架构。

白衣不染尘的博客 1447

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

nsq安装与配置

1.NSQ官网 http://nsq.io 2.相关概念 nsqlookupd:管理nsqd节点拓扑信息并提供最终一致性的发现服务的守护进程 nsqd:负责接收、排队、转发消息到客户端的守护进程,并且定时向nsqlookupd服务发送心跳 nsqadmin:nsq的web统计界面,可实时查看集群的统计数据和执行一些管理任务 utilities:常见基础...

zzhongcy的专栏 3578

Golang之NSQ

1 NSQ 1.1 NSQ简介 NSQ是一个基于go语言开发的一个比较流行的分布式的消息队列。 1.2 NSQ优势 不存在单点故障,容错性能高以及高可用性,可靠的消息交付 支持横向扩展,没有集中式代理 配置和部署简单 1.2.1 NSQ适用于异步处理 参照下图利用消息队列把业务流程中的非关键流程异步化,从而显著降低业务请求的响应时间。 1.2.2 NSQ适用于应用解耦 通过使用消息队列将不同...

franky专栏 1470

NSQ之粗读浅谈

文章目录回顾:一、NSQ部署二、NSQ拓扑图三、NSQ启动与退出四、全局唯一messageid五、NSQ同步六、Go接口七、NSQD心跳八、Decorator装饰器九、相关资料 回顾: 以前一直是C++开发(客户端),最近听同事讲go语言不错,随后便决定先从go语法开始投向go的怀抱。由于历史原因学习go语法时,用了半天的时间看完了菜鸟教程上相关资料,后来又看了易百教程上的一些实例代码,感觉都比较...

朝十晚八 406

NSQ消息发送机制

NSQ是Go语言编写的,开源的分布式消息队列中间件,其设计的目的是用来大规模地处理每天数以十亿计级别的消息。NSQ 具有分布式和去中心化拓扑结构,该结构具有无单点故障、故障容错、高可用性以及能够保证消息的可靠传递的特征,是一个成熟的、已在大规模生成环境下应用的产品。 nsq组件 nsqd 单个nsqd实例可以用来树立多个数据流。 topic 数据流也叫topic, 一个top...

Jack Cheung 1万+

NSQ研究与实践

学习与实践 环境部署 原理与收发机制 NSQ NSQD NSQDLOOKUPD 介绍 Features 组件 拓扑结构 原理 nsqadmin 实践 研究 消息中间件,常用的MQ如RabbitMQ,ActiveMQ,Kafka等

aoho求索 9737

NSQ源码分析之nsqd

概述 最近想通过观察分析NSQ的源码,来更进一步学习golang,编程嘛,就是多看、多写、多思考,没有捷径。 什么是NSQ 引用官方文档的话:NSQ is a realtime distributed messaging platform designed to operate at scale, handling billions of messages per day. NSQ特性和使用 网上很多介绍NSQ的文章,这里就不再赘述。 文章链接 NSQ的架构 文本源码分析的思路就是根据NSQ的不同功能模块,

Think Different. 882

nsq总结

基本组件 (1) nsqd 官方原话:nsqd 是一个守护进程,负责接收,排队,投递消息给客户端 简单的说,真正干活的就是这个服务,它主要负责message的收发,队列的维护。nsqd会默认监听一个tcp端口(4150)和一个http端口(4151)以及一个可选的https端口 总的来说,nsqd 具有以下功能或特性 对订阅了同一个topic,同一个channel的消费者使用负载均衡策略(...

captxb的博客 2484

NSQ 安装与配置指南

NSQ 是一个实时的分布式消息平台,设计用于在大规模环境中运行,每天可以处理数十亿条消息。它支持分布式和去中心化的拓扑结构,没有单点故障,从而实现了容错性和高可用性,同时保证了可靠的消息传递。NSQ 易于配置和部署,所有参数都在命令行中指定,编译后的二进制文件没有运行时依赖。 NSQ 使用 Go 语言编写,但也支持多种客户端库,包括官方的 Go 和 Python 库。 ## 2. 项目使用的关...

gitblog_01136的博客 1048
上一篇: Haskell学习随记(1)
wyf95278
博客等级 码龄10年 38粉丝 71原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值