NSQ 学习随记(1)

nsq安装及初探 文章内容本文主要根据官方文档进行NSQ安装以及测试: 官方文档网址: http://nsq.io/overview/quick_start.html 系统说明:windows 64位过程1. nsq安装下载地址: http://nsq.io/deployment/installing.html 目前的稳定版是V1.0.0,根据自己实际情况选择安装方式,这里使用以下版本: nsq-1 阅读详情

NSQ是用golang编写的高性能分布式消息队列(可以理解为轻量化的kafka),就个人理解来说,消息队列可以看成一个大的buffer ,用于信息生产速率和信息消费速率、分布式消息同步,同时也便于一些容灾策略的实现。

本系列文章着重点在于深入源码理解,不会写一些大的概念以及整体架构,方便理解具体功能的具体实现方式。

项目地址 nsq

整体的代码结构如下

  • apps里主要是nsq系列进程的启动器,可以理解为具体业务逻辑。主要包含nsqd,nsqlookup以及一些通讯和存储相关daemon
  • bench里主要是一些性能测试代码,没啥说的。
  • contrib里是一些配置文件,有兴趣可以看看到底需要配置啥。
  • internal是主要的方法库和底层逻辑,本系列会重点关注这一部分
  • nsqadmin是web管理界面的代码,可以稍微看看,主要是了解打桩数据的获取方式以及这些数据说明的问题
  • nsqd和nsqlookup就是这两部分需要的方法库。

 

作为系列的第一篇文章,先大概阐述下internal包的部分内容

  • 首先是实现了float_array和string_array(我只能说实现的方法很朴实……本来以为会有一些优化考虑)
  • 提供了认证机制,对producer的publish和customer的subscribe操作进行校验,主要是校验合法性(是不是可以推送,是不是可以订阅等),同时包括认证过期检测、tls等。(实现也很朴实……)
  • 提供了集群信息的获取接口(admin和其他的一些会用到,自己也可以使用这些方法来进行上层封装),这一部分主要涉及http相关的知识,部分控制信息通过Header传送。
  • 文件锁部分,log文件(数据文件)需要进行缓存,在这里提供了一个dirlock,调用系统的flock接口。看上去目前没有提供windos版本
  • http_api部分,这部分主要就是封装了下http通信接口,同时在传输时进行压缩(gzip和deflate方法),我个人觉得比较好的点就是Hijack方法的使用,自己管理连接,不用通过go原生的client,同时可以偷换应用层协议,只使用http的建连方式,这样实际效果好很多。
  • 自己实现了一个优先队列,没啥特殊的。
  • 定义了logger接口,并且提供了对loglevel的一系列操作
  • 提供了端到端(e2e)延迟收集接口。
  • 提供了一些字符串处理方法(比如一些字段的fmt、查询,合并等操作)
  • 提供了一个rand方法,可以防止原生rand造成的碰撞(math/rand是伪随机,可能会出现随机结果相同的情况,如果两个协程同时访问一个单元就会block住)
  • 封了下WaitGroup,方便使用,包了个函数句柄。
    type WaitGroupWrapper struct {
    	sync.WaitGroup
    }
    
    func (w *WaitGroupWrapper) Wrap(cb func()) {
    	w.Add(1)
    	go func() {
    		cb()
    		w.Done()
    	}()
    }

     

  • 关于传输的相关协议:首先是提供了base10方法(ascii码转uint64,0~9的映射)
  • 内部提供了一个TCPserver
type TCPHandler interface {
	Handle(net.Conn)
}

func TCPServer(listener net.Listener, handler TCPHandler, logf lg.AppLogFunc) error {
	logf(lg.INFO, "TCP: listening on %s", listener.Addr())

	var wg sync.WaitGroup

	for {
		clientConn, err := listener.Accept()
		if err != nil {
			if nerr, ok := err.(net.Error); ok && nerr.Temporary() {
				logf(lg.WARN, "temporary Accept() failure - %s", err)
				runtime.Gosched()//让当前goroutine释放cpu资源
				continue
			}
			// theres no direct way to detect this error because it is not exposed
			if !strings.Contains(err.Error(), "use of closed network connection") {
				return fmt.Errorf("listener.Accept() error - %s", err)
			}
			break
		}

		wg.Add(1)
		go func() {
			handler.Handle(clientConn)//处理链接
			wg.Done()
		}()
	}

	// wait to return until all handler goroutines complete
	wg.Wait()

	logf(lg.INFO, "TCP: closing %s", listener.Addr())

	return nil
}
  • 提供了传输协议接口,目前有V1和V2两版,nsqd使用V2,nsqdlookup使用V1(这个地方不是很清楚为什么这么做,后面补充)
  • 剩下就是一些valid方法,检查一些命名规范问题。

 

总体来说整体还是比较简单的,结构也比较清晰。

 

 

 

 

 

25. NSQ 简介及教程 NSQ 简介及教程 文章目录What is nsqWhy use nsqHow to use nsqExampleInstallTestCaseConsumerProducer What is nsq NSQ is a realtime distributed messaging platform. IntroduceLinks NSQ源码解析(1)–设计理念浅析 NSQ 解析 Why use... 阅读详情

相关推荐

Golang 借助 NSQ 实现消息的延迟处理功能

在电商大促中,用户下单后 30 分钟未支付需要自动取消订单;在社交应用里,发帖后 2 小时需要提醒用户“是否修改内容”——这些场景都需要消息的延迟处理。本文将聚焦“如何用 Golang 和 NSQ 实现这一功能”,覆盖从概念理解到代码实战的全流程。用“快递驿站”类比 NSQ 的核心组件和延迟消息的工作流程;拆解 NSQ 延迟处理的底层算法(时间轮);提供完整的 Golang 代码示例(生产者、消费者、环境搭建);总结实际项目中的常见问题和优化方向。NSQ。

AI Agent Harness Engineering 924

NSQ系列(一)nsq 介绍

NSQ 介绍 简介 NSQ 是一款 Go 语言编写的开源分布式消息队列中间件,具备非常好的性能、易用性和可用性。 性能方面,采用了分布式可横向扩展的架构,让其适用于超大规模的消息实时处理,能够满足绝大部业务量级的需要; 易用性方面,NSQ 配置和部署都非常的简便,提供了清晰的文档和多语言且功能全面的 SDK,同时还提供了浏览器 nsqadmin、nsqlookupd 等非常好用的易用性组件,nsqadmin 可以实现可视化的管理消息集群; 可用性方面,NSQ 具备非常高质量的工程实现,程序鲁棒性非

会哭的雨@的博客 7967

NSQ介绍以及使用Go操作NSQ

NSQ是Go语言编写的一个开源的实时分布式内存消息队列,其性能十分优异。NSQ提倡分布式和分散的拓扑,没有单点故障,支持容错和高可用性,并提供可靠的消息交付保证NSQ支持横向扩展,没有任何集中式代理。NSQ易于配置和部署,并且内置了管理界面。

yonggeit的博客 3268

分布式实时消息平台NSQ: 整体架构

分布式实时消息平台NSQ- 整体架构 介绍 NSQ是一个基于Go语言的分布式实时消息平台,其设计目标是为在分布式环境下运行的去中心化服务提供一个强大的基础架构。 NSQ具有分布式、去中心化的拓扑结构,该结构具有无单点故障、故障容错、高可用性以及能够保证消息的可靠传递的特征。NSQ非常容易配置和部署,且具有最大的灵活性,支持众多消息协议。 术语 Topic: 一个可供订阅的话题,是消息的分类概念。 channel: 一个通道(channel)是消费者订阅了某个话题的逻辑分组. 一个Topic有可以分为多个C

CoLiuRs 2842

大规模SoC芯片Hierarchical Flow Calibre LVS教程

大规模SoC芯片Hierarchical Flow Calibre物理验证LVS实现教程

weixin_37584728的博客 1201

京东商品数据爬取实战:用Selenium+代理IP绕过最新反爬机制(附完整代码)

本文深入解析京东商品数据采集技术,详细介绍了如何利用Selenium与智能反反爬策略绕过京东最新的反爬机制。通过实战案例和完整代码,帮助开发者掌握高效采集京东商品数据的方法,包括动态参数加密、行为验证识别及分布式采集架构设计等关键技术。

cc789的博客 1063

NSQ 实现逻辑探秘

topic 中的消息会被复制到多个 channel 中,并将消息推送到其中一个消费这个 channel 的消费者手中。go sdk 中提供的 NewProducer 函数需要提供 nsqd 的地址,因此生产者会直连某个 nsqd,并向其投递消息。如果希望生产也能实现负载均衡,则需要我们自己做进一步的封装,大概逻辑是:向 nsqlookup 获取所有 nsqd 的信息建立多个 producer, 每个 producer 与不同的 nsqd 建立连接。

qq_22548549的博客 1551

GStreamer中h264parse元素

h264parse是 GStreamer 中处理 H.264 视频流的关键元素,主要负责解析和准备 H.264 流以便后续处理。

深之JohnChen的专栏 1029

NSQ简介及连接模式

1、 NSQ简介 NSQ是一个实时的分布式的消息处理平台。 主要有以下特点: 支持分布式的拓扑结构,没有SPOF(单点故障) 支持横向水平扩展(没有 brokers 等任何集中式代理) 性能优越,基于推送的低延迟的消息传递模式 结合负载均衡和多路广播类型的消息路由 擅长面向流(streaming)(高吞吐量)和 任务(Job)导向的工作负载 主要是基于内存的(超过高水位线消息将透明的存储到磁盘中) 运行时的服务发现 传输层安全性(TLS) 数据格式不可知 很少的依赖项,容易部署,具有

hero_java的专栏 3899

基于STM32的智能手环心率血氧体温监测系统(完整设计)

本文设计了一款基于STM32单片机的多功能智能手环系统,集成心率、血氧、体温实时监测功能,并支持运动数据管理与健康预警。系统采用MAX30102传感器实现心率血氧监测,DS18B20检测体温,ADXL345进行步数统计,通过OLED屏幕显示数据。研究通过低功耗硬件选型与模块化软件架构设计,实现了多参数同步采集、阈值预警及蓝牙数据传输功能。测试结果表明,系统在健康监测精度、续航能力及用户交互体验上均达到预期目标,为个人健康管理提供了实用解决方案。

3254968421的博客 703

SAP 调用Ftp服务器

FTP(File transfer protocol)是一种标准的网络协议,可以用于在互联网上传递文件。SAP系统中可通过系列配置和提供的些标准函数,用于查看、更新、下载FTP服务器上的文件。提示:以下是本篇文章正文内容,下面案例可供参考。

qq_38304013的博客 1418

nsq 笔记

nsq 笔记

云满笔记 2587

【全网首发】2026华为OD双机位C卷 机考真题题库含考点说明以及在线OJ(OD上机考试双机位C卷)

【全网首发】2026华为OD机位C卷 机考真题题库含考点说明以及在线OJ(OD上机考试双机位C卷)

算法大师! 8821

NSQ学习笔记

文章目录NSQ架构NSQ组件Topic消息的逻辑关键词Producer消息的生产者/发布者Channel消息传递的通道Consumer消息的消费者NSQ流程图NSQ使用 NSQ架构 NSQ组件 NSQ 由 3 个守护进程组成: nsqd 是接收、队列和传送消息到客户端的守护进程。 nsqlookupd 是管理的拓扑信息,并提供了最终一致发现服务的守护进程。 nsqadmin 是一个 Web U...

任昌伟 1367

深度学习驱动的股票波动率预测:LSTM和Transformer模型的实战解析

股票市场的波动率一直是金融领域关注的焦点之一。波动率预测对于风险管理、期权定价和资产配置至关重要。深度学习模型,如长短时记忆网络(LSTM)和Transformer,已经在时间序列数据分析领域取得了显著的成就。本博客将向您展示如何使用这两种深度学习模型来进行股票波动率预测,提供清晰的思路和相应的Python代码,以帮助您理解和应用这一重要任务。

斌擎科技 974

Python 爬虫实战:于好大夫在线抓取医生评价数据,选择优质医疗服务

requests:用于发送 HTTP 请求,获取网页内容。或 lxml:用于解析 HTML 页面,提取目标数据。pandas:用于数据清洗和分析。matplotlib和seaborn:用于数据可视化。time:用于控制爬取速度,避免对服务器造成压力。通过本项目,我们实现了以下目标:使用 Python 爬虫抓取好大夫在线的医生评价数据。对数据进行清洗和分析,找出评价中的关键词和趋势。根据分析结果推荐优质医疗服务。

u014481728的博客 3419

nsq基本使用及理解

NSQ 是一个轻量级、实时分布式消息队列,主要用于以下几种场景:高并发的消息队列处理。分布式系统中,多个服务之间的解耦。任务调度与事件通知。nsqd:消息队列守护进程,处理消息的发布和消费。nsqlookupd:服务发现组件,用于查找可用的 nsqd 实例。消费者:从 nsqd 获取消息并进行处理。生产者:将消息发布到 nsqd。发布消息:通过和发布消息到 NSQ.消费消息:使用创建消费者,监听并处理消息。同步处理:使用来确保多个消息的同步处理,或者在需要批量处理时使用锁(sync.Mutex。

qq_45249945的博客 2048

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

【NSQ部署】

NSQ是一个基于Go语言的分布式实时消息平台,其设计目标是为在分布式环境下运行的去中心化服务提供一个强大的基础架构。

白衣不染尘的博客 1447

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

nsq安装与配置

1.NSQ官网 http://nsq.io 2.相关概念 nsqlookupd:管理nsqd节点拓扑信息并提供最终一致性的发现服务的守护进程 nsqd:负责接收、排队、转发消息到客户端的守护进程,并且定时向nsqlookupd服务发送心跳 nsqadmin:nsq的web统计界面,可实时查看集群的统计数据和执行一些管理任务 utilities:常见基础...

zzhongcy的专栏 3578

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Golang之NSQ

1 NSQ 1.1 NSQ简介 NSQ是一个基于go语言开发的一个比较流行的分布式的消息队列。 1.2 NSQ优势 不存在单点故障,容错性能高以及高可用性,可靠的消息交付 支持横向扩展,没有集中式代理 配置和部署简单 1.2.1 NSQ适用于异步处理 参照下图利用消息队列把业务流程中的非关键流程异步化,从而显著降低业务请求的响应时间。 1.2.2 NSQ适用于应用解耦 通过使用消息队列将不同...

franky专栏 1470

NSQ之粗读浅谈

文章目录回顾:一、NSQ部署二、NSQ拓扑图三、NSQ启动与退出四、全局唯一messageid五、NSQ同步六、Go接口七、NSQD心跳八、Decorator装饰器九、相关资料 回顾: 以前一直是C++开发(客户端),最近听同事讲go语言不错,随后便决定先从go语法开始投向go的怀抱。由于历史原因学习go语法时,用了半天的时间看完了菜鸟教程上相关资料,后来又看了易百教程上的一些实例代码,感觉都比较...

朝十晚八 406

NSQ消息发送机制

NSQ是Go语言编写的,开源的分布式消息队列中间件,其设计的目的是用来大规模地处理每天数以十亿计级别的消息。NSQ 具有分布式和去中心化拓扑结构,该结构具有无单点故障、故障容错、高可用性以及能够保证消息的可靠传递的特征,是一个成熟的、已在大规模生成环境下应用的产品。 nsq组件 nsqd 单个nsqd实例可以用来树立多个数据流。 topic 数据流也叫topic, 一个top...

Jack Cheung 1万+

NSQ研究与实践

学习与实践 环境部署 原理与收发机制 NSQ NSQD NSQDLOOKUPD 介绍 Features 组件 拓扑结构 原理 nsqadmin 实践 研究 消息中间件,常用的MQ如RabbitMQ,ActiveMQ,Kafka等

aoho求索 9737

NSQ源码分析之nsqd

概述 最近想通过观察分析NSQ的源码,来更进一步学习golang,编程嘛,就是多看、多写、多思考,没有捷径。 什么是NSQ 引用官方文档的话:NSQ is a realtime distributed messaging platform designed to operate at scale, handling billions of messages per day. NSQ特性和使用 网上很多介绍NSQ的文章,这里就不再赘述。 文章链接 NSQ的架构 文本源码分析的思路就是根据NSQ的不同功能模块,

Think Different. 882

nsq总结

基本组件 (1) nsqd 官方原话:nsqd 是一个守护进程,负责接收,排队,投递消息给客户端 简单的说,真正干活的就是这个服务,它主要负责message的收发,队列的维护。nsqd会默认监听一个tcp端口(4150)和一个http端口(4151)以及一个可选的https端口 总的来说,nsqd 具有以下功能或特性 对订阅了同一个topic,同一个channel的消费者使用负载均衡策略(...

captxb的博客 2484

NSQ 安装与配置指南

NSQ 是一个实时的分布式消息平台,设计用于在大规模环境中运行,每天可以处理数十亿条消息。它支持分布式和去中心化的拓扑结构,没有单点故障,从而实现了容错性和高可用性,同时保证了可靠的消息传递。NSQ 易于配置和部署,所有参数都在命令行中指定,编译后的二进制文件没有运行时依赖。 NSQ 使用 Go 语言编写,但也支持多种客户端库,包括官方的 Go 和 Python 库。 ## 2. 项目使用的关...

gitblog_01136的博客 1048
上一篇: Haskell学习随记(1)
wyf95278
博客等级 码龄10年 38粉丝 71原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值