阿里架构师带你RabbitMQ从0到1,含学习大纲,面试解析

消息中间件(MQ)的相关知识 声明:原文出处已在文末标出,本人出于学习,对其做了整理,收集干货,不作商业用途! 目录 一、消息中间件的简介 二、消息中间件(MQ)的使用场景(为什么要使用MQ) 2.1 解耦 2.2 异步 2.3 削峰 2.4 日志处理 2.5 消息通讯 2.5.1 点对点通讯 2.5.2 发布/订阅通讯 三、消息中间件常用协议 3.1 AMQP协议 3.2MQTT协议 3.3 S...... 阅读详情

前言

消息队列:

消息队列,简称为MQ(Message Queue),是一个保存消息的容器,本质上是一个队列。队列是一种先进先出的数据结构,我们可以简单理解为:把要传输的数据放在队列中。
我们一般把消息队列作为应用间的通信方式,消息发送后可以立即返回,由消息系统来确保消息的可靠传递。消息发布者只负责把消息发布到 MQ 中,消息使用者只管从 MQ 中取消息,双方都不知道对方的存在,也不用管对方是如何处理。

为什么要用消息队列?

解耦,将各个应用解耦,只需从消息中订阅,防止一处变动多处跟随修改
异步,发送接收双方不必同时在线,加快响应速度
削峰,并发量高峰期的时候,可以从消息队列中稍后读取消息,不会造成系统崩溃

消息队列缺点:

可用性降低:系统外部依赖变多,容易崩溃
复杂性提高:需要考虑消息的一致性问题、可靠传输问题、不被重复消费等问题

二、RabbitMQ 简介

RabbitMQ是一套开源的消息队列服务,基于 AMQP 的开源实现,由 Erlang 写成。
AMQP :Advanced Message Queue,高级消息队列协议。它是应用层协议的一个开放标准,为面向消息的中间件设计,基于此协议的客户端与消息中间件可传递消息,并不受产品、开发语言等条件的限制。
通常消息队列服务有三个概念: 发消息者、消息队列、收消息者。
RabbitMQ 在这个基本概念之上, 多做了一层, 在发消息者和队列之间, 加入了交换器 (Exchange)。这样发消息者和消息队列就没有直接联系,转而变成发消息者把消息发给交换器,交换器根据调度策略再把消息转发给消息队列。

RabbitMQ 核心概念

RabbitMQ 整体上是一个生产者与消费者模型,主要负责接收、存储和转发消息。可以把消息传递的过程想象成:当你将一个包裹送到邮局,邮局会暂存并最终将邮件通过邮递员送到收件人的手上,RabbitMQ就好比由邮局、邮箱和邮递员组成的一个系统。从计算机术语层面来说,RabbitMQ 模型更像是一种交换机模型。

今天咱们就来一起学习一下连阿里架构师都在推荐的《RabbitMQ实战指南》以及关于RabbitMQ面试官们最喜欢问的面试题和解答。

另外,前两天用XMind画了一张导图记录RabbitMQ的学习大纲,这里只能用图片的形式,不过源文件对个节点都有详细的解释,若是需要前面说的《RabbitMQ实战指南》和面试解析笔记,可以找小编呀

正式步入今天的主题《RabbitMQ实战指南》

共 有11 个章节,前后章节都有相关的联系,基本上按照由浅入深、由表及里的层次逐层进行讲解。如果读者对其中的某些内容已经掌握,可以选择跳过而翻阅后面的内容,不过还是建议读者按照先后顺序进行阅读。

  • 第 1 章 RabbitMQ 简介 :针对消息中间件做一个摘要性介绍,包括什么是消息中间件、消息中间件的作用及特点等。之后引入 RabbitMQ ,对其历史和相关特点做一个简要概述。本章最后介绍RabbitMQ 的安装及生产、消费的使用示例。
  • 第 2 章 RabbitMQ 入门 :讲述RabbitMQ的入门知识,包括生产者、消费者、队列、交换器、路由键、绑定、连接及信道等基本术语。本章还阐述了RabbitMQ与 AMQP 协议的对应关系。
  • 第 3 章 客户端开发向导 :介绍 RabbitMQ 客户端开发的简单使用,按照个生命周期对连接、创建、生产、消费及关闭等几个方面进行宏观的介绍。
  • 第 4 章 RabbitMQ 进阶 :介绍数据可靠性的 些细节,井展示 RabbitMQ 的几种己具备或衍生的高级特性,包括TTL、死信队列、延迟队列、优先级队列、 RPC 等,这些功能在实际使用中可以让某些应用的实现变得事半功倍。
  • 第 5 章 RabbitMQ 管理 :围绕 RabbitMQ 管理这个主题展开,包括多租户、权限、用户、应用和集群管理、服务端状态等方面,井且从侧面讲述 rabbitmqctl 工具和 rabbitmq_management 插件的使用。
  • 第 6 章 RabbitMQ 配置 :讲述 RabbitMQ 的配置,以此可以通过环境变量、配置文件、运行时参数(和策略)等三种方式来定制化相应的服务。
  • 第 7 章 RabbitMQ 运维 :围绕运维层面展开论述,主要包括集群搭建、日志查看、故障恢复、集群迁移、集群监控这几个方面。
  • 第 8 章 跨越集群的界限 :讲述 Federation Shovel 这两个插件的使用、细节及相关原理 区别于第7章中集群的部署方式, Federation Shovel 可以部署在广域网中,为RabbitMQ 提供更广泛的应用空间。
  • 第 9 章 RabbitMQ 高阶 :介绍 RabbitM 相关的一些原理,主要内容包括RabbitM 存储机制、磁盘和内存告警、流控机制、镜像队列。了解这些实现的细节及原理十分必要,它们可以让读者在遇到问题时能够透过现象看本质
  • 第 10 章 网络分区 :围绕网络分区进行展开,具体阐述网络分区的意义,如何查看和处理网络分区,以及网络分区所带来的影响。
  • 第 11 章 RabbitMQ 扩展 :探讨RabbitM 的两个扩展内容:消息追踪及负载均衡。消息追踪可以有效地定位消息丢失的问题。负载均衡本身属于运维层面,但是负载均衡一般需要借助第三方的工具-HAProxyLVS 等实现,故本书将其视为扩展内容。

RabbitMQ面试二十三连问

  • 问题一:RabbitMQ 中的 broker 是指什么?cluster 又是指什么?
  • 问题二:什么是元数据?元数据分为哪些类型?包括哪些内容?与 cluster 相关的元数据有哪些?元数据是如何保存的?元数据在 cluster 中是如何分布的?
  • 问题三:RAM node 和 disk node 的区别?
  • 问题四:RabbitMQ 上的一个 queue 中存放的 message 是否有数量限制?
  • 问题五:RabbitMQ 概念里的 channel、exchange 和 queue 这些东东是逻辑概念,还是对应着进程实体?这些东东分别起什么作用?
  • 问题六:vhost 是什么?起什么作用?
  • 问题七:在单 node 系统和多 node 构成的 cluster 系统中声明 queue、exchange ,以及进行 binding 会有什么不同?
  • 问题八:客户端连接到 cluster 中的任意 node 上是否都能正常工作?
  • 问题九:cluster 中 node 的失效会对 consumer 产生什么影响?若是在 cluster 中创建了mirrored queue ,这时 node 失效会对 consumer 产生什么影响?
  • 问题十:能够在地理上分开的不同数据中心使用 RabbitMQ cluster 么?
  • 问题十一:为什么 heavy RPC 的使用场景下不建议采用 disk node ?
  • 问题十二:向不存在的 exchange 发 publish 消息会发生什么?向不存在的 queue 执行consume 动作会发生什么?
  • 问题十三:routing_key 和 binding_key 的最大长度是多少?
  • 问题十四:RabbitMQ 允许发送的 message 最大可达多大?
  • 问题十五:什么情况下 producer 不主动创建 queue 是安全的?
  • 问题十六:“dead letter”queue 的用途?
  • 问题十七:为什么说保证 message 被可靠持久化的条件是 queue 和 exchange 具有durable 属性,同时 message 具有 persistent 属性才行?
  • 问题十八:什么情况下会出现 blackholed 问题?
  • 问题十九:如何防止出现 blackholed 问题?
  • 问题二十:Consumer Cancellation Notification 机制用于什么场景?
  • 问题二十一:Basic.Reject 的用法是什么?
  • 问题二十二:为什么不应该对所有的 message 都使用持久化机制?
  • 问题二十三:RabbitMQ 中的 cluster、mirrored queue,以及 warrens 机制分别用于解决什么问题?存在哪些问题?

篇幅有限,无论是上面的RabbitMQ二十三连问还是下面的Java高级面试解析之消息队列(面试官心里分析+面试题剖析)都没有把具体的解析答案附上,但是这些面试题及详细的解答小编都有整理成册!

Java高级面试解析之消息队列(面试官心里分析+面试题剖析)

  • 1.为什么使用消息队列 ?消息队列有什么优点和缺点?Kafka 、ActiveMQ 、RabbitMQ 、RocketMQ 都有什么优点和缺点?

  • 2. 如何保证消息队列的高可用?(RabbitMQ 的高可用性+Kafka 的高可用性)

  • 3. 如何保证消息不被重复消费 ?或者说 ,如何保证消息消费的幂等性 ?

  • 4. 如何保证消息的可靠性传输 ? 或者说 ,如何处理消息丢失的问题 ?

  • 5. 如何保证消息的顺序性 ?

  • 6. 如何解决消息队列的延时以及过期失效问题 ? 消息队列满了以后该怎么处理 ?有几百万消息 持续积压几小时 ,说说怎么解决 ?

  • 7. 如果让你写一个消息队列 ,该如何进行架构设计 ?说一下你的思路 ?

撒花环节

RabbitMQ用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗,所以发展到今天,被越来越多的人认可。因此RabbitMQ对于每一个想提升自己的Java程序员来说,都是一个必备的硬性条件,没有理由不学,也没有理由不把它学好。

今天咱们说的这个《RabbitMQ实战指南》、自己手绘的学习大纲(xmind文件)、RabbitMQ面试二十三连问以及整理的Java高级面试必备的七大消息队列题(面试官心里分析+面试题剖析),其实都是我们平时学习、面试必备的东西。

置顶必读(1) |《滚雪球学 Spring Boot 4.x》专栏目录导航篇(持续更新中)! 🏆 本文收录于 《滚雪球学 Spring Boot 4.x》 专栏。 本专栏面向 有一点 Java 基础,但没有系统学过 Spring Boot 的读者,采用“滚雪球式学习法”:先跑通、再理解、再重构、再上线,最终带你从第一个 Hello API 一路完成一个可部署、可监控、可扩展的后端项目。 阅读详情

相关推荐

不经意传输(OT)协议 - Mike Rosulek教授课堂笔记

OT扩展协议-IKNP

qq_43569221的博客 1850

阿里微服务组件rocketmq的超详细介绍

阿里微服务组件rocketmq的超详细介绍

gb4215287的博客 1684

多租户Saas架构设计分析(基础篇)

本篇先给大家介绍一下相关的概念和常见问题。 实践篇链接:https://blog.youkuaiyun.com/haponchang/article/details/104246317 SaaS简介 SaaS是Software-as-a-Service(软件即服务)的简称,“软件即服务”?是不是有点拗口?其实你就理解成为“按需租用别人提供的软件服务”就可以了,它是一种软件交付模式。...

haponchang的博客 1万+

了解阿里RocketMq消息队列

消息队列 - 阿里RocketMq 阿里RocketMq是基于Apache RocketMQ构建的低延迟、高并发、高可用、高可靠的分布式消息中间件。 可以基于tcp协议和http协议。公司采用tcp协议。 tcp协议的有地域限制。TCP协议客户端接入点仅在公网地域有公网接入点,其余地域只提供内网接入点,HTTP协议在各地域均提供公网和内网接入点。 一、核心概念 topic: 消息主题,一级消息类型,生产者向其发送消息。 生产者:消息发布者。 消费者:消息消费者。 消息:生产者 向 topic

qq_41184981的博客 1882

从MRF8P9040N数据手册到ADS仿真:手把手教你搞定LDMOS功放设计(附完整模型下载)

本文详细解析了MRF8P9040N LDMOS功率放大器的数据手册关键参数,并提供了在ADS中进行仿真的完整指南。从模型导入、直流工作点验证到负载牵引与阻抗匹配设计,逐步指导工程师完成高效功放设计。文章还包含调试技巧和常见问题解决方案,帮助优化射频功放性能。

weixin_27015733的博客 493

Dify 深度进阶:从入门到精通AI应用构建

《Dify进阶指南:从基础到高阶的AI应用开发技巧》 本文深入探讨Dify平台的高级功能与应用开发技巧。首先强调核心概念的深化,包括提示词工程进阶、知识库高效管理和模型参数优化。重点介绍智能体应用的开发方法,如何让AI具备自主规划与执行能力。同时讲解工作流编排、前端集成等实用技术,并分享应用运营优化、成本控制等实践经验。文章还展望了Dify生态的发展趋势,为开发者提供从基础到进阶的完整学习路径,助力打造更智能高效的AI应用。

同名公众号:dify实验室 1954

阿里云RocketMQ—手把手带你体验云消息队列RocketMQ

今天我对阿里的又一产品进行了深度测评(RocketMQ),首先如果是新用户的话,可以先关注下面这个免费体验的活动。

一键难忘的博客 3898

PHM 2010数据集解读

PHM数据挑战赛是一项面向所有潜在与会者的竞赛。今年的挑战集中在使用测力仪、加速度计和声发射数据估计高速数控铣床刀具的RUL上。 博客对PHM 2010数据集的组成和信号进行了可视化。

cnjs1994的博客 7650

阿里我来了,RocketMQ扫盲!

一、消息中间件简介 1.1、什么是什么MQ     MQ(Message Queue)是一种跨进程的通信机制,用于传递消息。通俗点说,就是一个先进先出的数 据结构。有点像队列。 1.2、MQ的应用场景 1.2.1、异步解耦     最常见的一个场景是用户注册后,需要发送注册邮件和短信通知,以告知用户注册成功。传统的做法如下:     此架构下注册、邮件、短信三个任务全部完成后,才返回注

XiaoLin 2537

5、AIX系统硬件管理与故障诊断全解析

本文全面解析了AIX系统的硬件管理与故障诊断方法,涵盖系统管理服务(SMS)的使用、设备兼容性配置、设备配置数据库结构、常用命令如cfgmgr、lsattr、smitty devices的操作详解,并深入介绍了错误日志管理机制,包括errdemon、errpt、errlogger等命令的应用。通过实际案例分析和流程图展示,帮助系统管理员掌握从问题怀疑到诊断执行再到日志清理的完整流程,同时提供注意事项与最佳实践,助力AIX系统的稳定运行与高效维护。

y2z3a4b5c的博客 63

apollo自动驾驶进阶学习之:如何实现施工路段限速绕行及其参数调试

首先需要理解Planning模块是基于Scenario、Stage、Task这样的层次来进行的,即场景->步骤->具体的决策方法。Apollo可以应对自动驾驶所面临的不同道路场景,都是通过Scenario统一注册与管理。Scenario通过一个有限状态机来判断选择当前行车场景,每个Scenario下又有多个Stage,指当前场景下需要执行的粗略步骤。.........

qq_41593516的博客 6599

RabbitMq配置参数详解

切莫死记硬背,小心面试官直接让你出门右拐1000道互联网Java面试题:

VIP129370的博客 1779

宇树科技嵌入式面试题及参考答案(春晚机器人的公司)

内存对齐是指在内存中为数据对象分配存储空间时,按照一定的规则将数据存储在特定的地址上,以提高内存访问效率。不同的数据类型在内存中都有其特定的对齐要求,例如,int类型通常要求 4 字节对齐,double类型通常要求 8 字节对齐。这意味着数据的存储地址必须是其对齐字节数的整数倍。如果不进行内存对齐,处理器在访问数据时可能需要进行多次内存访问,从而降低了访问效率。指令可以用于控制结构体内存布局,它允许程序员指定结构体成员的对齐方式。其基本用法是在结构体定义之前使用来指定对齐字节数n,其中n。

大模型大数据攻城狮的专栏 3228

一个Java程序员的面试心得,成功跳槽阿里!

最近几天,有的人在偷偷地买蚂蚁的基金,有的人却偷偷的在蚂蚁面试。 最近确实是面试的好时候。大家都奔着大厂去的,最近也分享了好多大厂的面经了,什么阿里、字节、京东、美团、百度、腾讯、滴滴、网易…已经数不清有多少了。(是我菜了) 这里分享一下蚂蚁金服5面过程与面试总结 第一份资料:Kafka实战笔记 Kafka入门 为什么选择Kafka Karka的安装、管理和配置 Kafka的集群 第一个Kafka程序 afka的生产者 Kafka的消费者 深入理解Kafka 可靠的数据传递 .

m0_56835488的博客 205

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Linux最全【运维实战】1(1),2024年最新美团架构师深入讲解Linux运维开发

16、mysql的innodb如何定位锁问题,mysql如何减少主从复制延迟?2、在工作中,运维人员经常需要跟运营人员打交道,请问运营人员是做什么工作的?6、Squid、Varinsh和Nginx有什么区别,工作中你怎么选择?5、LVS、Nginx、HAproxy有什么区别?9、讲述一下Tomcat8005、8009、8080三个端口的含义?7、Tomcat和Resin有什么区别,工作中你怎么选择?义、实战项目、大纲路线、讲解视频,并且后续会持续更新**0x01 FastDFS 安装使用。

2401_84140569的博客 569

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

干货精讲!基于消息中间件RabbitMQ实现简单的RPC服务,先睹为快

前言 统一说明一下,楼主是研究生,一般的985毕业,之前在工作了6年,做过的大项目数不胜数, 比如再造淘宝项目落地实战,某滴网约车项目,多人在线即时对战网游服务器,和家云服务平台,前后端分离某喵微信商城,亿级流量多级缓存平台,亚马逊电商个性化推荐系统,IOT流云式平台,阿里巴巴中台实战,年初跳槽后去阿里面试6轮之后定级是P6。 part 1Java基础核心技术总结 万事都离不开根基,Java基础对于一些老鸟来说可能已经很熟悉了,但是对于很多开发5年以下的朋友掌握的或许不是很牢固,因此这份笔记更适合温故而知

m0_56662340的博客 252

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

不甘于做curd程序员,小企业的架构师之路_前后端开发 curd 需要多久才能上手工作(1)

在源码部分你至少要掌握以下部分。当看到你简历上写阅读过源码,面试官是会嘿嘿一笑,对老板说这个小伙子还不错,仅次于我。切记,在面试过程中,不建议去背每个类名,给人一种我背我也行的感觉。总结性的描述一下原理即可。

2401_84166965的博客 970

每天花四小时看这些微服务、高性能架构、开源框架、分布式高并发

给大家分享一些关于HTML的面试题,有需要的朋友可以戳这里免费领取,先到先得哦。),先到先得哦。**[外链图片转存中…(img-quMnDDo0-1712373341349)][外链图片转存中…(img-3mSYphGd-1712373341349)]

2401_84093203的博客 1231

10分钟认识RocketMQ!想进阿里连这个都不会?

用户发起海量秒杀请求1到秒杀业务处理系统。秒杀处理系统按照秒杀处理逻辑将满足秒杀条件的请求1发送到消息队列MQ。下游的通知系统订阅1消息队列MQ的秒杀相关消息,再将1秒杀成功的消息发送到相关用户。用户收到秒杀成功的通知。1.3、常见的MQ产品目前业界有很多MQ产品,比较出名的有:ZeroMQ、RabbitMQ、ActiveMQ、RocketMQ、Kafka。号称最快的消息队列系统,尤其针对大吞吐量的需求场景。

2401_85020259的博客 620

2024年最全10分钟认识RocketMQ!想进阿里连这个都不会?,请把这些学完再去面试

对于很多Java工程师而言,想要提升技能,往往是自己摸索成长,不成体系的学习效果低效漫长且无助。整理的这些资料希望对Java开发的朋友们有所参考以及少走弯路,本文的重点是你有没有收获与成长,其余的都不重要,希望读者们能谨记这一点。再分享一波我的Java面试真题+视频学习详解+技能进阶书籍本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录需要这份系统化的资料的朋友,可以点击这里获取/**参数一:消息对象参数二:消息队列的选择器。

2401_84692456的博客 387

Alibaba开发十年,写出这本“MQ技术手册”,看完我愣住了

关于MQ相关的内容,Alibaba肯定还是很有话语权的,尤其是关于RocketMQ的使用,所以今天我们要分享的内容,实际上就是阿里P8的十年开发经验总结,写出来的这本“RabbitMQ+RocketMQ”技术手册,看完你也不得不感叹这份极品手册啊!会用到什么程度了呢?添加图片注释,不超过 140 字(可选)添加图片注释,不超过 140 字(可选)添加图片注释,不超过 140 字(可选)添加图片注释,不超过 140 字(可选)添加图片注释,不超过 140 字(可选)添加图片注释,不超过 140 字(可选)

m0_63437643的博客 226

分布式开放消息系统(RocketMQ)的原理与实践

备注: 1.如果您此前未接触过RocketMQ,请先阅读附录部分,以便了解RocketMQ的整体架构和相关术语 2.文中的MQServer与Broker表示同一概念 分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件,需要具有高吞吐量、高可用等特点。而谈到消息系统的设计,就回避不了两个问题: 消息的顺序问题消息的重复问题 RocketMQ作为阿里开源的一款

LzwGlory的专栏 1697

互联网公司都喜欢的消息队列,阿里Rocket MQ详细介绍

Rocket MQ 的前世与今生 RocketMQ是⼀款阿⾥巴巴开源的消息中间件,在2017年9⽉份成为Apache的顶级项⽬,是国内⾸个互联⽹中间件在 Apache 上的顶级项⽬。 RocketMQ经历了4个大阶段(如上图): 阶段1:Metaq(Metamorphosis) 1.x 由开源社区 killme2008 维护,最后⼀次更新是在2017年1⽉份。 阶段2:Metaq 2.x 于 2012 年 10 ⽉份上线,在淘宝内部被⼴泛使⽤。 阶段3:RocketMQ 3.x 基于阿⾥内

m0_64821673的博客 2837

Springboot集成阿里RocketMQ消息队列服务

简述 本文主要介绍Springboot项目如何集成阿里RocketMQ服务以及基本使用 消息队列作为高并发系统的核心组件之一,能够帮助业务系统解构提升开发效率和系统稳定性。 1、注册阿里云账户,购买RocketMQ服务 1、购买RocketMQ服务,创建实例配置 2、在实例中创建消息主题Topic 3、创建消息消费者组Group 注意规则: 一个 Group ID 代表一个 Consumer 实例群组。同一个消费者 Group ID 下所有的 Consumer 实例必须保证订阅的 Topic 一致,

花若盛开蝴蝶自来,你若精彩天自安排。 2790

阿里二面:MQ 消息积压了,增加消费者有用吗?

Java学习指南:https://java-family.cn大家好,我是不才陈某~今天分享一道有意思的面试题。面试官:RocketMQ 消息积压了,增加消费者有用吗?我:这个要看具体的场景,不同的场景下情况是不一样的。面试官:可以详细说一下吗?我:如果消费者的数量小于 MessageQueue 的数量,增加消费者可以加快消息消费速度,减少消息积压。比如一个 Topic 有 4 个 Message...

码猿技术专栏 420

RabbitMQ详解

说到消息中间件,估计大伙多多少少都能讲出来一些,ActiveMQ、RabbitMQ、RocketMQ、Kafka 等等各种以及 JMS、AMQP 等各种协议,然而这些消息中间件各自都有什么特点,我们在开发中又该选择哪种呢?

qq_53263107的博客 4389
上一篇: [响应式编程] 你真的理解Empty v.s. Null 吗
下一篇: 学会多线程&高并发,敢于向大厂“开炮”
Java技术那些事儿
博客等级 码龄5年 2306粉丝 2584原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值