详解微信异步队列 MQ 2.0 的功能优化及拓展思路

OpenIM OpenIM 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 400+累计阅读 452平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄5年
关注
转载 最新推荐文章于 2026-08-27 16:04:45 发布 452 阅读 AI 写同款· GEO 优化 ›
千问Agent开放：大模型从对话走向执行的工程实践 大模型应用正从‘能说会道’迈向‘能干实事’，其核心在于Agent架构与Skill可编排能力。本文围绕智能体（Agent）如何通过标准化协议、状态管理与权限沙箱，将大语言模型（LLM）转化为业务流程的调度中枢；深入解析Skill作为带业务逻辑的微服务，如何实现数据主权保留与实时决策闭环。结合瑞幸下单、东航改签、肯德基推荐等真实场景，揭示LLM Gateway意图识别、Orchestrator工作流编排、StateDB会话状态治理等关键技术落地要点，为ToB企业、独立开发者及品牌方提供可复用的AI Agent集 阅读详情

背景介绍

MQ 1.0 发布之初，基本满足了一般业务场景的异步化需求，实现了单机下高性能的任务持久化和消费调度。1.0 的基本框架如下图所示：

img

可以看到，其主要分为 MQ 和 Worker 两部分。MQ 是任务的持久化和调度框架，Worker 是任务的处理框架。该组件与常见的队列相比，有几个特点：

  • 关注单机性能，任务单机持久化，本机消费；
  • 框架介入了任务的整个生命周期，其中包括了：入队落盘、派发、处理、提交结果、销毁。业务基于框架开发，专注任务的处理逻辑。

随着业务发展，面对日益复杂的业务场景，1.0 版本逐渐显得力不从心。因此，在 1.0 的基础上，我们实现了 MQ 2.0 版本，主要优化点包括以下几方面：

  • 更优的任务调度
  • 更高效的任务处理
  • 更强的过载保护

下面对各个优化点详细讲解。

更优的任务调度

现状分析

IOS消息通知功能，是MQ组件的一个典型应用场景。微信的后台具有多IDC分布的特点，不同IDC与苹果推送服务（APNs）之间的网络质量参差不齐，部分链路故障频发。

img

由于MQ 1.0 的任务只能本机消费，网络质量的下降将直接导致 Worker 消费能力的下降，进而产生积压，最终使消息服务质量受损。

为此，我们提出了跨机消费模式。其目标是实现一个去中心化、自适应的弹性消费网络，以解决系统中出现的局部积压问题。

任务调度是跨机消费的核心问题

消费模式从单机扩展到多机后，我们要面临的核心问题是，哪些任务给哪个 Worker 去处理。其实，考虑多机房、多IDC、带宽成本、任务延时等因素，我们很容易得到一个直观而朴素的思想：

任务优先在本机消费，产生积压时才发生跨机消费。

如何实现我们想要的跨机消费呢？经过思考，我们将问题分解为三个子问题：

  • 拉任务还是推任务？
  • Worker 如何感知 MQ 的积压？
  • Worker 如何消除 MQ 的积压？

下面逐一进行讨论。

拉任务还是推任务

MQ 1.0 下，MQ 可以准确观察到本机 Worker 的负载状态，并由其将任务推送给空闲的 Worker 进行处理。推送的方式可以将任务的处理延时做到极低。

扩展到跨机消费后，Worker 可以消费任意 MQ 的任务。对 MQ 而言，已经难以精确地维护全网每个 Worker 的状态了。若继续沿用推任务的方式，很可能会出现 Worker 接收到超过其处理能力的任务量，从而产生积压。

若使用 Worker 拉取任务的方式，则拉取的速度可以根据 Worker 自身的消费能力调整，但在任务延时上，需要有所牺牲。

  • 推任务：优点，低延时；缺点，任务在 Worker 端积压，无法被重新调度；
  • 拉任务：优点，任务在 MQ 端积压，可以被空闲的 Worker 拉走；缺点，延时稍高；

经过简单的权衡，我们选用了拉任务的方式，毕竟，我们难以接受任务积压在 Worker 侧的情况。

Worker 如何感知 MQ 的积压

前面提到，系统应该在任务出现积压时，才产生跨机消费。因此，MQ 在产生积压时，应该要能以某种形式通知 Worker。同时，积压量的变化是很快的，通知的方式应该做到以下几方面的高效：

速度：尽可能地快；

精度：尽可能少地发送通知，减少无效通知的发送；

为此，我们实现了广播模式，将 MQ 产生的积压量信息作为一个消息，广播给 多个Worker。

img

它在实现上如何满足高效的积压通知要求呢？

  • 速度：使用长连接将积压量信息推送到 Worker 端；
  • 精度：通过灵活的订阅过滤器，实现对本机、跨机、跨IDC的分级的广播；

通过广播模式，我们高效地解决了 MQ 积压的感知问题。

Worker 如何消除 MQ 的积压

通过广播模式，每个Worker 都可以观察到所有它感兴趣的 MQ 的积压情况，并以此构建出整个系统的积压分布统计。拿到这些信息后，Worker 如何决定拉取哪个 MQ 的任务呢？

还是回到我们的原始诉求，尽量做到本机消费。所以我们的策略是说，Worker 应该优先消除本机的积压，当它有余力的时候，才去帮助其它Worker。

img

通过分优先级地拉取，既可在队列系统正常时大量降低跨机消费，同时也可以在故障发生时，有效地消除局部积压。

负载均衡分析

跨机消费模式，从整个系统角度来看，是完全去中心化的，任意一个 MQ 和 Worker 个体都可以独立、自由地加入或退出系统。

img

在这个竞争式的消费系统里，根据具体的部署情况、不同机型消费能力不同等因素，无法达到完全的负载均衡状态。但在系统产生局部过载时，则可以自适应调节，达到相对的均衡。

小结

从实际应用效果来看，MQ 2.0实现了通知推送服务的IDC级别容灾，即使只剩下一个IDC可用，也可以做到推送质量纹丝不动。

MQ 2.0 对跨机消费模式的支持，为业务提供了一种新的队列容灾模式：

  • MQ 与 Worker 可完全分离部署，分别规划机器数量，按需部署，互不影响；
  • MQ 的局部积压可以通过扩容 Worker进行消除；
  • Worker 的局部消费能力下降可以由其它 Worker 自动容灾；

更高效的任务处理

现状分析

微信发布已有6年多的时间，后台的业务逻辑演化至今，往往是非常的复杂，我们来看一个比较极端的例子 —— 群聊批量并行化投递。

img

上图是群消息投递业务的简化流程示意。随着微信群消息体量的高速膨胀，其带来的成本压力越来越大，业务同学提出了批量并行化的优化方式。简单来说，就是将每个步骤中产生的 RPC 访问按实际访问机器聚合成一系列的批量操作，然后并行化执行。

通常来说，单次的批量并行化并不难写，一般而言，业务同学可能会选择裸写。但如果涉及多次的批量并行化，其中还存在嵌套的话，事情就不那么简单了。最终代码将变得异常复杂，业务开发的同学苦不堪言。MQ 能否从框架上解决这类问题？

类 MapReduce 任务处理框架

其实，深入分析群消息投递的优化需求，可以看到：

  • 一次批量并行化操作本质上是一次 MapReduce 过程；
  • 整个群消息投递的处理过程是多次 MapReduce 过程的串联和并联；

所以，为了从根本上解决这一类问题，MQ 为业务提供了类 MapReduce 任务处理框架。

img

该框架提供封装了通用的 MR 过程，以及并发的调度过程，同时提供并发池隔离能力，解决了并发池饿死的问题。让业务同学可以从冗繁的代码中解放出来，将更多的精力投入到实际业务中。

流式任务处理框架

除了批量并行化的需求，业务经常提到的一个需求是，任务处理时会产生一些新的任务需要加到队列中。一般来说是走一次 RPC 来执行任务入队。在 MQ 2.0 下，流式任务可以帮忙完成这个事情。

所谓流式任务，就是在任务处理结束时，除了返回任务结果，还可以返回一系列新的任务。这些任务通过 MQ 内部框架流转入队，更轻量，事务性更强。

img

相比常规的同步处理模型，它提供了一种轻量的逻辑异步化模型。一个冗长的逻辑可以切分为很多小的功能块进行串联和复用，每一级之间都有 MQ 去充当缓冲和调度。

虽然这种处理模式并不适用于所有逻辑，但作为组件功能的一部分，它提供了一种新的解决问题的能力。

小结

MQ 2.0 提供的类 MapReduce任务处理框架和流式任务处理框架，为业务的实现提供了便利的支持。

更强的过载保护

现状分析

MQ的重要作用是充当系统中的缓冲节点，流量控制的能力是非常关键的。在 MQ 1.0 下，只能通过配置队列的任务出队速度来实现流量控制。其问题有几个：

配置需要人工调整，难以估算对后端的实际访问；

后端处于过载状态时无法自适应调整；

自己处于过载状态时无法自适应调整；

问题分析

从需求来看，MQ 的过载保护需求有两个方面，一是保护自己不过载，二是保护后端不过载。

导致过载的因素很多，从 MQ 的角度来看，这些因素可以分为两大类。一种是它能直接观察的因素，如自身的 CPU 使用率，内存使用率，任务执行的成功率；另一种是无法直接观察的因素，如业务实际对后端产生的调用量。

从这两类因素出发，我们将过载保护的策略分为两大策略：

  • 前向限速：MQ 通过其直接观察到的数据，主动对任务派发进行限速；
  • 后向限速：MQ 通过业务反馈的数据，被动对任务派发进行限速；

下面分别讨论两种策略。

前向限速

基于 CPU 使用率的流控

该限速策略很好理解，就是在 CPU 使用率过高时，降低任务处理速度，以将 CPU 资源优先用于保证队列的缓存能力。

img

基于任务成功率的流控

后端模块故障时，往往会导致队列任务出现大量的失败和重试，这些重试的量级往往会远超该后端模块设计的有效输出，给故障恢复带来很大的困难。

该流控策略的通过收集任务执行的成功率信息，评估后端的有效输出，并通过反馈计算限制任务重试的速度。

img

后向限速

MQ 实现了通用的后向限速能力，业务通过特定接口往 MQ 回传控制量，达到速度调控的目的。

基于后端 RPC 访问量的流控

我们经常会遇到一些业务在处理任务时，存在不同程度的对后端的扩散访问。仅对任务处理速度进行限制，无法准确限制对后端产生的实际调用量。

该策略通过收集业务对后端产生的实际调用量，反向调节任务处理的速度。

img

小结

MQ 2.0 通过分析流控需求，在前向和后向分别提供了有效的流控手段，并且为后续更精细的流控策略预留了拓展的能力，增强了过载保护的能力。

写在最后

微信的队列组件，与业界其他队列相比，其突出的特点是更贴近实际业务场景，极大地解放了业务同学的生产力。

MQ 2.0 在 1.0 的基础上，在任务调度、任务处理、过载保护这几方面做了大量的工作和尝试，目前已在微信各个核心业务模块运行，并经历了2017年除夕流量洪峰的考验。

后续，将在任务持久化容灾和调度性能上，对该组件进行持续的优化。关于 MQ 有任何疑问及想法，欢迎与作者讨论。

作者介绍：廖文鑫，2013年加入腾讯，从事微信后台基础功能及架构的开发和运营，先后参与了消息通知推送系统、任务队列组件、春晚摇红包活动等项目，在海量分布式高性能系统方面有丰富的经验。

​ 本文转自微信后台团队,如有侵犯,请联系我们立即删除

OpenIMgithub开源地址：

https://github.com/OpenIMSDK/Open-IM-Server

OpenIM官网 ： https://www.rentsoft.cn

**OpenIM官方论坛： ** https://forum.rentsoft.cn/

更多技术文章：

开源OpenIM：高性能、可伸缩、易扩展的即时通讯架构
https://forum.rentsoft.cn/thread/3

【OpenIM原创】简单轻松入门 一文讲解WebRTC实现1对1音视频通信原理
https://forum.rentsoft.cn/thread/4

【OpenIM原创】开源OpenIM：轻量、高效、实时、可靠、低成本的消息模型
https://forum.rentsoft.cn/thread/1

收录于
即时通讯

当前文章被收录于：

即时通讯
58 篇文章 6 人学习
订阅专栏 查看详情
IM

当前文章被收录于：

IM
54 篇文章 2 人学习
订阅专栏 查看详情
标签
#im
原文链接：https://forum.rentsoft.cn/thread/36>
开源即时通讯（IM）项目OpenIM源码部署流程 由于OpenIM依赖的组件较多，开发者需求不一，导致OpenIM部署一直被人诟病，经过几次迭代优化，包括依赖的组件compose的一键部署，环境变量设置一次，全局生效，以及脚本重构，目前OpenIM部署比较丝滑，特写文章分享给大家。OpenIM是什么OpenIM不是一个独立的聊天产品，它不像telegram、Signal、rocket.chat那样是一个完全独立、可以直接安装使用的聊天应用程序。而是一个开源的即时通讯解决方案，为开发者提供了一系列的工具和服务，以便于他们在自己的应用程序中集成即时通讯功能。 阅读详情

相关推荐

【原创】开源OpenIM：轻量、高效、实时、可靠、低成本的消息模型

【原创】开源OpenIM：轻量、高效、实时、可靠、低成本的消息模型 1、内容概述 一套完整IM系统中，除开基本的业务设计，消息模型的设计是其中最为关键的一环，它关系到整个IM系统的可靠性、高效性、稳定性，因此需要设计一套合理的消息传递收发机制以承载IM的各种需求，OpenIM结合具体的业务场景，提炼出IM后端的重要接口，并经过反复推敲，验证，设计出了自己的一套通信协议OMTP，协议中每个字段尽量的减少冗余，使其精简高效、最大限度的满足现有的业务需求并能够支持业务的水平拓展，同时为了达到消息的实时可靠与高效，

programor_guo的博客 1986

MQ的初步了解

MQ的初步了解

qq_57747969的博客 411

OpenIM离线docker部署及应用

介绍OpenIM：由前微信技术专家打造的基于 Go 实现的即时通讯（IM）开源项目，包括IM服务端和客户端SDK。开发者私有化部署，基于SDK二次开发，可以轻松替代第三方IM云服务，打造具备聊天、社交功能的app。无论是开发同城交友、企业办公亦或是当今最热门的元宇宙，还是在应用中集成IM功能，都非常便捷。OpenIM代码100%开源，开源协议Apache-2.0 License任何企业和个人都可以免费使用（包括商用）。请各位看官多多支持，转发和宣传，助力OpenIM成为开源IM的No1。

qiuweifan的博客 3448

消息队列（Message Queue）

引言 上几篇博客简单的讲述了 go 语言连接 kafka，以及写 mysql 操作过程。但是对于初学者而言，可能仅仅是知道 mysql 是一个数据库，对 kafka 则一头雾水。其实 kafka 是一个比较常用的消息队列（Message Queue，MQ），在本篇博客中，将消息队列进行说明。 消息队列 消息队列作为中间件，是分布式应用间交换信息的重要组件。消息队列可驻留在内存或磁盘上, 队列可以存...

冰河世纪20的博客 862

【项目实战】开源的即时通讯组件OpenIM入门介绍

IM，是即时通讯（Instant Messaging，简称 IM）OpenIM，是一个开源的、强大的即时通讯组件。OpenIM，提供了完整的即时通讯服务功能。OpenIM，被设计为高并发、高可用、易于扩展的架构。OpenIM，适合构建企业级的即时通讯平台。OpenIM，由一群热爱开源技术的开发者创建。OpenIM，旨在提供一个高性能、稳定、易用的即时通讯解决方案。OpenIM，是由IM技术专家打造的开源的即时通讯组件。

奶爸的编程之路，也就一周冷个三天 3484

直播购物交友系统源码架构与高并发实战部署全解析

内容电商是当前互联网商业形态的重要方向，其核心在于将直播、短视频、商城与社交关系链融合为一个完整闭环。从技术原理看，这类系统需要处理直播推拉流、实时互动、短视频分发、电商交易及社交关系等多类复杂场景，对高并发架构和微服务拆分提出了极高要求。通过合理设计接入层、业务层、数据层与基础设施层，并运用Redis、消息队列、CDN等中间件，可以有效支撑秒杀、弹幕刷屏、支付高峰等典型高流量冲击。这一技术价值不仅体现在系统稳定性上，更能帮助运营方实现从内容种草到交易转化的完整链路。在直播带货、私域运营等实际应用中，掌握源

weixin_34121282的博客 511

个人在线学习网站（第八章 阅读量点赞量功能开发）

文档阅读数更新 前端点击某文档时，doc.view_count+1 在查找阅读数时+1，每当有人操作这个id，我们就对他的view_count+1 对于一些复杂的SQL或多表联查的，我们可以自己写自定义SQL 重写resource--mapper id是动态的，要写成#｛｝，写$｛｝有可能被注入的风险 ->持久层 mapper 把刚才写的方法调用进来 ->业务层service 两个字段，如果不写，default 0会起作用，默认为0，如果写了，default 0不起作用，没值，默认为..

weixin_58642210的博客 379

Intouch间接变量（扩展）

间接变量只是Intouch提供给开发者的便捷方式之一，并不是所有情况都一定要使用间接变量，有时候用条件语句或者内存变量的方式也能起到类似的作用。

weixin_41571357的博客 2168

微信小程序+MQTT(emqx)+Ngnix解决真机调试持续重新连接问题

最近想用微信小程序订阅MQTT的消息，但是想要用MQTT，微信小程序不允许用ip去连接，必须用经过备案的域名，然后就开始了艰辛的合法域名探索之路。

自由学者亻伊宸的博客 4356

LAMMPS in文件详解：从零开始手把手教你配置金属分子动力学模拟

本文详细解析了LAMMPS in文件的配置方法，手把手教你完成金属分子动力学模拟的全流程。从软件环境准备、势函数选择，到使用Materials Studio构建模型、编写in文件进行能量最小化与系统弛豫，再到实施单轴拉伸生产模拟并提取应力应变数据，最后通过Python和OVITO进行结果分析与可视化，提供了完整的实战指南和常见问题排查技巧。

weixin_28475533的博客 527

利用HipSTR从二代测序数据中精准解析短串联重复序列（STR）的遗传多态性

本文详细介绍了如何利用HipSTR工具从二代测序(NGS)数据中精准解析短串联重复序列(STR)的遗传多态性。通过三步走策略，HipSTR能够高效识别STR区域、估算重复次数并判定基因型，适用于法医鉴定、疾病研究和细胞系鉴定等多个领域。文章还提供了实战操作指南和常见问题解决方案，帮助研究者充分利用NGS数据开展STR分析。

weixin_28702105的博客 482

微信支付：支付流程分析、微信扫码支付（HttpClient）、微信支付二维码生成、检测支付状态、订单状态操作准备工作、支付信息回调、MQ处理支付回调状态、定时处理订单状态

微信支付 微信支付开发的整体思路 生成支付二维码 查询支付状态(微信的服务器) 实现订单状态的修改、删除订单 支付状态回查->微信服务器将支付状态返回给支付微服务 MQ处理支付回调状态 RabbitMQ延时队列实现超时订单取消回滚 1 支付流程分析 1.1 订单支付分析 如上图，步骤分析如下： 1.用户下单之后，订单数据会存入到MySQL中，同时会将订单存入到Redis，以队列的方式存储。 2.用户下单后，进入支付页面，支付页面调用支付系统，从微信支付获取二维码数据，

weixin_41942838的博客 9521

时间卷积网络(TCN)：结构+pytorch代码

文章目录TCNTCN结构1-D FCN的结构因果卷积(Causal Convolutions)膨胀因果卷积(Dilated Causal Convolutions)膨胀非因果卷积(Dilated Non-Causal Convolutions)残差块结构pytorch代码讲解 TCN   TCN(Temporal Convolutional Network)是由Shaojie Bai et al....

Leon_winter的博客 11万+

微信异步队列 MQ 2.0 的功能优化及拓展思路

异步队列 MQ 2.0

Arphee的博客 617

保姆级教程：手把手教你下载和配置Waymo自动驾驶数据集（附百度网盘链接）

本文提供了一份详细的Waymo自动驾驶数据集下载和配置指南，特别针对国内研究者优化了数据获取方案，包括百度网盘链接和Google Cloud CLI配置。文章还涵盖了环境配置、数据处理实战、可视化分析以及进阶技巧，帮助开发者高效利用这一业界黄金标准数据集进行自动驾驶研究。

weixin_42651281的博客 360

YOLOv11知识蒸馏实战：让小模型拥有大模型90%精度，速度提升3倍的终极教程

在self.alpha = alpha # 蒸馏损失权重self.temperature = temperature # 温度系数，控制分布平滑度# 输出分布蒸馏（KL散度损失）# 中间特征蒸馏（MSE损失，对齐中间层特征）# 总蒸馏损失知识蒸馏是YOLOv11在“小模型高性能部署”场景的“破局之法”——它让小模型能“站在大模型的肩膀上”，兼具速度与精度。从损失函数定义到多阶段训练，再到实战落地，本教程已为你铺就了一条清晰的路径。

m0_64661770的博客 801

如何优雅的设计数据导出功能？

原创：小姐姐味道（微信公众号ID：xjjdog），欢迎分享，转载请保留出处。对于一些报表性的后台，有些会提供数据导出功能。如果查询维度过多又都是耗时操作，那就像是开了潘多拉盒子，会造成比较恶劣的后果。数据的导出，下载，是和产品的定位息息相关的。许多产品就非常硬核，非常常用的导出功能都不给你提供，但你还是要屁颠屁颠的用着这些系统。因为人家牛X。然鹅很多的产品，就比较软骨头。客户和老板需要什么，就提供...

小姐姐味道 1398

6.4 直流无刷电机(BLDC)：测试与性能评估

本文系统阐述了直流无刷电机(BLDC)的测试与性能评估方法，涵盖参数测量、性能测试、测试平台设计及可靠性评估。详细介绍了绕组电阻、电感和反电动势的测量原理与修正方法，以及转矩-转速特性、效率分析和动态响应测试的技术要点。通过搭建高精度测功机系统，结合自动化数据处理，实现对电机性能的全面评估。最后讨论了温升、振动、EMC等特殊测试方法，为BLDC电机的设计验证和质量控制提供了完整的技术路径。

技术工作者 442

二阶段项目抖粉智算项目总结

抖粉智算短视频AI营销服务平台。这是一个面向短视频创作者的AI工具SaaS平台，从前端界面、后端业务、AI能力接入到中间件部署、容器化上线，一整套完整的商业化项目架构。这篇文章是该项目的总结，将讲清楚项目是做什么的、用了哪些技术、每个模块怎么实现的。抖粉智算这个项目，本质上是一个**「AI能力 + SaaS商业模式 + 完整工程化架构」**的组合体。有用户体系：多种登录方式、会员等级、团队协作有交易体系：商品、购物车、支付、订单、售后有核心产品：五大AI工具，解决真实业务痛点。

2301_80386114的博客 350

【AI黑话日日新】什么是对比学习？

模型效果高度依赖大规模、高质量的人工标注数据。数据标注不仅成本高昂、周期漫长，在医疗、工业、小众垂类等场景中，甚至难以获取足量的标注样本，严重限制了模型的泛化能力与应用边界。自监督学习的出现，为解决这一问题提供了全新思路——无需人工标注标签，而是利用数据自身的结构与内在关联，构建自生成的监督信号完成模型预训练，再通过微调适配下游任务。在众多自监督学习方法中，对比学习（Contrastive Learning）

专注：太空算力、AI infra、异构调度、大模型成本工程 730

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

火车票系统如何支撑亿级并发：区间席位能力模型与最终一致性实践

火车票系统是典型的高并发、强一致性要求的实时交易系统，其核心挑战在于余票状态管理与分布式事务协调。传统‘座位编号’数据模型导致锁粒度粗、库存计算滞后、退改签性能雪崩；而现代高并发票务系统转向‘区间席位能力（SSC）’建模，结合内存化余票引擎、本地事务+异步补偿机制，实现毫秒级响应与数学级准确率。该方案本质是用‘最终可验证一致性’替代强一致性，在保障用户体验前提下突破CAP理论瓶颈。广泛应用于12306等大型预约类系统，也为电商秒杀、医疗挂号、演唱会抢票等场景提供可复用的技术范式。

didi9310的博客 417

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

时不我待，拥抱趋势，开源IM项目OpenIM技术简介

同时，它还提供了完整的管理后台，帮助管理员监控和管理用户、群组、消息、通知等内容。OpenIM支持iOS和Android原生开发，并且也提供了Flutter、uniapp、React Native等跨平台开发框架的SDK，开发者可以根据自己的需求选择不同的开发方式。作为一款开源的IM项目，OpenIM提供了丰富的功能和完善的技术支持，吸引了众多开发者的关注和使用。对于iOS和Android原生开发，OpenIM提供了针对各个平台的SDK和相应的开发文档，开发者可以根据文档指引完成相应的集成和开发工作。

OpenIM的博客 6370

C# WinForm 基于DirectShow.dll编写的程序，可边预览边保存视频，音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择（默认选中第一个）2.可录制wmv和avi两种格式的视频并且都带有音频，avi可以录制的分辨率和帧数进行选择，wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照，也可边录制视频边拍照4.添加了视频和音频的压缩功能（酌情使用）这次二次开发发现C#对DirectShow的相关信息太少，这次做完也不敢藏私共享出来，还望大家指正

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

紧跟潮流，抓住趋势，跟上全民AI的节奏，开源IM项目OpenIM产品介绍，为AIGC贡献力量

高度自主、安全可控、开放自由，私有化部署，一切皆可控透明度和可信度：开源软件的源代码是公开的，任何人都可以查看和检查代码，从而增强了软件的透明度和可信度。用户可以了解软件的内部结构和运作方式，发现和修复潜在的安全漏洞和错误。自由度和可定制性：开源软件允许用户自由地使用、复制、分发和修改软件代码。用户可以根据自己的需求和要求对软件进行自定义和定制，满足不同的业务需求。开放创新和协作：开源软件的源代码公开，鼓励开发者和用户之间的交流、合作和创新。

OpenIM的博客 2184

windows10部署OpenIM，及踩坑记录

windows10部署运行OpenIM

running17的博客 8191

openIM本地搭建遇到的问题

官方文档里有快速部署和源码部署，快速部署就是使用docker-compose一键部署，当然这个需要了解一些这方面的知识，源码部署就需要自己手动安装需要的组件，kafka，mysql，MongoDB，etcd，redis。在日志里一直在报这个错误，可以看出来是kafka的问题，我没有用过kafka，所以不是很熟悉，第一时间肯定想到去百度，相关的博客有很多，跟着弄了，但是都不能解决，最后还是在官方的技术交流群里一位大佬的提示下，想到了单独启动kafka看看有什么报错信息。

Liuxw666666的博客 2563
上一篇： TLS协议分析 (九) 现代加密通信协议设计
下一篇： 【OpenIM原创】C/C++调用golang函数，golang回调C/C++函数
点赞 0
评论 0
书签 书签 0
OpenIM
OpenIM
博客等级 码龄5年 295粉丝 68原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值