RedisJson 横空出世,性能碾压 ES 和 MongoDB !

不可错过的10本架构师必读书籍,带你嗨翻架构师之路,三连评论送书! 不可错过的10本架构师必读书籍,带你嗨翻架构师之路,文末送书! 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:blog.youkuaiyun.com/xiangzhihong8/

article/details/121530019

bbcea6543d1cf9c7c6cd195c212a24d3.jpeg


71dfbf31b235d9b47140a1b2e9dfc72f.png 8d93da05f3ff6734142cb0bc1c425398.png

一、概述

近期官网给出了RedisJson(RedisSearch)的性能测试报告,可谓碾压其他NoSQL,下面是核心的报告内容,先上结论:

  • 对于隔离写入(isolated writes),RedisJSON 比 MongoDB 快 5.4 倍,比 ElasticSearch 快 200 倍以上。

  • 对于隔离读取(isolated reads),RedisJSON 比 MongoDB 快 12.7 倍,比 ElasticSearch 快 500 倍以上。

在混合工作负载场景中,实时更新不会影响 RedisJSON 的搜索和读取性能,而 ElasticSearch 会受到影响。以下是具体的数据:

  • RedisJSON* 支持的操作数/秒比 MongoDB 高约 50 倍,比 ElasticSearch 高 7 倍/秒。

  • RedisJSON* 的延迟比 MongoDB 低约 90 倍,比 ElasticSearch 低 23.7 倍。

此外,RedisJSON 的读取、写入和负载搜索延迟在更高的百分位数中远比 ElasticSearch 和 MongoDB 稳定。当增加写入比率时,RedisJSON 还能处理越来越高的整体吞吐量,而当写入比率增加时,ElasticSearch 会降低它可以处理的整体吞吐量。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://gitee.com/zhijiantianya/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

二、查询引擎

如前所述,reresearch和RedisJSON的开发非常强调性能。对于每一个版本,我们都想确保开发者可以体验到稳定和产品。为此,我们我们给出了一些分析工具、探测器来进行性能分析。

并且,我们每次发行新版本时时,也在不断的提升性能。特别是对于reresearch来说,2.2版本在加载和查询性能上都比2.0快了1.7倍,同时还改进了吞吐量和数据加载的延迟。

2.1 加载优化

接下来的两个图显示了运行纽约市出租车基准测试的运行结果

faced373f7208ad7340e287878d55d4e.png 3d0d6eb5dab669796d69f468923b5cfb.png

从这些图表中可以看出,每一个reresearch的新版本都有一个实质性的性能改进。

2.2 全文搜索优化

为了评估搜索性能,我们索引了590万篇维基百科摘要。然后我们运行一个全文搜索查询面板,得到的结果如下图所示。

d017febcc9f77e6abe78c90be26f8ad8.png e8b7cef6ecab21a033c6971ac9cd4d59.png

从上面的图可以看出,通过从v2.0迁移到v2.2,同样的数据,在写、读、搜索(延迟图)方面都有了大幅度的改进,从而提高了运行Search和JSON的可实现吞吐量。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://gitee.com/zhijiantianya/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

三、和其他框架的对比

为了评估RedisJSON的性能,我们决定将它与MongoDB和ElasticSearch进行比较。为了方便对比,我们会从文档存储、本地可用、云中可用、专业支持和提供可伸缩性、性能等方面进行全方位的对比。

我们使用了完善的YCSB标准来进行测试对比,它能够基于常见的工作负载来评估不同的产品,测量延迟、吞吐量曲线直到饱和。除了CRUD YCSB操作之外,我们还添加了一个两个字的搜索操作,专门帮助开发人员、系统架构师和DevOps从业者找到适合他们用例的最佳搜索引擎。

3.1 基准测试

此次测试,我们使用了如下的一些软件环境:

  • MongoDB v5.0.3

  • ElasticSearch 7.15

  • RedisJSON (RediSearch 2.2+RedisJSON 2.0)

此次是在Amazon Web Services 实例上运行基准测试,这三种解决方案都是分布式数据库,并且最常用于生产中的分布式方式。这就是为什么所有产品都使用相同的通用 m5d.8xlarge VM 和本地 SSD,并且每个设置由四个 VM 组成:一个客户端 + 三个数据库服务器。基准测试客户端和数据库服务器都在处于最佳网络条件下的单独 m5d.8xlarge 实例上运行,将实例紧密地打包在一个可用区内,实现稳态分析所需的低延迟和稳定的网络性能。

测试是在三节点集群上执行的,部署细节如下:

  • MongoDB 5.0.3:三成员副本集(Primary-Secondary-Secondary)。副本用于增加读取容量并允许更低的延迟读取。为了支持对字符串内容的文本搜索查询,在搜索字段上创建了一个文本索引。

  • ElasticSearch 7.15:15 个分片设置,启用查询缓存,并为 2 个基于 NVMe 的本地 SSD 提供 RAID 0 阵列,以实现更高级别的文件系统相关弹性操作性能。这 15 个分片为我们为 Elastic 所做的所有分片变体提供了可实现的最佳性能结果。

  • RedisJSON*:RediSearch 2.2 and RedisJSON 2.0: OSS Redis Cluster v6.2.6,有27个分片,均匀分布在三个节点上,加载了RediSearch 2.2和RedisJSON 2.0 OSS模块。

除了这个主要的基准/性能分析场景之外,我们还在网络、内存、CPU 和 I/O 上运行基准基准测试,以了解底层网络和虚拟机特性。在整个基准测试集期间,网络性能保持在带宽和 PPS 的测量限制以下,以产生稳定稳定的超低延迟网络传输(每个数据包 p99 < 100micros)。

接下来,我们将从提供单独的操作性能 [100% 写入] 和 [100% 读取] 开始,并以一组混合工作负载结束以模拟现实工作中的应用程序场景。

3.2 100% 写入基准

如下图所示,该基准测试表明,RedisJSON* 的摄取速度比 ElasticSearch 快 8.8 倍,比 MongoDB 快 1.8 倍,同时保持每个操作的亚毫秒级延迟。值得注意的是,99% 的 Redis 请求在不到 1.5 毫秒的时间内完成。

此外,RedisJSON* 是我们测试过的唯一一种在每次写入时自动更新其索引的解决方案。这意味着任何后续的搜索查询都会找到更新的文档。ElasticSearch 没有这种细粒度的容量;它将摄取的文档放在一个内部队列中,并且该队列由服务器(不受客户端控制)每 N 个文档或每 M 秒刷新一次。他们称这种方法为近实时 (NRT)。Apache Lucene 库(它实现了 ElasticSearch 的全文功能)旨在快速搜索,但索引过程复杂且繁重。如这些 WRITE 基准测试图表所示,由于这种“设计”限制,ElasticSearch 付出了巨大的代价。

结合延迟和吞吐量改进,RedisJSON* 比 Mongodb 快 5.4 倍,比 ElasticSearch 快 200 倍以上,用于隔离写入。

cc9d50062df2f3399b7cd4ae2a047ba5.png 5af5d90b545c393497f9a57312f3b6ed.png

3.3 100% 读取基准

与写类似,我们可以观察到 Redis 在读取方面表现最佳,允许读取比 ElasticSearch 多 15.8 倍,比 MongoDB 多 2.8 倍,同时在整个延迟范围内保持亚毫秒级延迟,如下表所示。

在结合延迟和吞吐量改进时,RedisJSON* 比 MongoDB 快 12.7 倍,比 ElasticSearch 快 500 倍以上,用于隔离读取。

b66267103eaf865bd5b38984e4a35c38.png e96eb57a3287f4ed2ebea581cd28549d.png

3.4 混合读/写/搜索基准

实际应用程序工作负载几乎总是读取、写入和搜索查询的混合。因此,在接近饱和时了解由此产生的混合工作负载吞吐量曲线更为重要。

作为起点,我们考虑了 65% 搜索和 35% 读取的场景,这代表了一个常见的现实世界场景,在该场景中,我们执行的搜索/查询比直接读取更多。65% 搜索、35% 读取和 0% 更新的初始组合也导致 ElasticSearch 和 RedisJSON* 的吞吐量相等。尽管如此,YCSB 工作负载允许您指定搜索/读取/更新之间的比率以满足您的要求。

“搜索性能”可以指不同类型的搜索,例如“匹配查询搜索”、“分面搜索”、“模糊搜索”等等。我们所做的最初向 YCSB 增加的搜索工作负载仅专注于“匹配查询搜索”,模仿分页的两词查询匹配,按数字字段排序。“匹配查询搜索”是任何启用搜索功能的供应商进行搜索分析的起点,因此,每个支持 YCSB 的数据库/驱动程序都应该能够在其基准驱动程序上轻松启用此功能。

在每个测试变体中,我们添加了 10% 的写入,以按相同的比例混合和减少搜索和读取百分比。这些测试变体的目标是了解每个产品如何处理数据的实时更新,我们认为这是事实上的架构目标,即写入立即提交到索引,读取始终是最新的。

781e7ce121a5335e3fc608641631d481.png

正如您在图表中所看到的,在 RedisJSON* 上不断更新数据和增加写入比例不会影响读取或搜索性能并提高整体吞吐量。对数据产生的更新越多,对 ElasticSearch 性能的影响就越大,最终导致读取和搜索速度变慢。

ElasticSearch 可实现的 ops/sec 从 0% 更新到 50% 的演变,我们注意到它在 0% 更新基准上以 10k Ops/sec 开始,并受到严重影响,减少了 5 倍的 ops/sec,在50% 更新率基准。

与我们在上述单个操作基准中观察到的类似,MongoDB 搜索性能比 RedisJSON* 和 ElasticSearch 慢两个数量级,MongoDB 的最大总吞吐量为 424 ops/sec,而 RedisJSON* 为 16K 最大 ops/sec。

最后,对于混合工作负载,RedisJSON* 支持的操作数/秒比 MongoDB 高 50.8 倍,比 ElasticSearch 高 7 倍。如果我们将分析集中在混合工作负载期间的每种操作类型的延迟上,与 MongoDB 相比,RedisJSON* 可将延迟降低多达 91 倍,与 ElasticSearch 相比,延迟降低 23.7 倍。

3.5 完整延迟分析

与测量每个解决方案饱和之前产生的吞吐量曲线类似,在所有解决方案通用的可持续负载下进行完整的延迟分析也很重要。这将使您能够了解对于所有已发布操作在延迟方面最稳定的解决方案是什么,以及哪种解决方案不易受到应用程序逻辑引发的延迟峰值的影响(例如,弹性查询缓存未命中)。如果您想更深入地了解我们为什么要这样做,Gil Tene 提供了延迟测量注意事项的深入概述。

查看上一节的吞吐量图表,并关注 10% 更新基准以包含所有三个操作,我们做了两种不同的可持续负载变化:

  • 250 ops/sec:比较 MongoDB、ElasticSearch 和 RedisJSON*,低于 MongoDB 的压力率。

  • 6000 ops/sec:比较 ElasticSearch 和 RedisJSON*,低于 ElasticSearch 压力率。

3.5.1 MongoDB 与 ElasticSearch 与 RedisJSON* 的延迟分析

在下面的第一张图片中,展示了从 p0 到 p9999 的百分位数,很明显,在每次搜索时,MongoDB 的表现都远远优于 Elastic 和 RedisJSON。此外,关注 ElasticSearch 与 RedisJSON,很明显,ElasticSearch 容易受到较高延迟的影响,这很可能是由垃圾收集 (GC) 触发器或搜索查询缓存未命中引起的。RedisJSON* 的 p99 低于 2.61 毫秒,而 ElasticSearch p999 搜索达到 10.28 毫秒。

744b240220088977f40d18191fe0e9c6.png

在下面的读取和更新图表中,我们可以看到 RedisJSON* 在所有延迟范围内表现最佳,其次是 MongoDB 和 ElasticSearch。

RedisJSON* 是在所有分析的延迟百分位数上保持亚毫秒级延迟的唯一解决方案。在 p99,RedisJSON* 的延迟为 0.23 毫秒,其次是 MongoDB 的 5.01 毫秒和 ElasticSearch 的 10.49 毫秒。

91d46b57e565c09b00143ce53f67c3c9.png

在写入时,MongoDB 和 RedisJSON* 即使在 p99 时也能保持亚毫秒级的延迟。另一方面,ElasticSearch 显示出高尾延迟(> 10 毫秒),这很可能与导致 ElasticSearch 搜索峰值的原因 (GC) 相同。

b205c43f879c8a380639065dac301aca.png
3.5.2 ElasticSearch 与 RedisJSON 的延迟分析

仅关注 ElasticSearch 和 RedisJSON,在保持 6K ops/sec 的可持续负载的同时,我们可以观察到 Elastic 和 RedisJSON 的读取和更新模式与以 250 ops/sec 进行的分析保持一致。RedisJSON* 是更稳定的解决方案,其 p99 读取时间为 3 毫秒,而 Elastic 的 p99 读取时间为 162 毫秒。

在更新时,RedisJSON* 保留了 3 毫秒的 p99,而 ElasticSearch 则保留了 167 毫秒的 p99。

d51a01b0e70756db05296958cdc86508.png 02450000753f3b67bddb61628320109a.png

专注于搜索操作,ElasticSearch 和 RedisJSON* 以个位数 p50 延迟开始(p50 RedisJSON* 为 1.13 毫秒,而 ElasticSearch 的 p50 为 2.79 毫秒),其中 ElasticSearch 付出了 GC 触发和查询缓存未命中的代价在较高的百分位数上,在 >= p90 百分位数上清晰可见。

RedisJSON* 将 p99 保持在 33 毫秒以下,而 ElasticSearch 上的 p99 百分位数为 163 毫秒,高出 5 倍。

aad33273394be830276949fc51fdcca1.png

四、如何开始

开始使用RedisJSON*,我们可以创建一个免费的数据库在所有地区的Redis云,或者使用RedisJSON docker容器。我们已经更新了redisjson的文档,以方便开发者快速的开始使用查询和搜索功能。此外,正如我们在最近的客户机库声明中提到的,以下是几种流行语言的客户机驱动程序,可以帮助您快速入门。


RedisJSON*
Node.jsnode-redis
JavaJedis
.NETNRedisJSON NRediSearch
Pythonredis-py


欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

239739bdaf9fc8d86ad92da7c962ef0d.png

已在知识星球更新源码解析如下:

949b3e23ed56c82ede57823a076ae997.jpeg

d895a6bbee57b6cd88987ae47957308d.jpeg

6f48ffb725c8efb71c21a7093c71bb71.jpeg

981575398ffeb486fc244a2ef599da90.jpeg

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
超越 ES!RediSearch + RedisJSON = 王炸! 阅读详情

相关推荐

最全面的软考架构师复习资料(历时2年整理)

一、面向服务的架构 1.请分别用200字以内文字说明什么是面向服务架构(SOA)以及ESB在SOA的作用与特点 面向服务的体系架构(SOA)是一种粗粒度、松耦合的服务架构,服务之间通过简单、精确定义接口进行通信。他可以根据需求通过网络对松散耦合的粗粒度的应用组件进行分布式部署、使用和组合。SOA能够帮助企业系统架构设计者以更迅速、更可靠、更高重用性设计整个业务系统架构,基于SOA的系统架构能够更加从容的面对业务的急剧变化。 企业服务总线(ESB)是由中间件技术实现的全面支持面向服务架构的基础软件平台,支持异

mischen520的博客 4926

RedisJSON: 公共预览版 & 基准测试(与 MongoDB 与 ElasticSearch对比)

官方文档:RedisJSON: Public Preview & Performance Benchmarking 现在网上充斥着各种 `“碾压ES和MongoDB的言论”` ,所以就去了解了一下,具体看完大致有了一定理解。如果单纯想做检索的话用 `RedisJSON*` 确实性能非常高(**官方给的例子就是产品检索**),毕竟这货可是基于内存呀,就这一特性不就轻轻松松的干掉一切??但是如果是想要对数据进行统计分析之类的场景,最好还是使用 `ES`,`ES` 除了全文检索以外,还支持复杂数据分析.

一只奋斗的猪 2448

手把手教你用WF100DPZ数字压力传感器搞定I2C/SPI通信(附完整寄存器解析)

本文详细解析了WF100DPZ数字压力传感器的I2C与SPI通信驱动方法,涵盖硬件连接、寄存器配置、数据读取流程及常见问题排查。该传感器内置24位ADC和出厂校准,通过实战代码演示了如何稳定获取高精度压力与温度数据,帮助开发者快速集成到嵌入式项目中。

weixin_28285943的博客 379

今日热点 | RedisJson 横空出世,惊呆ES和Mongo

一、概述 近期官网给出了RedisJson(RedisSearch)的性能测试报告,可谓碾压其他NoSQL,下面是核心的报告内容,先上结论: 对于隔离写入(isolated writes),RedisJSON 比 MongoDB 快 5.4 倍,比 ElasticSearch 快 200 倍以上。 对于隔离读取(isolated reads),RedisJSON 比 MongoDB 快 12.7 倍,比 ElasticSearch 快 500 倍以上。 在混合工作负载场景中,实时更新不会影响 Redi

【优快云】 3771

2024年全国大学生信息安全竞赛安徽省赛网络系统建设与运维赛项-网络构建真题

该网络工程方案主要包含基础配置、有线网络、无线网络、出口网络、运维配置和SDN网络六个部分。基础配置包括设备接口设置、SSH服务开启和SNMP功能配置。有线网络部分重点部署VLAN、MSTP、VRRP和OSPF协议,实现网络冗余和负载均衡。无线网络规划了AP点位、信号覆盖和用户接入策略,包括SSID配置、频段优化和安全认证。出口网络配置了NAT转换、VPN隧道和流量审计功能。运维方面搭建了监控平台实时监测设备状态。SDN网络部分通过控制器实现流量管控。整个方案实现了多业务隔离、高可用性网络架构和

weixin_42221934的博客 1175

从AMCL到SLAM Toolbox:在Nav2中实现高精度纯定位的实践指南

本文详细介绍了从AMCL迁移到SLAM Toolbox纯定位模式的实践指南,帮助开发者在Nav2中实现高精度定位。通过对比AMCL与SLAM Toolbox的性能差异,提供环境配置、参数调优、Nav2集成等关键步骤,显著提升机器人在动态环境中的定位精度和重定位效率。

weixin_29292535的博客 149

RedisJson 横空出世,性能碾压 ElasticSearch 和 MongoDB!

点击上方“Java精选”,选择“设为星标”别问别人为什么,多问自己凭什么!下方有惊喜留言必回,有问必答!每天08:15更新文章,每天进步一点点...1概述近期官网给出了RedisJso...

Java精选 340

基于PlatformIO与CMSIS的STM32库函数开发实战:从环境搭建到外设驱动

本文详细介绍了基于PlatformIO与CMSIS的STM32库函数开发实战,从环境搭建到外设驱动实现。通过对比传统IDE,PlatformIO结合CMSIS框架在跨平台开发、代码可移植性和调试体验上更具优势。文章包含PlatformIO.ini配置详解、GPIO/USART驱动开发实例及常见问题解决方案,帮助开发者高效完成STM32项目开发。

weixin_29190169的博客 425

碾压ES和MongoDB,RedisJson横空出世!

值得注意的是,99% 的 Redis 请求在不到 1.5 毫秒的时间内完成。ElasticSearch 可实现的 ops/sec 从 0% 更新到 50% 的演变,我们注意到它在 0% 更新基准上以 10k Ops/sec 开始,并受到严重影响,减少了 5 倍的 ops/sec,在50% 更新率基准。从上面的图可以看出,通过从 v2.0 迁移到 v2.2,同样的数据,在写、读、搜索(延迟图)方面都有了大幅度的改进,从而提高了运行 Search 和 JSON 的可实现吞吐量。

程序员高级码农的博客 1371

【180609】剑侠情缘_整套源码+地图编辑器(单机学习例子)

剑侠情缘_整套源码+地图编辑编(单机学习例子)完整源码下载地址:点击下载备用下载地址:点击下载

资源小站 6281

基于淘宝商城用户购物行为数据分析系统

本文使用HIve+superset技术对阿里云天池提供的淘宝用户购物数据进行处理分析,得到有价值的信息并对平台提出有建设性意义的意见。

m0_51388399的博客 2822

RedisJson发布官方性能报告,性能碾压ES和Mongo

一、概述 近期官网给出了RedisJson(RedisSearch)的性能测试报告,可谓碾压其他NoSQL,下面是核心的报告内容,先上结论: 对于隔离写入(isolated writes),RedisJSON 比 MongoDB 快 5.4 倍,比 ElasticSearch 快 200 倍以上。 对于隔离读取(isolated reads),RedisJSON 比 MongoDB 快 12.7 倍,比 ElasticSearch 快 500 倍以上。 在混合工作负载场景中,实时更新不会影响 Redis

xiangzhihong8的专栏 6291

Matlab基于PSO-MVMD粒子群算法优化多元变分模态分解

Matlab基于PSO-MVMD粒子群算法优化多元变分模态分解

机器学习之心的博客,关注并私信文章链接,获取对应文章源码和数据。 518

RedisJson横空出世,性能碾压ES和Mongo_json redis 物联网(1)

2.1 加载优化接下来的两个图显示了运行纽约市出租车基准测试的运行结果从这些图表中可以看出,每一个reresearch的新版本都有一个实质性的性能改进。2.2 全文搜索优化为了评估搜索性能,我们索引了590万篇维基百科摘要。然后我们运行一个全文搜索查询面板,得到的结果如下图所示。从上面的图可以看出,通过从v2.0迁移到v2.2,同样的数据,在写、读、搜索(延迟图)方面都有了大幅度的改进,从而提高了运行Search和JSON的可实现吞吐量。

2401_87556928的博客 978

麒麟操作系统安装教程(保姆级)

本文介绍了如何在VM中安装麒麟操作系统,文章详细的介绍了麒麟操作系统按钻过步骤。

啊渊的专栏 1万+

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

RedisJson 横空出世,性能碾压ES和Mongo!

点击关注#互联网架构师公众号,领取架构师全套资料 都在这里0、2T架构师学习资料干货分享上一篇:求求你以后别再乱用@Validated 和 @Valid 了,要不然把你同事都的搞疯!!大家好,我是互联网架构师一、概述近期官网给出了RedisJson(RedisSearch)的性能测试报告,可谓碾压其他NoSQL,下面是核心的报告内容,先上结论:对于隔离写入(isolate...

emprere的博客 934

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

RedisJson 横空出世,性能碾压 ES 和 Mongo!

点击关注公众号,回复“1024”获取2TB学习资源!一、概述近期官网给出了RedisJson(RedisSearch)的性能测试报告,可谓碾压其他NoSQL,下面是核心的报告内容,先上结论...

民工哥的博客 1076

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

RedisJson横空出世,性能碾压ES和Mongo_json redis 物联网

对于隔离写入(isolated writes),RedisJSON 比 MongoDB 快 5.4 倍,比 ElasticSearch 快 200 倍以上。对于隔离读取(isolated reads),RedisJSON 比 MongoDB 快 12.7 倍,比 ElasticSearch 快 500 倍以上。在混合工作负载场景中,实时更新不会影响 RedisJSON 的搜索和读取性能,而 ElasticSearch 会受到影响。

2401_87556928的博客 778

RedisJson 横空出世,性能碾压ElasticSearch 和Mongo!

点击关注下方公众号,架构师全套资料 都在这里0、2T架构师学习资料干货分享译者:xiangzhihong来源:http://33h.co/ka0gk上一篇:字节跳动加速收缩:撤销人才发展中...

emprere的博客 550

RedisJson 横空出世,性能碾压 ES 和 MongoDB!!

点击关注公众号,Java干货及时送达Apache Log4j2 漏洞最新进展及解决方案:《Log4j 2.3.1 发布!又是什么鬼??》近期官网给出了RedisJson(RedisSear...

Java技术栈,分享最主流的Java技术 688

RedisJson 横空出世,性能碾压 ES 和 MongoDB

一、概述近期官网给出了RedisJson(RedisSearch)的性能测试报告,可谓碾压其他NoSQL,下面是核心的报告内容,先上结论:对于隔离写入(isolated writes),RedisJSON 比 MongoDB 快 5.4 倍,比 ElasticSearch 快 200 倍以上。对于隔离读取(isolated reads),RedisJSON 比 MongoDB 快 12.7 倍,比 ElasticSearch 快 500 倍以上。在混合工作负载场景中,实时更新不会影响 RedisJSON 的

知识分享官 310
上一篇: 被问懵了,加密后的数据如何进行模糊查询?
下一篇: 微服务架构中的10个最重要的设计模式
公众号-芋道源码
博客等级 码龄10年 1640粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值