最近搞了个毫秒级返回百亿数据!我都做了啥!

台风过境百亿晶圆厂:纳米级精密制造与自然力量的极限对抗(鉴于最近台风多) 《台风天,百亿晶圆厂的生死72小时》摘要: 当普通人因台风停工放假时,晶圆厂正面临纳米级精密制造与宏观自然力的终极对抗。毫秒级电压闪断可致整盒晶圆报废,10帕气压波动会击穿洁净室防线,屋顶一滴渗漏可能毁掉千万设备。更致命的是隐蔽风险:原水泥沙堵塞超纯水系统、危化品断供引发产线锁死、复机需耗时7天重建纳米级稳态。这场价值百亿的极限考验,揭示了半导体制造鲜为人知的脆弱性——最先进的工业体系,仍在与最原始的自然力量进行跨数量级博弈。 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:码海

7dd200c90c6cad5c9ba2af5ce819cc03.jpeg


近年来公司业务迅猛发展,数据量爆炸式增长,随之而来的的是海量数据查询等带来的挑战,我们需要数据量在十亿,甚至百亿级别的规模时依然能以秒级甚至毫秒级的速度返回,这样的话显然离不开搜索引擎的帮助,在搜索引擎中,ES(ElasticSearch)毫无疑问是其中的佼佼者,连续多年在 DBRanking 的搜索引擎中评测中排名第一,也是绝大多数大公司的首选,那么它与传统的 DB 如 MySQL 相比有啥优势呢,ES 的数据又是如何生成的,数据达到 PB 时又是如何保证 ES 索引数据的实时性以更好地满足业务的需求的呢。

本文会结合我司在 ES 上的实践经验与大家谈谈如何构建准实时索引的一些思路,希望对大家有所启发。

MySQL 的不足

MySQL 架构天生不适合海量数据查询,它只适合海量数据存储,但无法应对海量数据下各种复杂条件的查询,有人说加索引不是可以避免全表扫描,提升查询速度吗,为啥说它不适合海量数据查询呢,有两个原因:

1、加索引确实可以提升查询速度,但在 MySQL 中加多个索引最终在执行 SQL 的时候它只会选择成本最低的那个索引,如果没有索引满足搜索条件,就会触发全表扫描,而且即便你使用了组合索引,也要符合最左前缀原则才能命中索引,但在海量数据多种查询条件下很有可能不符合最左前缀原则而导致索引失效,而且我们知道存储都是需要成本的,如果你针对每一种情况都加索引,以 innoDB 为例,每加一个索引,就会创建一颗 B+ 树,如果是海量数据,将会增加很大的存储成本,之前就有人反馈说他们公司的某个表实际内容的大小才 10G, 而索引大小却有 30G!这是多么巨大的成本!所以千万不要觉得索引建得越多越好。

2、有些查询条件是 MySQL 加索引都解决不了的,比如我要查询商品中所有 title 带有「格力空调」的关键词,如果你用 MySQL 写,会写出如下代码

SELECT * FROM product WHERE title like '%格力空调%'

这样的话无法命中任何索引,会触发全表扫描,而且你不能指望所有人都能输对他想要的商品,是人就会犯错误,我们经常会犯类似把「格力空调」记成「格空间」的错误,那么 SQL 语句就会变成:

SELECT * FROM product WHERE title like '%格空调%'

这种情况下就算你触发了全表扫描也无法查询到任何商品,综上所述,MySQL 的查询确实能力有限。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

ES 简介

与其说上面列的这些点是 MySQL 的不足,倒不如说 MySQL 本身就不是为海量数据查询而设计的,术业有专攻,海量数据查询还得用专门的搜索引擎,这其中 ES 是其中当之无愧的王者,它是基于 Lucene 引擎构建的开源分布式搜索分析引擎,可以提供针对 PB 数据的近实时查询,广泛用在全文检索、日志分析、监控分析等场景。

它主要有以下三个特点:

  • 轻松支持各种复杂的查询条件: 它是分布式实时文件存储,会把每一个字段 都编入索引(倒排索引),利用高效的倒排索引,以及自定义打分、排序能力与丰富的分词插件等,能实现任意复杂查询条件下的全文检索需求

  • 可扩展性强:天然支持分布式存储,通过极其简单的配置实现几百上千台服务器的分布式横向扩容,轻松处理 PB 级别的结构化或非结构化数据。

  • 高可用,容灾性能好:通过使用主备节点,以及故障的自动探测与恢复,有力地保障了高可用

我们先用与 MySQL 类比的形式来理解 ES 的一些重要概念

fecda1793a0516ce32b3c68dcb5406e6.jpeg

通过类比的形式不难看出 ES 的以下几个概念1、 MySQL 的数据库(DataBase)相当于 Index(索引),数据的逻辑集合,ES 的工作主要也是创建索引,查询索引。2、 一个数据库里会有多个表,同样的一个 Index 也会有多个 type3、 一个表会有多行(Row),同样的一个 Type 也会有多个 Document。4、 Schema 指定表名,表字段,是否建立索引等,同样的 Mapping 也指定了 Type 字段的处理规则,即索引如何建立,是否分词,分词规则等5、 在 MySQL 中索引是需要手动创建的,而在 ES 一切字段皆可被索引,只要在 Mapping 在指定即可

那么 ES 中的索引为何如此高效,能在海量数据下达到秒级的效果呢?它采用了多种优化手段,最主要的原因是它采用了一种叫做倒排索引 的方式来生成索引,避免了全文档扫描,那么什么是倒排索引呢,通过文档来查找关键词等数据的我们称为正排索引,返之,通过关键词来查找文档的形式我们称之为倒排索引,假设有以下三个文档(Document)

17153606036a98ae51b01c359c4ed214.jpeg

要在其中找到含有 comming 的文档,如果要正排索引,那么要把每个文档的内容拿出来查找是否有此单词,毫无疑问这样的话会导致全表扫描,那么用倒排索引会怎么查找呢,它首先会将每个文档内容进行分词,小写化等,然后建立每个分词与包含有此分词的文档之前的映射关系,如果有多个文档包含此分词,那么就会按重要程度即文档的权重(通常是用 TF-IDF 给文档打分)将文档进行排序,于是我们可以得到如下关系

df48f87f7f110ec1503c7ae265fc38cf.jpeg

这样的话我们我要查找所有带有 comming 的文档,就只需查一次,而且这种情况下查询多个单词性能也是很好的,只要查询多个条件对应的文档列表,再取交集即可,极大地提升了查询效率。

画外音 :这里简化了一些流程,实际上还要先根据单词表来定位单词等,不过这些流程都很快,可以忽略,有兴趣的读者可以查阅相关资料了解。

除了倒排索引外,ES 的分布式架构也天然适合海量数据查询,来看下 ES 的架构

4bd51612a29ce1aa234b6050b643d86c.jpeg

一个 ES 集群由多个 node 节点组成,每个 index 是以分片(Shard,index 子集)的数据存在于多个 node 节点上的,这样的话当一个查询请求进来,分别在各个 node 查询相应的结果并整合后即可,将查询压力分散到多个节点,避免了单个节点 CPU,磁盘,内存等处理能力的不足。

另外当新节点加入后,会自动 迁移部分分片至新节点,实现负载均衡,这个功能是 ES 自动 完成的,对比一个下 MySQL 的分库分表需要开发人员引入 Mycat 等中间件并指定分库分表规则等繁琐的流程是不是一个巨大的进步?这也就意味着 ES 有非常强大的水平扩展的能力,集群可轻松扩展致几百上千个节点,轻松支持 PB 级的数据查询。

当然 ES 的强大不止于此,它还采用了比如主备分片提升搜索吞率,使用节点故障探测,Raft 选主机制等提升了容灾能力等等,这些不是本文重点,读者可自行查阅,总之经过上面的简单总结大家只需要明白一点:ES 的分布式架构设计天生支持海量数据查询 。

那么 ES 的索引数据(index)如何生成的呢,接下来我们一起来看看本文的重点

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

如何构建 ES 索引

要构建 ES 索引数据,首先得有数据源,一般我们会使用 MySQL 作为数据源,你可以直接从 MySQL 中取数据然后再写入 ES,但这种方式由于直接调用了线上的数据库查询,可能会对线上业务造成影响,比如考虑这样的一个场景:

在电商 APP 里用的最多的业务场景想必是用户输入关键词来查询相对应的商品了,那么商品会有哪些信息呢,一个商品会有多个 sku(sku 即同一个商品下不同规格的品类,比如苹果手机有 iPhone 6, iPhone 6s等),会有其基本属性如价格,标题等,商品会有分类(居家,服饰等),品牌,库存等,为了保证表设计的合理性,我们会设计几张表来存储这些属性,假设有 product_sku(sku 表), product_property(基本属性表),sku_stock(库存表),product_category(分类表)这几张表,那么为了在商品展示列表中展示所有这些信息,就必须把这些表进行 join,然后再写入 ES,这样查询的时候就会在 ES 中获取所有的商品信息了。

62f94f23096adac5ea2e4e00a25c3b3e.jpeg

这种方案由于直接在 MySQL 中执行 join 操作,在商品达到千万级时会对线上的 DB 服务产生极大的性能影响,所以显然不可行,那该怎么生成中间表呢,既然直接在 MySQL 中操作不可行,能否把 MySQL 中的数据同步到另一个地方再做生成中间表的操作呢,也就是加一个中间层进行处理,这样就避免了对线上 DB 的直接操作,说到这相信大家又会对计算机界的名言有进一步的体会:没有什么是加一个中间层不能解决的,如果有,那就再加一层。

这个中间层就是 hive

什么是 hive

hive 是基于 Hadoop 的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据 的机制,它的意义就是把好写的 hive 的 sql 转换为复杂难写的 map-reduce 程序(map-reduce 是专门用于用于大规模数据集(大于1TB)的并行运算编程模型),也就是说如果数据量大 的话通过把 MySQL 的数据同步到 hive,再由 hive 来生成上述的 product_tmp 中间表,能极大的提升性能。hive 生成临时表存储在 hbase(一个分布式的、面向列的开源数据库) 中,生成后会定时触发 dump task 调用索引程序,然后索引程序主要从 hbase 中读入全量数据,进行业务数据处理,并刷新到 es 索引中,整个流程如下

44497dbd92a8a02b102715a3e1863e10.jpeg

这样构建索引看似很美好,但我们需要知道的是首先 hive 执行 join 任务是非常耗时的,在我们的生产场景上,由于数据量高达几千万,执行 join 任务通常需要几十分钟,从执行 join 任务到最终更新至 ES 整个流程常常需要至少半小时以上,如果这期间商品的价格,库存,上线状态(如被下架)等重要字段发生了变更,索引是无法更新的,这样会对用户体验产生极大影响,优化前我们经常会看到通过 ES 搜索出的中有状态是上线但实际是下架的产品,严重影响用户体验,那么怎么解决呢,有一种可行的方案:建立宽表

既然我们发现 hive join 是性能的主要瓶颈,那么能否规避掉这个流程呢,能否在 MySQL 中将 product_sku,product_property,sku_stock 等表组合成一个大表(我们称其为宽表)

61562bd3c3d2e338a5f9d79384304f9a.jpeg

这样在每一行中商品涉及到的的数据都有了,所以将 MySQL 同步到 hive 后,hive 就不需要再执行耗时的 join 操作了,极大的提升了整体的处理时间,从 hive 同步 MySQL 再到 dump 到 ES 索引中从原来的半小时以上降低到了几分钟以内,看起来确实不错,但几分钟的索引延迟依然是无法接受的。

为什么 hive 无法做到实时导入索引

因为 hive 构建在基于静态批处理的Hadoop 之上,Hadoop 通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此,hive 并不能够在大规模数据集上实现低延迟快速的查询等操作,再且千万级别的数据全量从索引程序导入到 ES 集群至少也是分钟级。

另外引入了宽表,它的维护也成了一个新问题,设想 sku 库存变了,产品下架了,价格调整了,那么除了修改原表(sku_stock,product_categry 等表)记录之外,还要将所有原表变更到的记录对应到宽表中的所有记录也都更新一遍,这对代码的维护是个噩梦,因为你需要在所有商品相关的表变更的地方紧接着着变更宽表的逻辑,与宽表的变更逻辑变更紧藕合!

PB 级的 ES 准实时索引构建之道

该如何解决呢?仔细观察上面两个问题,其实都是同一个问题,如果我们能实时监听到 db 的字段变更,再将变更的内容实时同步到 ES 和宽表中不就解决了我们的问题了。

怎么才能实时监听到表字段的变更呢?

答案:binlog

来一起复习下 MySQL 的主从同步原理

8c542a146ed1afc3649751c1da20b092.jpeg
  1. MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events,可以通过 show binlog events 进行查看)

  2. MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)

  3. MySQL slave 重放 relay log 中事件,将数据变更反映它自己的数据

可以看到主从复制的原理关键是 Master 和 Slave 遵循了一套协议才能实时监听 binlog 日志来更新  slave 的表数据,那我们能不能也开发一个遵循这套协议的组件,当组件作为 Slave 来获取 binlog 日志进而实时监听表字段变更呢?阿里的开源项目 Canal 就是这个干的,它的工作原理如下:

  • canal 模拟 MySQL slave 的交互协议,伪装自己为 MySQL slave ,向 MySQL master 发送dump 协议

  • MySQL master 收到 dump 请求,开始推送 binary log 给 slave (即 canal )

  • canal 解析 binary log 对象(原始为 byte 流)

ab65d66fe4b9725f2c809be0ad3fd61b.jpeg

这样的话通过 canal 就能获取 binlog 日志了,当然 canal 只是获取接收了 master 过来的 binlog,还要对 binlog 进行解析过滤处理等,另外如果我们只对某些表的字段感兴趣,该如何配置,获取到 binlog 后要传给谁? 这些都需要一个统一的管理组件,阿里的 otter 就是干这件事的。

什么是 otter

Otter 是由阿里提供的基于数据库增量日志解析,准实时同步到本机房或异地机房 MySQL 数据库的一个分布式数据库同步系统,它的整体架构如下:

b470503cfd00fe02b657f628b94046ac.jpeg

注:以上是我司根据 otter 改造后的业务架构,与原版 otter 稍有不同,不过大同小异

主要工作流程如下

  1. 在 Manager 配置好 zk,要监听的表 ,负责监听表的节点,然后将配置同步到 Nodes 中

  2. node 启动后则其 canal 会监听 binlog,然后经过 S(select),E(extract),T(transform),L(load) 四个阶段后数据发送到 MQ

  3. 然后业务就可以订阅 MQ 消息来做相关的逻辑处理了

画外音:zookeeper 主要协调节点间的工作,如在跨机房数据同步时,可能要从 A 机房的节点将数据同步到 B 机房的节点,要用 zookeeper 来协调,

大家应该注意到了node 中有 S,E,T,L 四个阶段,它们的主要作用如下

1ab874a4264064d2b437eb3fc466d20f.jpeg
  • Select 阶段: 为解决数据来源的差异性,比如接入 canal 获取增量数据,也可以接入其他系统获取其他数据等。

  • Extract阶段: 组装数据,针对多种数据来源,mysql,oracle,store,file等,进行数据组装和过滤。

  • Transform 阶段: 数据提取转换过程,把数据转换成目标数据源要求的类型

  • Load 阶段: 数据载入,把数据载入到目标端,如写入迁移后的数据库, MQ,ES 等

以上这套基于阿里 otter 改造后的数据服务我们将它称为 DTS(Data Transfer Service),即数据传输服务。

搭建这套服务后我们就可以通过订阅 MQ 来实时写入 ES 让索引实时更新了,而且也可以通过订阅 MQ 来实现宽表字段的更新,解决了上文中所说的宽表字段更新与原表紧藕合的问题,基于 DTS 服务的索引改进架构如下:

e24c458786e1451eca2aec8b07a53d3e.jpeg

注意:「build 数据 」这一模块对实时索引更新是透明的,这个模块主要用在更新或插入 MySQL 宽表,因为对于宽表来说,它是几个表数据的并集,所以并不是监听到哪个字段变更就更新哪个,它要把所有商品涉及到的所有表数据拉回来再更新到宽表中。

于是,通过 MySQL 宽表全量更新+基于 DTS 的实时索引更新我们很好地解决了索引延迟的问题,能达到秒级的 ES 索引更新!

这里有几个问题可能大家比较关心,我简单列一下

需要订阅哪些字段

对于 MySQL 宽表来说由于它要保存商品的完整信息,所以它需要订阅所有字段,但是对于红框中的实时索引更新而言,它只需要订阅库存,价格等字段,因为这些字段如果不及时更新,会对销量产生极大的影响,所以我们实时索引只关注这些敏感字段即可。

有了实时索引更新,还需要全量索引更新吗

需要 ,主要有两个原因:

  • 实时更新依赖消息机制,无法百分百保证数据完整性,需要全量更新来支持,这种情况很少,而且消息积压等会有告警,所以我们一天只会执行一次全量索引更新

  • 索引集群异常或崩溃后能快速重建索引

全量索引更新的数据会覆盖实时索引吗

会,设想这样一种场景,你在某一时刻触发了实时索引,然后此时全量索引还在执行中,还未执行到实时索引更新的那条记录,这样在的话当全量索引执行完之后就会把之前实时索引更新的数据给覆盖掉,针对这种情况一种可行的处理方式是如果全量索引是在构建中,实时索引更新消息可以延迟处理,等全量更新结束后再消费。也正因为这个原因,全量索引我们一般会在凌晨执行,由于是业务低峰期,最大可能规避了此类问题。

总结

本文简单总结了我司在 PB 级数据下构建实时 ES 索引的一些思路,希望对大家有所帮助,文章只是简单提到了 ES,canal,otter 等阿里中间件的应用,但未对这些中间件的详细配置,原理等未作过多介绍,这些中间件的设计非常值得我们好好研究下,比如 ES 为了提高搜索效率、优化存储空间做了很多工作,再比如 canal 如何做高可用,otter 实现异地跨机房同步的原理等,建议感兴趣的读者可以之后好好研究一番,相信你会受益匪浅。

巨人的肩膀

  • Elasticsearch简介及与MySQL查询原理对比:https://www.jianshu.com/p/116cdf5836f2

  • https://www.cnblogs.com/zhjh256/p/9261725.html

  • otter安装之otter-node安装(单机多节点安装):https://blog.youkuaiyun.com/u014642915/article/details/96500957

  • MySQL和Lucene索引对比分析: https://developer.aliyun.com/article/50481

  • 10 分钟快速入门海量数据搜索分析引擎 Elasticearch: https://www.modb.pro/db/29806

  • ElasticSearch和Mysql查询原理分析与对比:https://www.pianshen.com/article/4254917942/

  • 带你走进神一样的Elasticsearch索引机制:https://zhuanlan.zhihu.com/p/137574234



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

d35b5dc2044178b7d8fbe1c51cbd8d22.png

已在知识星球更新源码解析如下:

7a421791a78c2cf971342bc0365c3c58.jpeg

36ecc7a0d07dd4cf23e2a55c10f05136.jpeg

c29211da74e37e8caa6442631228d81c.jpeg

7c0e507ee5fdbcb977af6ee3fef5c214.jpeg

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
百亿规模京东实时浏览记录系统的设计与实现 | 京东云技术团队 浏览记录系统主要用来记录京东用户的实时浏览记录,并提供实时查询浏览数据的功能。在线用户访问一次商品详情页,浏览记录系统就会记录用户的一条浏览数据,并针对该浏览数据进行商品维度去重等一系列处理并存储。然后用户可以通过我的京东或其他入口查询用户的实时浏览商品记录,实时性可以达到毫秒级。目前本系统可以为京东每个用户提供最近200条的浏览记录查询展示。 阅读详情

相关推荐

WRF后处理:python cartopy绘制土地利用/土地分类图//python绘制WRF下垫面类型(以北极为例)

下垫面类型对于WRF的地表过程十分重要,而在我们研究WRF的地表过程之前,需要对输入的土地利用类型进行一些绘制,以便后续的修改。LU_MODIS21函数定义了绘制的土地类型、标签与对应色标,我们使用时,直接引用LU_MODIS21()即可返回。其实很简单,只要将你拥有的土地类型数据提取出来,将原本函数中的labels和C切片,重新定义色标再绘制即可。在这里,我将以北极地区为例,绘制北极地区的WRF下垫面数据,我使用的MODIS21这类。

weixin_43750300的博客 3862

电商系统设计之商品 (上)

电商大伙每天都在用,类似某猫,某狗等。电商系统设计看似复杂又很简单,看似简单又很复杂本章适合初级工程师及中级工程师细看,大佬请随意 前言 商品的设计是电商系统中占据重要地位,如何设计出高扩展,高性能的商品系统并非一件简单的事情,我的设计是观摩互联网各大佬的设计后自行研究的,并非完全正确,但也不完全错误,现在我设计的这套电商系统已经在使用...

weixin_34062469的博客 502

20231126-超详细Isaac Gym安装教程(基于双系统版本)

我一开始使用了WSL2虚拟环境试了集群服务器里面的交互式桌面,但是都失败了,WSL2因为没办法调用系统的GPU,应该有办法配置但我放弃了,感兴趣的可以自己探索(图片贴出来了)。服务器上出现的问题是Segmentation fault (core dumped),目前还没解决,有可能是驱动和cuda版本的问题(后面有时间再解决)等上图右边都达到了100%,就创建了一个名为rlgpu的conda环境,然后会出现success。注意安装版本要低于3.9!参考链接:非常详细,大家直接看这个博主的安装就行。

m0_37802038的博客 2万+

Destoon源数据库配置文件在哪_百亿级图谱的毫秒级查询:贝壳分布式图数据库选型与实践...

你想知道百亿级图谱如何实现毫秒级查询吗?社区众多的图数据库中如何才能挑选到一款适合实际应用场景的图数据库呢?贝壳找房的行业图谱480亿量级的三元组究竟是如何存储的呢?本文分享的主题《分布式图数据库在贝壳找房的应用实践》将带你探索上述问题并从中得到解答,共分为以下五大块内容:图数据库简介图数据库技术选型图数据库平台建设原理&优化&不足未来规划一、图数据库简介先来看一个问题:...

weixin_39930711的博客 365

契约锁代码审计分析

但是正常来讲,定义了这么多的路由,肯定会有一个通用的判断逻辑,来判断请求的url是否和这些路由匹配。POC中有一点值得注意,Spring新一些的版本中支持以表单的形式来为参数赋值,且无需用注解。但是需要注意4.2.8的代码逻辑和新版本中的不同,此漏洞可能存在于版本大于4.2.8的版本中。方法用于解析LICENSE,先进行AES解密,再从字符串转换成json格式的License。loadPath实际判断传入的path是否和下面的path相等,如果不相等返回null。,如果包含这三个中的一个就会抛出异常。

好记性不如烂笔头 5760

Spirent TestCenter 3.90吞吐测试全流程详解(附RFC 2544配置避坑指南)

本文详细解析了使用Spirent TestCenter 3.90进行网络吞吐测试的全流程,并提供了符合RFC 2544标准的配置指南与避坑要点。内容涵盖测试环境搭建、核心概念澄清、STC软件配置步骤、结果深度解读以及自动化脚本入门,旨在帮助网络测试工程师精准评估设备性能,规避常见配置陷阱。

weixin_42602368的博客 371

StarRocks索引技术终极指南:从毫秒响应到百亿数据的高效查询

StarRocks是一个开源的分布式数据分析引擎,专注于处理大规模数据查询和分析,凭借其高性能、可扩展性和易用性,成为数据仓库领域的理想选择。本文将深入探讨StarRocks的索引技术,帮助你理解如何利用这些强大功能实现从毫秒响应到百亿数据的高效查询。 ## 一、StarRocks架构与索引技术基础 🚀 StarRocks采用分布式架构,由前端节点(FE)和计算节点(CN)组成,这种架构为高

gitblog_00600的博客 415

KLayout教程(二)编辑不同的形状

首先画一个基础的矩形,然后双击他可以定义他的坐标

集成光电子 1万+

Redis 大数据量(百亿级)Key存储需求及解决方案

点击上方蓝色“终端研发部”,选择“设为星标” 学最好的别人,做最好的我们 最近我在思考实时数仓问题的时候,想到了巨量的redis的存储的问题,然后翻阅到这篇文章,与各位分享一 需求背景该应...

这个时代,作为程序员可能要学习小程序 1287

《AI大模型评测与智能测试》

第三篇“实践蓝图”(第6-7章)着眼于测试领域AI应用,重点介绍了RAG、AI Agent开发及构建端到端智能测试系统的方法。本书聚焦AI时代的“质量”核心,以“AI赋能测试”(AI For Testing)与“AI模型评测”(Testing For AI)为双轮驱动。内容不仅深入剖析如何科学度量AI大模型的内在质量,还系统讲解如何利用AI赋能传统软件测试,帮助读者贯通从模型原理、评测到应用开发的全链路知识。

酌沧 1146

大数据学习指南从入门到精通

利用框架的力量,看懂游戏规则,才是入行的前提大多数人不懂,不会,不做,才是你的机会,你得行动,不能畏首畏尾选择才是拉差距关键,风向,比你流的汗水重要一万倍,逆风划船要累死人的为什么选择学习大数据开发,不选择Java开发?借棋弈做比喻,智商高的不要选择五子琪,要选择围棋,它能长久地吸引你。不都是在棋盘上一颗黑子一颗白子地下吗?因为围棋更复杂,能够掌握如此复杂的技艺、产生稳定输出的棋手、让我们更佩服。选择学习大数据开发也如此,能让你的职业生涯走得更远,少走弯路。

Lansonli(蓝深李)的博客 2万+

从百亿向量到毫秒级响应:FAISS生态系统全工具链实战指南

FAISS(Facebook AI Similarity Search)是一个由Facebook AI研究院开发的高效稠密向量相似度搜索与聚类库,能够在海量向量数据中实现毫秒级的检索响应。无论是处理百万级还是百亿级向量,FAISS都能提供高性能的解决方案,广泛应用于推荐系统、图像检索、自然语言处理等人工智能领域。 ## 🌟 FAISS核心功能解析 FAISS的核心优势在于其多样化的索引结构和

gitblog_00304的博客 430

自动化Google Chrome的强大工具:chromedriver下载、安装、简单使用

本文介绍了 ChromeDriver 的基本概念和安装配置方法,重点讲解了如何通过 Selenium 实现 Chrome 浏览器的自动化测试。内容涵盖了 ChromeDriver 下载、版本匹配、依赖引入和简单的自动化测试脚本示例,帮助读者快速上手并避免常见问题。

曾经“等你生日那天”都遥远得像未来,如今却可欢愉的挥手说“下个十年见” 88万+

突破百亿日志查询瓶颈:Loki 2025性能优化实战指南

你是否正面临日志查询延迟飙升、存储成本失控的困境?当系统日均日志量突破千万级,传统日志系统往往陷入"查得慢、存不起"的恶性循环。本文将从标签设计、查询优化、存储策略三大维度,详解Loki如何通过标签索引分离、压缩算法优化、查询路径隔离等技术,实现每秒GB级日志的毫秒级检索,帮助运维团队将查询效率提升10倍以上,同时降低60%存储成本。 ## 标签优化:日志检索的"导航系统" Loki的核心优势

gitblog_00132的博客 671

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

分布式图数据库在贝壳的应用实践

导读:你想知道百亿级图谱如何实现毫秒级查询吗?社区众多的图数据库中如何才能挑选到一款适合实际应用场景的图数据库呢?贝壳找房的行业图谱480亿量级的三元组究竟是如何存储的呢?本文将带你探索...

架构师小秘圈 1203

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

百亿规模京东实时浏览记录系统的设计与实现

获取到用户完整的浏览记录列表后,在过滤掉用户已经删除的浏览记录,然后count列表的长度,并与系统设置的用户最大浏览记录数量做比较取最小值,就是该用户的浏览记录总数量,获取到用户浏览记录总数量后可以根据缓存开关来判断是否需要异步写入用户总数量缓存。第二,京东每天都会有很多的秒杀活动,比如茅台抢购,预约用户可达上百万,在同一秒钟就会有上百万的用户刷新商详页面,这样就会产生流量洪峰,如果全部实时写入,会对我们的实时存储造成很大的压力,并且影响前台查询接口的性能。

IT枫斗者的博客 1379

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

实战千亿数据6毫秒的架构是如何随手就炼成的

肉眼品世界导读:小编最近很忙,加班不亦乐乎,一两句能说清楚的就尽可能快的说清楚;前面已经讲过一次《一例万级写入并发,百亿级数据,毫秒级返回架构分享》的实战例子,现在系统运行一段时间,一...

weixin_45727359的博客 934

从零构建百亿向量索引系统:一线大厂实战经验全公开

掌握高效构建大规模向量检索的索引方法,揭秘一线大厂百亿级系统实战经验。涵盖HNSW、PQ量化等核心算法,适用于推荐、搜索、多模态等场景,实现毫秒级精准检索。架构设计与性能优化全解析,值得收藏。

IterStream的博客 577

(百亿级)Redis 如何存储海量的人口标签数据

最近我在思考实时数仓问题的时候,想到了巨量的redis的存储的问题,然后翻阅到这篇文章,与各位分享一 需求背景 该应用场景为DMP缓存存储需求,DMP需要管理非常多的第三方id数据,其中包...

独行侠梦的博客 730

从百亿向量到毫秒响应:Faiss企业级应用的5大核心场景与实现方案

Faiss是Meta开发的高效向量相似性搜索与聚类库,支持百亿级向量的快速检索,核心优势在于将高维向量搜索时间从秒级压缩至毫秒级。本文将深入解析其五大企业级应用场景及实现方案,帮助技术团队快速掌握这一向量检索利器。 ## 🔥 核心场景一:大规模推荐系统的实时召回 在电商平台的"猜你喜欢"功能中,Faiss可将用户行为向量与商品特征向量进行实时匹配。通过`IndexIVFPQ`索引结构,能在百

gitblog_01064的博客 489

百亿级查询系统架构设计:分层解耦与低延迟优化实战

在数据驱动的业务决策中,高并发、低延迟的查询系统是支撑实时分析的关键基础设施。其核心原理在于通过分层架构与查询路由机制,将不同类型的查询请求智能分发至最合适的计算引擎,从而在资源成本可控的前提下实现性能最优。从技术价值看,这种设计能有效应对海量随机查询带来的挑战,避免单一数据库瓶颈,提升系统整体可用性与扩展性。在实际应用场景中,常见方案包括为点查配置KV缓存、为固定报表设计预聚合存储层,以及为复杂Ad-hoc查询启用分布式计算引擎。本文聚焦于**每日百亿次**查询量级下的**低延迟**实践,深入探讨了如何通

weixin_30372371的博客 637

【项目深入】一、如何生成百亿短链

短链是将一个较长的原始 URL,通过编码、随机生成等方式转换成一个简短、唯一的字符串。系统在数据库中保存 短码 与 原始 URL 的映射关系。当用户访问短链时,服务端根据短码查询原始 URL,并返回 HTTP 302 重定向 响应。为提升性能,可使用 Redis、本地内存缓存 缓存热门映射,并借助 CDN 边缘节点(配合边缘计算)实现全球低延迟跳转。

qq_43479628的博客 329

百亿级日访问量的应用如何做缓存架构设计?

任何一个 ID 过来先找到它所在的 Table,如果有直接对它增增减减,有新的计数过来,发现内存不够的时候,就会把一个小的 Table Dump((内存信息)转储,转存 ) 到 SSD 里去,留着新的位置放在最上面供新的 ID 来使用。**小结一下:**到目前为止,我们关注了 Cache 集群内的高可用、扩展性、组件高性能,还有一个特别重要就是存储成本,还有一些我们没有关注到的,比如运维性如何,微博现在已经有几千差不多上万台服务器等。如果某一个哈希 X3,它的位算出来是 0,那就百分百肯定是不存在的。

2401_85111836的博客 647
上一篇: Linux的TCP连接数量最大不能超过65535?那服务器是如何应对百万千万的并发的?...
下一篇: 九种分布式ID解决方案,总有一款适合你!
公众号-芋道源码
博客等级 码龄10年 1640粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值