E往无前 | 人人在用的微信支付,腾讯云大数据ES如何让它低成本高可用?

微信支付本地调试 阅读详情

31f26c32ffa1dd6f61a12e19f1964cc5.gif

《E往无前》系列将着重展现腾讯云ES在持续深入优化客户所关心的「省!快!稳!」诉求,能够在低成本的同时兼顾高可用、高性能、高稳定等特性,可以满足微盟、小红书、微信支付等内外部大客户的核心场景需求。

E往无前 |  人人在用的微信支付,腾讯云大数据ES如何让它低成本高可用?

导语:微信支付是国家重要的关键信息基础设施,服务于几千万商户和上亿国民,可用性要求高于5个9。本案例重点介绍了ES在微信支付服务中满足金融账单数据需求的同时,如何进一步降低成本,提高可用性。

Elasticsearch(下文简称为ES)经常用来保存大量带有时间属性的数据,例如:系统监控数据,股票交易数据,用户账单。可以利用ES丰富的组合查询,统计功能来分析这些数据。这类数据除了都有时间字段之外,还各有自身的特点。例如:股票交易数据产生后不会被修改,监控数据除了不会修改之外,还可以通过只保留统计值(降低老数据的精度)来降低存储成本。它们的不可修改性、可降低精度特点都是系统优化的入口。而用户账单既要全量保存(不可降精度),又要支持修改,这些功能要求对系统的低成本、高可用性目标带来了挑战。本文主要讨论的对象是可修改的全量账单数据,如何降低它的使用成本和提高它的查询可用性。

1、ES的标准低成本方案是什么

1.1、热温冷架构

当ES中保存带有时间属性的数据时,通常都会考虑热温冷架构,这也是社区推荐的低成本方案。 

c48c137f2c31864ac2cfb8cbae4a6727.png

首先我们需要了解下经典热、温、冷区的定义:

  • 热区: 负责保存最新的数据,承担所有数据入库负载,同时最新的数据被使用的概率也最高,所以也会处理频繁的查询请求。

  • 温区: 当一个Index表的数据增长到一定的容量,或是已经保存了特定一段时间后,会将它转移到温区数据节点,温区数据是只读的,也就是不会处理数据入库和更新的请求。温区中的数据也没有热区里那么新,被查询的频率也会降低。

  • 冷区: 当一个Index表的数据经过一段较长的时间,使用频率变得很低,会将它转移到冷区数据节点,并且针对这些数据做 Freeze 处理(下面会介绍),这时数据以最节省系统资源的状态被保存,还是可以提供查询服务,但是速度比较慢。

我们可以看到,从热区到冷区,数据处理的负载越来越低,数据量越来越大,这是一个降低成本的切入点。那么ES是怎么做的呢?

1.2、利用数据只读降低内存消耗,从而保存更多的数据

热区数据的写入、查询负载最高,其中的数据节点使用高配置硬件,特别配置了ssd,这也是ES通常推荐的高性能配置。而温区不处理数据写入,只服务不多的数据查询,那么温区的主要困难便是如何平稳的管理大容量不热的数据,数据容量越大成本越低。考虑到数据的部分索引是需要加载到内存中,那么温区数据节点的内存和数据量的比例就成为了一个降成本的指标。我们详细分析下内存的使用,ES的堆内存都保存了哪些内容呢?

  • Node query cache 节点查询缓存,默认使用10%的堆内存空间,Node query cache 用来缓存 Term 查询 和 filter 查询,从而加速相同条件的后续查询。

  • Indexing buffer 索引缓冲区,默认使用10%的堆内存空间。Indexing buffer 用于存储最新被索引的数据,当 indexing buffer 被填满后,缓存的数据将被写入磁盘的 segment 中。此内存用来提高数据入库构建索引的性能。

  • Shard request cache 分片请求缓存,默认使用1%的堆内存空间。用来加速 aggregations 和 suggestions 查询。

  • Field data cache 字段数据缓存,正排索引缓存。

  • Segment Memory,将数据的部分索引(如FST)加载到内存中,从而加速查询和数据入库的过程。

根据前面的分析可以得知,温区数据节点挂载更多数据而降成本的关键措施为:

  • 温区数据无写入,这样能够完全去掉写入相关的内存消耗,包括上面提到的 Indexing buffer,

  • 温区数据只有少量读,只需要提供有限的查询服务,这样能够降低、甚至去掉上述各种查询缓存。

经过上面的分析,温区数据只需要留下直接与数据量相关的 Segment Memory。这样温区数据节点就能够保存更多的数据。换句话说,当温区数据节点使用与热区数据节点相同cpu/mem配置时可以挂载更多的数据,从此应用需求出发,可以得知温区数据节点通常使用高容量,较低性能的sata机械盘,降低温数据的保存成本。

1.3、接受更长的查询时间来进一步降低内存消耗,从而挂载更多的数据

通过前面的分析,我们了解到温区数据的主要内存消耗是 Segment Memory,它与节点上保存的数据量正相关。能否进一步减少它的使用量呢?一个可能的解决方案是关闭索引。如果我们关闭一个索引,就释放了它占用的内存,但需要搜索时又要重新打开它。重新打开索引将带来较长的操作时间,业务是否能够接收呢?另外,此操作也引入管理上的复杂性,还需要及时关闭索引,否则它会继续使用堆内存。社区沿着这个思路做出一个更平滑的节省内存方案,引入了 Freeze Indices 的数据保存方式。当我们冻结一个索引时,它变成只读的,它所占用的内存被释放。反过来,当我们对冻结的索引运行查询时,再零时将数据结构加载到内存中。通过降低查询性能来节省内存,从而挂载更多的数据。

fda73e4cda3f0148f4fd1f3eb5c3b35b.png

ces在这个方向上进行了极致优化,将sata盘进一步替换成对象存储,进一步降低存储成本,同时也优化了性能问题。

2、用户账单需要热+(可修改的)温架构

用户账单有时间属性,但并没有随着时间的流逝降低对用户的服务质量。多年以前的历史账单仍然支持用户做修改,仍然提供分类查询能力,还要保持秒级查询响应。而ES经典热温冷架构假设历史数据是不可修改的,只提供很慢的少量查询能力。如果要将历史账单映射到前面的经典热温冷架构的话,需要做些调整,可以称历史账单为可修改的温数据。一旦温数据可修改,前述的各种数据只读带来节省内存的方案都无法应用。而秒级查询也导致 Segment Memory 无法卸载。看起来我们面对的是一种温度很高的温数据,也许可以叫做暖数据。低成本,高可用的难点就集中在了可修改的温数据上。 

6500e3c0c6193aa7d6581874854e2803.png

3、保障日常高可用,探索低成本

我们需要在达成性能、可用性目标的前提下,讨论低成本。同样规格的1个节点,挂载的数据越多,成本就越低。根据测算,一个24核,128GB的温节点可以挂载20TB的sata盘,按照75%的使用率,可以装到15TB。刚开始的时候一切都正常,随着温节点上数据越装越多,事情开始有了变化。

3.1 问题:大容量温节点导致控制命令失效,监控失效

当温节点装载4TB数据时,集群可以正常的工作;当温节点装载到10TB数据时集群开始出现各种不稳定现象:

  • 监控超时、失效,导致告警延迟,甚至失效。最终导致故障不能被及时发现。
    master无法在规定周期内收集到集群监控数据

cc2f9d749cd7bb2e2de8382698d402ba.png

       从kibana上看到监控图断断续续,和后台的监控超时日志相对应。

6b03fad2906bd7a0b5a4635a9c78dd9f.png

  • 管控命令下发超时,集群控制失效,影响日常变更,降低系统信心。
    master不能在规定周期内下发集群配置变更

969e3a117fa227eb9591c7dad7c08fc2.png

我们已经触碰了可修改温数据的单节点容量上限了吗?

3.2、原因:大容量数据对节点内状态管理提出了挑战

  • cpu占用率持续高,与温节点较低的业务查询和修改量不相符

fcfe58fa849dfebeb1ea719c80989c7c.png

  • 节点垃圾回收频繁,负载重,与业务量不相符

b7231e7739eb29ce090893b968a88403.png

15213e67c72cffe65d0ad743661c6268.png

  • 节点收集自身状态超时

2ecf6e350d92ff5fdb268254d6be3a3b.png

节点收集自身状态超时是一个关键点。我们重点分析了ES/lucene内部的状态管理逻辑,结合内存分析,找到了lucene的热点代码,lucene在评估节点数据容量和数据占用内存时消耗了大量资源。相关方法为:RamUsageEstimator#shallowSizeOfInstance和FSDirectory#fileLength。 

4df47a393141d9fa540d6ca7ab687773.png

3.3、方案:利用LSM的不变性优化内核

根据前面的分析,可以了解到lucene在评估数据容量和数据占用内存时的消耗与节点上数据总量正相关。这也能解释随着数据量的不断增多,问题恶化的现象。那么方案是什么呢?

lucene是一种类LSM-Tree的结构,LSM-Tree全称是Log Structured Merge Tree,是一种分层,有序,面向磁盘的数据结构,其核心思想是充分利用磁盘批量的顺序写远优于随机写性能。底层数据全部以Append的模式追加,不存在删除和修改。业务概念上的删除和修改通过append 相同key的数据来实现。 

35abc17c247b256f7c284a2182339411.png

LSM-Tree主要由三部分构成: MemTable,Immutable MemTable,SSTable(Sorted String Table)

  • MemTable,是在内存中的数据结构,用于保存最近更新的数据,

  • Immutable MemTable,当 MemTable达到一定大小后,会转化成Immutable MemTable。Immutable MemTable是将转MemTable变为SSTable的一种中间状态。写操作由新的MemTable处理,在转存过程中不阻塞数据更新操作。

  • SSTable(Sorted String Table),是LSM树在磁盘中的数据结构。文件是不可变的。

lucene是一种类LSM-Tree的结构, 区别在于内存中的数据(对应Mem Table)是不可搜索的。磁盘上的文件称之为Segment(对应SSTable)也是不可变的。我们是否能够利用LSM的不可变性,加速内核中的状态管理?给出方案的如下目标:

  • 缓存高频元数据。由segment文件的不可变性可知,缓存value不需要更新。

  • 控制缓存的规模。merge操作产生新segment的同时还会删除源文件,需要过期删除文件对应的缓存key,从而释放内存。

  • 利用缓存加速状态管理。当大数据量节点收集自身状态时,能够直接利用缓存的元数据,秒级完成状态收集,快速上报到控制节点。同时加速控制节点的集群内配置变更。最终解决监控超时失效,集群控制失效的问题。

594e5684d178a7cfd550ca9015f61697.png

3.4、效果:大容量节点冷静如初,集群管控迅速

与之前相比,系统负载降到原来的1/4,GC较少发生。状态收集代价很小,监控不再超时,做到了10s的上报精度。配置变更也很顺畅。另外:此时温节点已经装载了15TB的数据。因为此优化的落地,我们也有信心在温节点上装入更多的数据,开始考虑启用更高的压缩比。传送门:Lucene索引引擎的压缩编码优化 

da73e07a30f31d6bc00ea6626490f4bc.png

e87596ea90fc747a9b96995d48d54948.png

4、保障变更高可用,降低变更对查询超时的影响

4.1、问题:数据从热区下沉到温区过程中产生大量查询超时

 数据从热区搬迁到温区期间,用户检索记录超时数是日常超时数的几十倍! 黄线:搬迁期间的用户查询超时数,蓝线:日常用户查询超时数。能否完全消除数据搬迁对用户查询的影响?

a67cc59043f726255fed5620aed8231a.png

4.2、原因:磁盘IO冲突导致用户查询超时

数据搬迁时产生持续的、大量的磁盘读写IO。如果用户检索请求落在参与数据搬迁的磁盘上,检索请求不能被快速处理,响应超时 

3865421f2787b274ad2db949e9920a09.png

而温区的sata盘是矛盾的焦点,承担了1/10的负载(业务场景数据),只有1/500的性能(与ssd相比)。ssd性能富余也是方案的一个利用点。

Header

iops规格

iops规格之比

io负载之比

sata

203①

1

1

ssd

111500②

500

10

①https://en.wikipedia.org/wiki/IOPS 

②https://ark.intel.com/content/www/us/en/ark/products/122579/intel-ssd-dc-p4510-series-4-0tb-2-5in-pcie-3-1-x4-3d2-tlc.html

4.3、方案:防守反击

针对IO冲突,给出下面两个方案

  • 防守,使用ES自带的自适应查询功能,根据节点的历史查询质量选择下一次查询的目的地。利用此统计数据,在后面的查询中绕开查询质量差的节点。

  • 反击,查询IO隔离,规划预测数据下沉的顺序、路径,提前一步将相关节点从查询路由中剔除,完全避免IO冲突,避免查询超时。

4.3.1-自适应查询消减查询超时

此特性源于一篇paper,C3: Cutting Tail Latency in Cloud Data Stores via Adaptive Replica Selection,最初,这是Cassandra的一个特性,后来被引入ES6.1版本。它的基本原理如下:每次处理查询请求前,ES会对数据的多个副本(通常是3副本)质量进行评估,选出最健康的副本,然后发出查询请求。质量评估的公式如下:

Ψ(s) = R(s) - 1/µ̄(s) + (q̂(s))^3 / µ̄(s)

概括来说就是考虑下面三个因素,对节点质量进行评估:

  • 协调节点与数据节点之间的先前请求的响应时间

  • 数据节点执行先前搜索所花费的时间

  • 数据节点的搜索线程池的队列大小

我们可以看出自适应查询在这个场景下的不足之处

  • 数据三副本所在节点质量都差
    三副本质量都差,自适应查询也会无米可炊,无健康节点可选。

那么三副本所在节点质量都差的概率有多少呢?我们很容易想到正在被搬迁的分片首先受到影响,但容易被忽略的一点是,搬迁分片的源磁盘、目的磁盘上面的其他分片也都受到了影响。以标准3.4TB磁盘为例,至少存储60个40GB的分片,如果并发10个分片下沉,受影响的分片将会是60X10X2=1200个。覆盖3副本的概率很大。

  • 试错成本,节点的历史质量数据通过试错产生
    公式的正常运作依赖于历史的查询质量数据,只有查询超时后才能指导后续的查询路由。同时,还需要考虑到曾经的质量差节点也会变好,还需要周期性消耗一些查询(新的慢查询)来更新它的最新质量数据。

4.3.2-查询IO隔离,避免查询超时

基于自适应查询的弱项,可以采用下面措施解决问题

  • 三副本质量都差
    规划预测数据下沉的顺序、路径,使任一时刻参与下沉的一批磁盘上的所有分片不会覆盖任一块数据的三副本。

  • 试错成本
    改造ES内核的路由逻辑,提前一步将相关节点从查询路由中剔除,不路由任一条查询到繁忙的节点,不产生超时请求,消除试错成本。

02e01d665358570a9322383c07686ba8.png

完善的方案还需要考虑下面几个目标

  • 数据一致性
    我们只从查询路由中拿掉了相关节点,但这些节点仍然参与数据写,保障副本之间的一致性。

  • 减小搬迁性能的下降
    IO隔离保障数据检索时延的同时,会降低搬迁的并行度,导致更长的搬迁时间,降低搬迁性能。需要控制性能的损失。前面分析的ssd与sata盘性能差异是一个性能提升的切入点。

  • 故障适应性
    如果在数据下沉期间,集群有节点故障,部分数据的3副本变成了2副本,甚至只留了1个完整副本,这时的IO隔离不能让无数据可查。

4.4、效果:数据下沉期间产生的查询超时数很大的减少

蓝线为在IO隔离情况下,操作数据下沉产生的超时数,期间超时数基本与背景超时数相当。 

a0e36fa45b85ea7b2f4391fb5f7ad6a2.png

给ES增加的查询io隔离可以应用在下面场景

  • 数据搬迁,包括:数据下沉,数据均衡,节点裁撤场景

  • 节点滚动重启
    节点滚动重启是一个容易忽视的应用场景,节点重启后,需要从本地恢复大量shard,正在恢复的shard虽然不会对外提供查询服务,但与此shard共享同一块磁盘的其他已恢复shard会对外提供查询服务,此时会发生磁盘IO冲突,也可以应用查询io隔离特性,降低、消除期间的查询超时。

ES有奖征文活动

征文活动火爆ING🔥

活动详情请戳👇

734507abd9477a6c1b263b7b0e99e8f5.jpeg

只要是与【Elasticsearch Service】相关的技术产品干货内容,都可以参加此次活动,参与活动即可获得腾讯云 X Elasticsearch联名精美周边礼品,Apple Watch、Cherry机械键盘、京东卡等超级丰厚大礼 等你来拿~扫码加群了解活动详情:

uniapp+unipay微信支付实战:5分钟搞定从配置到调用的完整流程 本文详细介绍了如何在Uniapp中使用UniPay模块快速集成微信支付功能,从环境配置到支付回调的完整流程仅需5分钟。涵盖必备材料清单、UniPay模块安装、订单创建、前端调用及支付结果处理等关键步骤,特别针对开发者优化了操作路径,助力高效完成移动支付集成。 阅读详情

相关推荐

微信支付V3证书全生命周期管理:安全存储、自动轮换与实战避坑指南

在API安全体系中,非对称加密和数字证书是实现身份认证与数据完整性的核心技术。其原理基于公钥和私钥的配对使用,发送方用私钥签名,接收方用公钥验签,以此确保通信双方身份可信且传输内容未被篡改。这一机制的技术价值在于为在线交易、数据传输等场景提供了基础的安全保障。在移动支付、电商系统等应用场景中,证书管理直接关系到服务可用性与资金安全。以微信支付V3接口为例,其采用基于证书的双向认证模型,证书的有效管理成为保障支付链路稳定的关键。本文将围绕证书的生命周期,深入探讨安全存储策略、自动轮换机制,并结合私钥泄露防护、

weixin_26642481的博客 244

腾讯云大数据ES:一文秒懂!使用Elasticsearch进行数据分析

本文就如何使用Elasticsearch进行数据分析做一个简单的介绍。

cloudbigdata的博客 1441

【Elasticsearch】Elasticsearch 几篇 不错的 好文章

Elasticesearch内存详解Elasticsearch为啥这么快掌握它才说明你真正懂Elasticsearch【es】Elasticsearch如何保证数据不丢失?Elasticsearch:实用 BM25 - 第 1 部分:分片如何影响 Elasticsearch 中的相关性评分Elasticsearch:实用 BM25 - 第 2 部分:BM25 算法及其变量Elasticsearch:实用 BM25 - 第 3 部分:在 Elasticsearch 中选择 b 和 k1 的注意事项使用 Ing

九师兄 306

Elasticsearch在大数据分析中的应用

1.背景介绍 1. 背景介绍 Elasticsearch是一个开源的搜索和分析引擎,基于Lucene库构建。它可以实现实时搜索、文本分析、数据聚合等功能。在大数据时代,Elasticsearch在分析和处理海量数据方面发挥了重要作用。本文将从以下几个方面进行阐述: Elasticsearch的核心概念与联系 Elasticsearch的核心算法原理和具体操作步骤 Elasticsearch...

AI天才研究院 1098

DAGGER vs 传统模仿学习:为什么数据聚合能提升模型性能?

本文深入对比了DAGGER与传统模仿学习,揭示了传统方法因“分布不匹配”导致性能下降的根源。DAGGER通过动态的**数据聚合**机制,在智能体自身策略产生的状态分布上收集专家数据,从根本上解决了误差累积问题,从而显著提升了模型在实际部署中的鲁棒性和性能。

weixin_29170327的博客 235

贝塞尔曲线原理--曲线生成--路径规划--matlab代码

贝塞尔曲线有着很多特殊的性质, 在图形设计和路径规划中应用都非常广泛, 在路径规划中贝塞尔曲线完全由其控制点决定其形状, n个控制点对应着n-1阶的贝塞尔曲线,并且可以通过递归的方式来绘制.

bob595078694的博客 1万+

消除服务端长尾的一种方法

我们都知道, 在大规模分布式系统中, 网络调度层的设计非常重要, 网络调度层需要承担故障容忍, 慢后端检测, 高吞吐和低延迟的功能, 特别是面临百度大搜索的大扇出模型的情况下. 上周去美国参加NSDI'15, 正好会议里有一篇消除长尾的论文, 拿出来和大家分享. 论文地址:https://www.usenix.org/system/files/conference/nsdi15/ns...

weixin_30673715的博客 414

从ResNet到EfficientNet:特征金字塔网络(FPN)在不同骨干网中的适配指南

本文深入探讨了特征金字塔网络(FPN)与ResNet、VGG、EfficientNet等主流骨干网络的适配策略。文章详细解析了FPN的核心原理,并针对不同骨干网络的特征提取特性,提供了通道对齐、参数量估算及迁移学习的系统化指南,旨在帮助开发者在目标检测等视觉任务中构建高性能、高效率的模型。

weixin_29047919的博客 222

ElasticSearch降本增效常见的方法 | 京东云技术团队

Elasticsearch在db_ranking 的排名不断上升,其在存储领域已经蔚然成风且占有非常重要的地位。随着Elasticsearch越来越受欢迎,企业花费在ES建设上的成本自然也不少。那如何减少ES的成本呢?其他:(1)(2)

JDDTechTalk的博客 1597

YOLOv13优化Faster_Block:卷积(Partial Convolution)、多层感知机(MLP)结构和残差连接

Faster_Block 代表了现代深度学习中效率与性能平衡的一个典型案例。它通过部分卷积技术巧妙地减少了计算开销,同时通过精心设计的架构保持了强大的特征学习能力。这种设计思想对于移动端部署、实时应用和大规模模型训练都具有重要意义。 未来的发展方向可能包括更智能的动态分割策略、与新兴硬件的深度适配,以及与其他先进技术(如自注意力机制、神经架构搜索等)的结合。Faster_Block 的成功展示了在深度学习领域,创新往往来自于对问题本质的深刻理解和巧妙的工程实现。

FJN110的博客 430

嵌入式面经篇八——进程&线程

记录一些招聘公司在招聘嵌入式软件岗位时的一些问题,此文为第八篇。进程上文:是指进程由用户态切换到内核态时需要保存用户态时CPU寄存器中的值,进程状态以及堆栈上的内容。即保存当前进程的状态,以便再次执行该进程时,能够恢复切换时的状态,继续执行。进程下文:是指切换到内核态后执行的程序,即进程运行在内核空间的部分。中断上文:硬件通过中断触发信号,导致内核调用中断处理程序,进入内核空间。这个过程中,硬件的一些变量和参数也要传递给内核,内核通过这些参数进行中断处理。

明天你好的博客 1855

《Elasticsearch 源码解析与优化实战》第19章:搜索速度优化

文章目录简介为文件系统cache预留足够的内存使用更快的硬件文档模型预索引数据 简介 本章讨论搜索速度的优化、搜索速度与系统资源、数据索引方式、查询方式等多个方面,下面我们逐一讨论如何优化搜索速度。 为文件系统cache预留足够的内存 在一般情况下,应用程序的读写都会被操作系统“cache”(除了direct 方式),cache 保存在系统物理内存中(线上应该禁用swap),命中cache可以降低对磁盘的直接访问频率。搜索很依赖对系统cache的命中,如果某个请求需要从磁盘读取数据,则一定会产生相对较高的延

chbxw 1067

【项目实战】DevOps制品管理之JFrog Artifactory介绍

JFrog Artifactory是一款领先的二进制软件制品仓库管理工具,由JFrog公司开发。

奶爸的编程之路,也就一周冷个三天 1357

E往无前 | 让你的ES查询性能起飞!腾讯云大数据ES查询优化攻略“一网打尽”...

《E往无前》系列将着重展现腾讯云ES在持续深入优化客户所关心的「省!快!稳!」诉求,能够在低成本的同时兼顾高可用、高性能、高稳定等特性,可以满足微盟、小红书、微信支付等内外部大客户的核心场景需求。

cloudbigdata的博客 2212

网络变更:APIC 节点替换

Fabric Name,Controller ID,TEP Address Pool 等信息必须相同;如果故障设备是 APIC1 还需要重新配置管理密码。此过程可能需要 10 分钟左右,在此期间目标 APIC 可能在 Available/Unavailable 状态翻滚。APIC 获取 TEP 地址后,进入 fully-fit。通过 CLI 以及配置的密码登录目标 APIC。

m0_54931486的博客 323

vue2学习笔记2-老规矩,从Hello World开始,了解Vue实例和模板

想要把“Hello,World”放置在页面上,首先需要准备一个HTML的块级元素div,来承接内容。

l_q_l的专栏 1259

E往无前 | 海量数据ES 扩展难?腾讯云大数据ES 扩展百万级分片也“So Easy~”

本文结合最新版本源码剖析 ES 的分布式底层架构原理,为广大 ES 爱好者揭开底层架构的面纱,帮助运维、研发同学进一步熟悉内核。于此同时,海量场景 ES 的扩展性也面临诸多挑战,如分片数、节点数等,本文也为大家分享 TencentES Oteam 内核是如何优化扩展性瓶颈的。

cloudbigdata的博客 2176

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

E往无前 | 日志成本下降25%+!腾讯云大数据ES Lucene压缩编码深度优化大揭秘

本文介绍了关于Lucene底层文件格式的系统性优化思路。这些优化特性,目前都已经上线运行,存储成本整体下降25%+。同时,本文还介绍了常见压缩算法的原理,希望为更广泛的应用领域起到一定的借鉴作用。

cloudbigdata的博客 3329

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

【node】实现微信支付 apiv3(wechat-node-v3库)

在node中实现微信支付apiv3接口的使用,主要用到的库是wechat-node-v3的使用,附上代码!

m0_53166050的博客 2959

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

qq语音识别_qq语音红包自动识别_qq语音红包一直未识别 - 云+社区 - 腾讯云

广告关闭2017年12月,云+社区对外发布,从最开始的技术博客到现在拥有多个社区产品。未来,我们一起乘风破浪,创造无限可能。接口描述本接口服务对实时音频流进行识别,同步返回识别结果,达到“边说边出文字”的效果。 接口是 http restful 形式,在使用该接口前,需要在语音识别控制台开通服务,并进入 api 密钥管理页面 新建密钥,生成 appid、secretid 和 secretkey,用...

q6q6q的专栏 1657

把一个dataset的表放在另一个dataset里面_利用小程序云开发原生微信支付能力实现一个简单的商城...

#0我最早收到云开发会提供原生微信支付能力的消息是在去年11月腾讯云举办的 Techo 开发者大会上,期间也多次传出快了快了的消息,这个快了的期限为半年是我没想到的。前两天微信团队通过开放社区放出开发版支持原生微信支付能力的消息后,我第一时间就去申请开通体验了,本来是打算体验完第二天就出这篇文章的。但是在体验退款能力的时候卡在待商户确认上面,而按照官方的服务商平台退款授权 文档(ht...

weixin_39893042的博客 697

微信小程序支付组件开发实战

该文章纪录了我在开发小程序支付过程中的具体流程 1. 申请微信支付 小程序认证后进入微信支付申请小程序的微信支付 填写企业信息对公账户并上传凭证后,微信支付会打一笔随机金额到对公账户,输入金额完成验证后,在线签署协议,这样整个微信支付的申请流程完成了。注意此处申请所填写的信息都需要真实且详细,设置小程序的密钥。 微信支付申请完,会发送微信支付商户号,商户平台用户名密

2644
上一篇: E往无前 | 海量数据ES 扩展难?腾讯云大数据ES 扩展百万级分片也“So Easy~”
下一篇: E往无前 | 让你的ES查询性能起飞!腾讯云大数据ES查询优化攻略“一网打尽”...
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值