“淘宝” 是如何实现百万 QPS 商品同款识别的？

最新推荐文章于 2025-04-22 13:32:02 发布
转载 最新推荐文章于 2025-04-22 13:32:02 发布 · 634 阅读 · 2 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=MzUzMTA2NTU2Ng==&mid=2247532600&idx=1&sn=1c6ddc17db985cbd43aee6e2876fecda&chksm=fa4a3f89cd3db69f97f355f4a7dbd178e46790b0cad1db6e47cb485a5d4e32be71fad92f2a2d&scene=126&&sessionid=0
文章标签：

#算法 #人工智能 #机器学习 #大数据 #数据挖掘

本文探讨了电商如何利用图像算法在用户商品消费场景中提升运营效率，尤其是通过商品识别技术在双十一等大型促销活动中优化客户体验。课程《带你实现电商商品同款识别算法》将介绍数字图像处理基础、卷积原理和深度学习特征，帮助学员掌握商品识别技术，实现1秒完成百万次相似度计算。课程由资深数据挖掘和机器学习专家Mozak老师主讲，适合对图像识别感兴趣的电商从业者和开发者。报名课程还将赠送AI学习资料。

以淘宝、京东和拼多多为典型的用户+商品消费场景，是国内用户量最多的业务场景，也是产生利润最多的业务场景。在这其中，客户拥有最大的自主权，如何有效地加以利用或辨别客户在行为之下产生的大量数据，成为了电商能否实现经济利益最大化的挑战之一。

目前电商们常常为了已有数据或是计划想要收集多少数据感到头疼，所以大多数情况下大家选择了依靠直觉来代替数据来做决策。

其实，电商平台中，为用户带来价值的关键就是商品丰富、价格合理、服务可靠。而要想达到这样的价值，图像算法将是在电商场景运用中必不可少的重要能力。

a21421b5ab337f9e6face1f48392b06b.png

图片来自网络

比如刚刚过去的双十一，如果淘宝商家能够对顾客从进店开始的所有行为都进行识别和分析，那么将会大大提升店铺的运营效率。这里用到的图像算法就是商品识别。

但是，由于商品种类的多样性，需要对场景下的商品各个角度都要有识别，这样就加大了商品识别的难度。

虽然听起来较难，但你如果找准了需要的方向，从基础入手，再深入实践，问题就会迎刃而解。如何才能从淘宝中找到同款商品？如何找到相似款式服饰？别急，推荐大家一门公开课，《带你实现电商商品同款识别算法》，让你1秒完成百万次相似度计算。

2b70c4c79936161a885cae505600be3f.png

12月03日 晚19点30

现在只要 0 元

扫描下方二维码 报名

fa5cfc46a2322cd639128ac929975813.png

不仅如此

还有福利AI学习资料

免费领取

文末查看资料详情

【带你实现电商商品同款识别算法】

让你正确打开商品识别技术。

此次公开课讲师是Mozak老师，拥有5年数据挖掘和机器学习项目经验，Github Star 2k+，主导过多个AI项目，人民邮电出版社签约作者，擅长数据挖掘和深度学习模型优化。

该老师具有丰富的深度学习算法、模型优化的实践经验，善于拆解问题和讲解问题，启发学生思维。

▷ 课程适合人群

622d040e818c0d69c9aab6b1a96aeec0.png

▷ 公开课目录

1、数字图像处理基础

2、卷积原理与深度学习特征

3、常规的图像分类过程

4、细粒度分类损失函数

现在报名还能免费领取一份AI学习资料，4本AI好书+8份人工智能知识图谱，让你在享受学习的同时，还能收获满满。现在报名，就可以免费领取，赶快报名添加顾问领取吧。

cbd5c8709d6486845fb2da195e1cf508.png

免费报名公开课，还可以免费领取资料包，双重学习，赶快报名添加顾问领取吧。

现在只要0元

即可参加该课程

赶快报名参加吧

扫描下方二维码

60c98455673009e16310ecb252c02f7d.png

动动小手，就学到了知识

还在等什么

开篇-电商平台百万QPS高并发架构
讲透电商店铺、商品、营销、订单架构设计，高并发实战分享
12-19 733
百万QPS下，怎么架构，才能保证商品稳定下单？价格计算准确？库存不超卖？ 作者把千亿级电商平台中，实践总结的高并发、高可用经验，按知识结构层次详细讲解。 学习课程，等于提前拿下了，大厂百万年薪的入场券
生死时速：数据库连接池如何拯救百万级QPS系统？
未来已来，AI时代，学AI编程，做AI量化，就来大鹏AI教育。
05-19 1029
传统架构下，每个请求需要新建TCP连接、执行SQL、释放连接，单节点QPS骤降至1200，而采用智能连接池的子系统却保持着稳定的18万QPS。当我们将连接池部署到微服务架构中，每个连接都变成了量子纠缠态的信息载体。测试数据显示，在K8s集群中配合HPA自动扩缩容，整体系统吞吐量提升300%，资源成本降低45%。这不仅是技术的进化，更是软件工程哲学的范式转移——在这个实时计算的时代，连接池正在书写新的底层逻辑。测试数据显示，在10万并发下，裸连接请求会产生超过60%的网络等待时间。
【深度学习】同款商品识别的克星--ArcFace！
fengdu78的博客
04-11 638
作者：杰少，一品炼丹师ArcFace: Additive Angular Margin Loss for Deep Face Recognition（CVPR2019）简 介利用深度卷积神...
高并发：最大程度抗量
jim_007的博客
08-23 3698
指标 关键指标： 并发数SBC（Simultaneous Browser Connections），客户端向服务器发起请求，并建立了TCP连接。每秒钟【服务器】接收到的链接的总TCP数量 响应时间(Response Time)：从发送http请求（并发数），到处理完所有的http请求（并发数）所用到的时间 每秒请求数QPS/RPS(Query Per Second/Request Per Second)：Query=查询，也相当于请求。请求数指的是客户端在建立完连接后，向http服务发出GE
淘宝的估算并发量公式
燕雀笔记博
12-15 3804
估算并发量： QPS = 日PV × 读写次数/PV ÷ (8 × 60 × 60)
带你实现电商商品同款识别算法
我的博客
01-11 5731
电商本身就是用户体量非常多的业务场景，也是产生利润最多的一个业务场景。我们如何从淘宝找到同款商品呢？
淘宝 API 高并发优化：突破 QPS 限制的分布式爬虫架构设计
2301_78159247的博客
04-08 1239
同时，设置合理的缓存过期时间，确保数据的时效性。例如，将采集到的数据根据商品 ID 通过一致性哈希存储到不同的分布式存储节点中，这样在数据更新和查询时，能够确保相同商品的数据始终存储在同一节点，避免数据不一致问题。例如，在促销活动期间，商品数据变化频繁，单机爬虫即便全力运行，也难以在规定时间内采集到足够的数据，且频繁遭遇 API 限制，进一步拖慢了采集进度。通过精心设计的分布式爬虫架构，结合合理的技术选型和性能优化策略，能够有效突破淘宝 API 的 QPS 限制，实现高并发、高效的数据采集。
零拷贝网络编程：RustTokio实现百万级QPS服务.pdf
05-03
文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位，文档内容完整、条理清晰。文档内所有文字、图表、函数、目录等元素均显示正常，无任何异常情况，敬请您放心查阅与使用。文档仅供学习参考，请勿...
百万QPS实现：基于io_uring的异步IO编程指南.pdf
05-07
文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位，文档内容完整、条理清晰。文档内所有文字、图表、函数、目录等元素均显示正常，无任何异常情况，敬请您放心查阅与使用。文档仅供学习参考，请勿...
java代码实现统计QPS_Alibaba Sentinel是如何统计QPS实现限流的
weixin_34942564的博客
02-26 1071
关注“Java艺术”一起来充电吧!我们项目中使用了Sentinel作为限流器，Sentinel可配置按最大工作线程数以及按QPS限流，而要实现这两个限流规则，就必须要统计到当前工作线程数以及QPS，那么Sentinel是怎么统计线程数以及每秒的请求数QPS的呢。本篇将为大家解答疑惑。同时，我也将Sentinel实现统计QPS的部分代码抄了出来，封装为一个工具包。没错，是抄的，只是做了些许改动，去...
百万级QPS，支撑淘宝双11需要哪些技术
程序员囧辉
10-24 8741
百万QPS
淘宝API高并发优化：突破QPS限制的异步请求与分布式架构设计
API_technology的博客
03-28 791
分布式架构将一个大型系统拆分成多个独立的服务模块，部署在不同服务器上协同工作。对于淘宝 API，可将商品、订单、用户、搜索等不同功能模块对应的 API 分别开发成独立微服务。这些微服务通过网络通信交互，对外呈现统一的 API 网关供客户端调用。
技术如何秒懂你？阿里百万级QPS资源调度系统揭秘
阿里技术
12-19 9364
阿里妹导读：TPP(Taobao Personalization Platform, 也称阿里推荐平台 ) 平台承接了阿里集团300+重要个性化推荐场景，包括手淘首页猜你喜欢、首图个性化、购物链路等。除了提供应用层面的支持和封装，还肩负着机器分配和维护各场景运行稳定的重任。理想情况下，TPP平台上的场景owner不需要关注底层的资源分配情况，平台尽可能的提高CPU利用率，同时保证平台上场景的稳定。
电商平台数据采集与 QPS 计算全流程解析
zhuralll112的博客
04-22 1308
通过电商平台开放的 API 直接获取实时交易、订单、用户行为等数据，支持高效、合法采集。关联指标：若系统并发数为 500，平均响应时间 0.5 秒，则理论 QPS = 500 / 0.5 = 1,000。例如：10 分钟内采集到 6,000 次商品浏览请求，则 QPS = 6,000 / 600 = 10。按业务类型分类统计请求量（如商品浏览、下单、支付），为分项 QPS 计算提供基础。示例：商品浏览请求量通过爬虫或 API 获取，支付请求量通过订单日志统计。风险提示：需遵守平台规则，避免 IP 封禁。
大厂万年不变的面试题：如何实现百万的秒杀系统！
Java0258的博客
05-25 298
一个小伙伴最近参加某一线互联网公司的面试，被问到了一些并发相关的问题，看看大家能否答出来： （1）synchronized的CPU原语级别是如何实现的？ （2）无锁、偏向锁、轻量级锁、重量级锁有什么差别，升级过程如何？ （3）线程间通信，同机器进程间通信，跨机器进程间通信，各有什么方法？ （4）下列三种业务，应该如何使用线程池： 高并发、任务执行时间短的业务 并发不高、任务执行时间长的业务 并发高、业务执行时间长的业务 （5）秒杀系统，如何能够撑住100W级别TPS（淘
企业级大数据平台建设参考 淘宝滴滴美团360快手京东
jane9872的博客
06-20 1076
从金融业务，物流业务，电商业务，保险业务、健康业务等不同业务的特点和需求出发，逐步构建成标准化、可管理、可维护、可理解、可复制、一站式、体系化的数据中台，解决了前面提到的业务复杂、数据异构、烟囱化开发、建设成本高等问题。总结，大数据平台的出现伴随着业务的不断发展，数据的不断增长，数据需求的不断增加，数据分析及挖掘的场景而逐步形成。构建，在此基础上开发了自己的调度系统和开发系统。面向业务，奇麟思考的是通过提供简单易用的一站式大数据处理的平台，降低使用门槛，简化大数据平台工作，帮助业务释放数据价值，赋能业务。
记录一次提高接口qps的过程(初次体验Spring WebFlux)
唐尧的博客
03-18 1226
预备知识： wrk压测工具（一款简单的HTTP压测工具） Usage: wrk <options> <url> Options: -c, --connections <N> Connections to keep open -d, --duration <T> Duration of test -t, --threads <N> Number of threads to use -s, --
3分钟理清QPS、TPS、RT、吞吐量以及它们直接的关系
没有伞的孩子必须努力奔跑！—小林
10-30 515
如在手机上打开淘宝，在t1时刻点击商品查询按钮，客户端请求服务器获取商品数据然后客户端展示商品信息结束的时刻t2为止，那么t2-t1的时间间隔就是系统RT。RT的数值大小直接反映了系统的快慢。如淘宝上下单商品的时候，每当用户下单请求被服务器接受到之后，服务需要保存订单、扣减商品库存、确认支付等等这一些列的操作都完成之后并成功返回给客户端的过程，这就构成了一次事务。QPS是一个非常重要的指标，在618电商平台在大促期间，服务器需要处理大量用户请求，我们可以通过服务器的QPS来评估服务器的处理能力。
商城高qps应对场景专题
weixin_62827806的博客
10-17 313
第一步Scenario场景需要确定设计哪些功能，承受多大的访问量？这里有个常见概念QPS（Query Per Second），即一秒内可以处理的请求数量。假如一个服务的RT是20ms，则QPS为50，这里计算的是单机单线程QPS，如果计算集群的话，需要考虑集群数量和线程数量。这时候需要确认秒杀商品的请求QPS是多少。如果面试官说峰值大概量级在100万，那么按照服务单线程QPS是50，单台最大线程数按3来计算的话，单台机器最大支撑150的QPS，那么至少需要100W/150=6667台机器。常见的组件最大QP
QPS是什么单位？是什么的缩写？
最新发布
10-16
<think>我们正在讨论的是QPS，而用户提供的引用中提到了RPS。实际上，QPS和RPS在含义上非常接近，都是指系统在单位时间内能够处理的请求数量。不过，QPS更侧重于“查询”（Query），而RPS更侧重于“请求”（Request）。通常，在讨论Web服务器性能时，这两个术语可以互换使用。 根据引用[1]：RPS代表吞吐率，即Requests Per Second的缩写。吞吐率是服务器并发处理能力的量化描述，单位是reqs/s，指的是某个并发用户数下单位时间内处理的请求数。 同样，QPS是Queries Per Second的缩写，即每秒查询率。在数据库或者搜索系统中，我们通常用QPS来描述系统每秒处理的查询数量。但在Web服务中，QPS和RPS常常被当作同义词使用。 因此，我们可以这样定义： - QPS: Queries Per Second，每秒查询数。 - RPS: Requests Per Second，每秒请求数。 在Web服务上下文中，一个HTTP请求通常对应一次查询，所以两者数值上相等。但在不同的场景下，可能会有细微差别，比如一个请求可能包含多个查询（例如GraphQL），这时RPS和QPS就不相等了。 引用[2]也提到：如果要描述整体，最多算是有3个RPS。如果从HTTP协议的角度去理解，那么HTTP Request算是一个比较准确的描述。这同样适用于QPS，因为每个HTTP请求通常也会被看作一次查询。 总结： QPS是Queries Per Second的缩写，含义是每秒查询数，用于衡量系统在单位时间内处理的查询数量。在Web服务中，它通常与RPS（每秒请求数）等价。 由于用户引用中提供了RPS的解释，我们可以参考它来解释QPS。 因此，回答如下： ### QPS的含义及英文缩写 **QPS** 是 **Queries Per Second** 的缩写，中文含义为**每秒查询数**。它是衡量系统（尤其是Web服务器、数据库等）处理能力的重要指标，表示系统在1秒内能够处理的查询请求数量。 #### 核心要点： 1. **单位性质** - QPS属于**吞吐率**（Throughput）指标，反映系统单位时间的处理能力[^1] - 数学表达： $$ \text{QPS} = \frac{\text{成功处理的查询总数}}{\text{测量时间}} \quad (\text{单位：queries/s}) $$ 2. **与RPS的关系** - RPS（Requests Per Second）指**每秒请求数**，两者在Web服务中通常等价（1个HTTP请求≈1次查询） - 差异场景举例： - 当1个HTTP请求包含多个子查询（如GraphQL批量查询）时： $$ \text{RPS} \ll \text{QPS} $$ - 当系统处理非查询类请求（如文件上传）时，QPS可能不适用 3. **性能瓶颈分析** - 当QPS达到系统极限（如CPU饱和、I/O瓶颈）时，响应时间呈指数增长： $$ T_{\text{响应}} \propto e^{\text{QPS}} \quad (\text{当QPS} \to \text{阈值}) $$ 4. **测量方法** ```bash # 使用压测工具获取QPS（示例：wrk测试结果） wrk -t12 -c100 -d30s http://example.com ``` 输出示例： ``` Requests/sec: 3200.50 # 即QPS=3200.5 ``` #### 典型场景QPS参考值 | 系统类型 | 典型QPS范围 | |------------------|----------------| | 小型博客 | 100~500 | | 电商大促 | 10,000~50,000 | | 全球顶级CDN节点 | >1,000,000 | #### 提升QPS的关键技术 1. **垂直扩展**：提升单机性能（如CPU/内存升级） 2. **水平扩展**：通过负载均衡增加服务器数量[^3] 3. **异步处理**：使用消息队列解耦请求处理链路 4. **缓存优化**：减少重复查询（如Redis缓存命中率>95%） --- §§相关问题§§ 1. 如何准确测量高并发场景下的QPS？ 2. QPS与系统响应时间之间存在怎样的数学关系？ 3. 在微服务架构中如何分解QPS指标？ 4. 如何通过限流策略保护系统免遭QPS过载？ </think>### QPS 的含义详解 #### 1. **单位定义** - **QPS** 是 **Queries Per Second**（每秒查询数）的缩写 - 定义：系统在 1 秒内成功处理的请求数量 - 数学表达： $$ \text{QPS} = \frac{\text{成功处理的请求总数}}{\text{测量时间（秒）}} $$ - 单位：**reqs/s**（请求/秒），与 **RPS**（Requests Per Second）等价[^1][^2] #### 2. **核心特性** | **属性** | **说明** | |----------------|-------------------------------------------------------------------------| | 吞吐量指标 | 衡量系统处理能力的核心指标，直接反映系统性能[^1] | | 与并发关系 | $ \text{QPS} = \text{并发数} \times \frac{1}{\text{平均响应时间}} $ | | 业务相关性 | 需明确定义「查询」的业务含义（如 HTTP 请求、数据库操作等）[^2] | | 性能瓶颈标识 | 当 QPS 达到系统极限时，响应时间会指数级增长： $ T_{\text{响应}} \propto e^{\text{QPS}} $ | #### 3. **测量方法** ```bash # 压测工具输出示例（wrk） wrk -t12 -c100 -d30s http://example.com # 结果输出 Requests/sec: 3200.50 # 即 QPS=3200.5 ``` #### 4. **与其他指标关系** | **指标** | **关系说明** | |----------|-----------------------------------------------------------------------------| | RPS | 与 QPS 同义，Requests Per Second 的缩写[^1] | | TPS | 每秒事务数（Transactions/sec），在包含多步骤的业务场景中通常 ≤ QPS | | UV | 独立用户数（Unique Visitors），QPS 峰值通常与 UV 流量正相关[^4] | #### 5. **典型场景参考值** | **系统类型** | **常规 QPS** | **峰值 QPS** | |-------------------|-------------|----------------| | 小型博客 | 100-500 | 1,000+ | | 电商平台 | 5,000-20,000| 100,000+ | | 全球顶级 CDN 节点 | - | >1,000,000 | #### 6. **优化策略** 1. **垂直扩展** - 升级单机资源（CPU/内存），提升 $ \text{单节点 QPS}_{\text{max}} $ 2. **水平扩展** - 通过负载均衡实现：$ \text{集群 QPS} = \sum{\text{单节点 QPS}} $ 3. **协议升级** - HTTP/2 多路复用可提升 40%-60% QPS[^3] 4. **缓存优化** - Redis 缓存命中率 >95% 时，QPS 可提升 3-5 倍 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值