商品系统架构设计与实践

从爬虫到情感分析:电商商品评价系统架构设计与落地实践 在电商生态中,商品评论文本蕴含着巨大的用户反馈价值,而如何从非结构化数据中提取可量化的口碑指标,是数据挖掘与自然语言处理领域的一项基础工程。爬虫技术负责解决数据获取的合规性与稳定性,情感分析则需在词典规则、统计模型与深度学习方法之间权衡可解释性与准确率。一套完整的评价分析系统通常遵循采集、存储、分析、可视化的分层架构,通过情感分数聚合为口碑指标,进而支持商品对比与趋势洞察。此类技术不仅适用于电商评论,还可迁移至社交文本、应用商店评论等场景。本文结合淘宝与京东双平台接口差异、文本清洗流程、情感计算模型选型及系 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:vivo互联网技术

c7b1c89ee61aa1d06ce967a224489631.png


一、前言

随着用户量级的快速增长,vivo官方商城v1.0的单体架构逐渐暴露出弊端:模块愈发臃肿、开发效率低下、性能出现瓶颈、系统维护困难。

从2017年开始启动的v2.0架构升级,基于业务模块进行垂直的系统物理拆分,拆分出来业务线各司其职,提供服务化的能力,共同支撑主站业务。

商品模块是整个链路的核心,模块的增多严重影响系统的性能,服务化改造势在必行。

本文将介绍vivo商城商品系统建设的过程中遇到的问题和解决方案,分享架构设计经验。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能。

项目地址:https://github.com/YunaiV/ruoyi-vue-pro

二、商品系统演进

将商品模块从商城拆分出来,独立为商品系统,逐渐向底层发展,为商城,搜索,会员、营销等提供基础标准化服务。

商品系统架构图如下:

c0e2452d520a61bef8365efbdc887a6d.png

前期商品系统比较杂乱,包含业务模块比较多,如商品活动业务、秒杀业务,库存管理,随着业务的不断发展,商品系统承载更多的业务不利于系统扩展和维护。

故思考逐渐将商品业务逐渐下沉并作为最底层、最基础的业务系统,并为众多调用方提供高性能的服务,下面介绍商品系统的升级历史。

2.1 商品活动、赠品剥离

随着商品活动的不断增多,玩法多样,同时与活动相关的额外属性也相应增加,这些都并不是与商品信息强关联,更偏向于用户营销,不应该与核心商品业务耦合在一起,故将其合并入商城促销系统。

赠品不仅仅是手机、配件,有可能会是积分、会员等,这些放在商品系统都不合适,也不属于商品模块的内容,故同步将其合并入商城促销系统。

2.2 秒杀独立

众所周知,秒杀活动的特点是:

  • 限时:时间范围很短,超过设置的时间就结束了

  • 限量:商品数量很少,远低于实际库存

  • 访问量大:价格低,可以吸引非常多的用户

基于以上特性,做好一个秒杀活动不是一蹴而就,由于系统资源共享,当突发的大流量冲击会造成商品系统其他业务拒绝服务,会对核心的交易链路造成阻塞的风险,故将其独立为单独的秒杀系统,单独对外提供服务。

2.3 代销系统成立

我们商城的主要销售品类还是手机以及手机配件等,商品的品类比较少,为了解决非手机商品品类不丰富的问题,运营考虑与知名电商进行合作,期望引入更多的商品品类。

为了方便后续扩展,以及对原有系统的不侵入性,我们经过考虑专门独立出一个子系统,用于承接代销业务,最后期望做成一个完备平台,后续通过提供开放API的方式让其他电商主动接入我们业务。

2.4 库存剥离

库存管理的痛点:

  • 由于我们的库存都是到商品维度,仅仅一个字段标识数量,每次编辑商品都需要为商品调整库存,无法动态实现库存管理;

  • 同时营销系统也有自己活动库存管理机制,入口分散,关联性较弱;

  • 可售库存和活动库存管理的依据都是实际库存,造成容易配置错误。

基于以上痛点,同时为了更方便运营管理库存,也为未来使用实际库存进行销售打下基础,我们成立库存中心,并提供以下主要功能:

  • 与ecms实际库存进行实时同步;

  • 可以根据实际库存的仓库分布情况,计算商品的预计发货仓库和发货时间,从而计算商品预计送达时间;

  • 完成低库存预警,可以根据可用库存、平均月销等进行计算,动态提醒运营订货。

基于微服务的思想,构建在 B2C 电商场景下的项目实战。核心技术栈,是 Spring Boot + Dubbo 。未来,会重构成 Spring Cloud Alibaba 。

项目地址:https://github.com/YunaiV/onemall

三、挑战

作为最底层的系统,最主要的挑战就是具备稳定性,高性能,数据一致性的能力。

3.1 稳定性

  • 避免单机瓶颈:根据压测选择合适的节点数量,不浪费,同时也能保证沟通,可以应对突发流量。

  • 业务限流降级:对核心接口进行限流,优先保证系统可用,当流量对系统压力过大时将非核心业务进行降级,优先保证核心业务。

  • 设置合理的超时时间:对Redis、数据库的访问设置合理超时时间,不宜过长,避免流量较大时导致应用线程被占满。

  • 监控&告警:日志规范化,同时接入公司的日志监控和告警平台,做到主动发现问题并及时。

  • 熔断:外部接口接入熔断,防止因为外部接口异常导致本系统受到影响。

3.2 高性能

多级缓存

为了提升查询速度,降低数据库的压力,我们采用多级缓存的方式,接口接入热点缓存组件,动态探测热点数据,如果是热点则直接从本地获取,如果不是热点则直接从redis获取。

读写分离

数据库采用读写分离架构,主库进行更新操作,从库负责查询操作。

接口限流

接入限流组件, 直接操作数据库的接口会进行限流,防止因为突发流量、或者不规范调用导致数据库压力增加,影响其他接口。

不过早期也踩过一些坑:

1、商品列表查询造成redis key过多,导致redis内存不够的风险

由于是列表查询,进行缓存的时候是对入参进行hash,获取唯一的key,由于入参商品较多,某些场景下入参是随时变化的,根据排列组合,会造成基本每次请求都会回源,再缓存,可能造成数据库拒绝服务或者redis内存溢出。

方案一 :循环入参列表,每次从redis获取数据,然后返回;

394900368c4ca31cd4232873208692ae.png

这个方案解决了key过多导致内存溢出的问题,但是很明显,它增加了很多的网络交互,如果有几十个key,可想而知,对性能会有不小的影响,那有什么其他办法能减少网络交互呢,下面我们看方案二。

方案二 :我们通过对原有的Redis 组件进行增强,由于Redis集群模式不支持mget,故我们采用pipeline的方式实现,先根据key计算出其所在的slot,然后聚合一次性提交,这样每个商品数据只需缓存一次即可,同时采用mget也大大提升了查询速度。

649526c0599a9f217f60f421e58b908f.png

这就即解决了key值过多的问题,也解决了方案一中多次网络交互的问题,经过压测对比,方案二比方案一性能提升50%以上,key越多,效果越明显。

2、热点数据,导致redis单机瓶颈

商城经常有新品发布会,发布会结束后会直接跳转到新品商详页,此时新品商详页就会出现流量特别大且突发、数据单一,这就导致Redis节点负载不平衡,有些10%不到,有些达到90%多,而一些常规的扩容是没有效果的。

针对热点问题我们有以下解决方案:

  • key的散列,将key分散到不同的节点

  • 采用本地缓存的方式

开始我们采用的是基于开源的Caffeine完成本地缓存组件,本地自动计算请求量,当达到一定的阀值就缓存数据,根据不同的业务场景缓存不同的时间,一般不超过15秒,主要解决热点数据的问题。

后来替换成我们自己研发的热点缓存组件,支持热点动态探测,热点上报,集群广播等功能。

3.3 数据一致性

1、对于Redis的数据一致性比较好解决,采用“Cache Aside Pattern”:

对于读请求采用先读缓存,命中直接返回,未命中读数据库再缓存。对于写请求采用先操作数据库,再删除缓存。

2、由于库存剥离出去,维护入口还是在商品系统,这就导致存在跨库操作,平常的单库事务无法解决。

开始我们采用异常捕获,本地事务回滚的方式,操作麻烦点,但也能解决这个问题。

后来我们通过开源的seata完成分布式事务组件,通过改写代码引入公司的基础组件,目前已经接入使用。

四、总结

本篇主要介绍商城商品系统如何进行拆分、并慢慢下沉为最基础的系统,使其职责更加单一,能够提供高性能的商品服务,并分享在此过程中遇到的技术问题和解决方案,后续会有库存系统的演进历史、分布式事务相关内容,敬请期待。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

95def65160626ac8bc5aec6f7391b4c7.png

已在知识星球更新源码解析如下:

8ed024f4e47a675476b68f121fad4023.png

bd50d73e9e4cc3d4d5fe1fadb4971dcd.png

78a782632ccfbcd89146d5b1ddd68adf.png

e4ad294ce1c4df4ac78758015a3cf707.png

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
构建服务端与客户端商品管理系统 TCP/IP(Transmission Control Protocol/Internet Protocol)是一组用于互联网数据交换的协议。TCP负责建立连接、保证数据传输的顺序性和可靠性,而IP则负责数据包的路由和寻址。TCP/IP模型分为四层:应用层、传输层、网络层和链路层。每层通过协议定义了数据的封装、传输、寻址和路由规则,确保数据可以从源端正确无误地传输到目的端。Socket接口是操作系统提供的一个允许应用程序使用网络通信的功能。 阅读详情

相关推荐

仓库管理系统VFP设计与实现

Visual FoxPro是一种基于关系型数据库的编程语言和开发环境,它允许开发者快速创建桌面、网络和分布式数据驱动应用程序。VFP以其高度的灵活性、强大的数据处理能力和便捷的开发速度在企业级数据库开发领域占有一席之地。在仓库管理系统开发之初,我们需要构建一个稳健的系统架构以确保功能模块之间的协同工作以及系统的可扩展性和安全性。系统架构通常可以分为几个层次,包括数据访问层、业务逻辑层、表示层等。数据访问层:负责与数据库直接交互,包括数据的增删改查等操作,保证数据的安全性和一致性。

weixin_42160645的博客 881

芋道商城学习与二开笔记

公司最近要我们在芋道源码的基础上二开,做一个sass商城,包含商城基础功能、二级分销、朋友圈分享、扫分销商二维码买物品能拿佣金等功能,我想在此做一个记录。

wushaojie2070的博客 1421

芋道(yudao-cloud)项目,商城模块数据表结构,包含:商品模块(中心)交易模块(中心)营销模块(中心)统计模块(中心)会员模块(中心)

芋道(yudao-cloud)项目,商城模块数据表结构,包含:商品模块(中心)交易模块(中心)营销模块(中心)统计模块(中心)会员模块(中心)

芋道商城,基于 Vue + Uniapp 实现,支持分销、拼团、砍价、秒杀、优惠券、积分、会员等级、小程序直播、页面 DIY 等功能

芋道商城,基于芋道开发平台构建,以开发者为中心,打造中国第一流的 Java 开源商城系统,全部开源,个人与企业可 100% 免费使用。有任何问题,或者想要的功能,可以在 Issues 中提给艿艿。😜 给项目点点 Star 吧,这对我们真的很重要!基于 uniapp 开发,支持微信小程序、微信公众号、H5 移动端,未来会支持支付宝小程序、抖音小程序等支持 SaaS 多租户,可满足商品、订单、支付、会员、优惠券、秒杀、拼团、砍价、分销、积分等多种经营需求。

欧菲丽的博客 3323

芋道源码 商城模块 数据库 sql文件 yudaosql-mall.sql

芋道源码 商城模块 数据库 sql文件,放心下载。已自用。

基于Vue和Uniapp的芋道商城全功能设计源码

本源码提供了一个基于Vue和Uniapp的芋道商城全功能设计。项目包含537个文件,其中包括221个Vue文件、103个JavaScript文件、73个Markdown文档、60个JSON文件、41个SCSS样式文件、27个PNG图片、3个TTF字体文件、2个HTML文件、1个环境变量文件和1个Gitignore文件。这个系统是一个完整的电商平台,支持分销、拼团、砍价、秒杀、优惠券、积分、会员等级、小程序直播、页面DIY等功能,100%开源,适合需要搭建全功能电商平台的开发者使用。

vivo 全球商城:商品系统架构设计与实践

本文主要论述了vivo商城商品系统的发展历程、架构设计思路及碰到的挑战和解决方案。

vivo互联网技术 910

从音频录制到智能手表:Sigma-Delta ADC是如何在低功耗场景下‘欺骗’噪声的?

本文深入解析Sigma-Delta ADC在智能穿戴设备中的低功耗高精度实现原理,重点介绍其通过过采样和噪声整形技术‘欺骗’噪声的独特方法。以TWS耳机和医疗级健康监测为例,展示该技术如何在有限功耗预算下实现专业级信号采集,为消费电子设计提供关键解决方案。

weixin_30825581的博客 389

Java毕业设计-基于ssm框架的在线商品管理系统项目实战(附源码+论文)

本文介绍了一个基于Java的在线商品管理系统设计与实现。系统采用SSM框架,开发环境包括JDK1.8、Tomcat7、MySQL5.7等工具。主要功能模块涵盖管理员、员工、用户和前台首页的多角色管理,包括商品分类、信息维护、出入库记录、销售统计等功能。系统设计采用模块化架构,包含清晰的数据库E-R图和功能模块图。文中展示了系统关键界面截图,如前台首页、管理员后台、用户中心等,并提供了部分核心代码示例(入库记录管理模块)。该系统实现了商品全流程管理,满足不同用户群体的需求,具有良好的实用性和可扩展性。

2301_77929081的博客 1866

微信小程序后台定位与实时位置更新的实战指南

本文提供了微信小程序实现后台定位与实时位置更新的完整实战指南。针对小程序退到后台后位置更新中断的痛点,详细解析了基于`startLocationUpdateBackground`API的后台定位解决方案。内容涵盖从隐私协议配置、项目权限声明,到授权、启动、监听、停止的核心代码流程,并分享了真机调试、性能优化及权限引导等关键避坑经验,帮助开发者构建稳定可靠的后台位置服务。

weixin_29008055的博客 474

西门子S7-1200与汇川SV660P伺服速度模式实战:从接线到编程全流程

本文详细解析了西门子S7-1200 PLC与汇川SV660P伺服驱动器在速度模式下的集成实战。内容涵盖从硬件接线、伺服参数关键设置(如电子齿轮比)、博图软件组态到PLC编程的全流程,并提供了故障排查与性能优化指南,帮助工程师快速实现精准、稳定的运动控制。

weixin_29248313的博客 492

百万级商品数据实时同步,查询结果秒出

来自:微微科技公司前阵子老板安排了一个新任务,要建设一个商家商品搜索系统,能够为用户提供快速、准确的搜索能力,在用户输入搜索内容时,要能从商家名称和商品...

架构师小秘圈 645

使用LogisticRegression和LightGBM模型对信贷违约进行预测----基于kaggle比赛数据

3.分离数值型变量与类别型变量,发现有些数值型变量因为输入不规范,比如数值中含有字符(28_,_10000_等)被划分为类别型变量 ,比如 'Age','Annual_Income','Num_of_Loan', 'Num_of_Delayed_Payment', 'Changed_Credit_Limit','Credit_Mix','Monthly_Balance', 'Outstanding_Debt' ,'Amount_invested_monthly'等。三、分箱,woe编码,计算IV值。

I_am_a_big_tiger的博客 1682

多平台商品数据整合方案:淘宝+京东+拼多多的API融合实践

淘宝API接口淘宝开放平台提供了丰富的API接口,其中商品详情API接口允许开发者通过编程方式获取淘宝平台上的商品详细信息,包括商品ID、名称、价格、库存、品牌、店铺信息、SKU规格、发货地等。此外,淘宝还提供了商品查询API、订单管理API、物流信息API等,这些接口共同构成了淘宝开放平台的生态系统,为商家提供了强大的数据支持和服务。通过调用淘宝API详情接口,开发者可以获取商品的详细信息,并在自己的网站或应用程序中展示这些信息,提供给用户进行浏览和购买。同时,这些信息也是电商数据分析的基础。

2408_87637081的博客 1314

AI工作流革命:从n8n到Sora2,揭秘自动化视频创作的底层逻辑

本文深入探讨了AI工作流在自动化视频创作中的应用,重点介绍了n8n、Coze和Sora2的组合如何实现从链接输入到视频输出的全流程自动化。通过三层架构解析、关键技术模块优化及成本控制策略,这套方案显著提升了视频生产效率,适用于电商、热点追踪等多种场景。

gg901的博客 1091

华为Atlas200DK实战指南:从零搭建AI开发环境到人像语义分割模型部署

本文提供了一份详尽的华为Atlas 200DK AI开发环境搭建与模型部署实战指南。文章采用合设环境方案,从SD卡准备、系统镜像烧录、网络配置到必备工具安装,逐步引导开发者完成环境搭建。核心部分详细讲解了如何利用华为ATC工具将TensorFlow模型转换为昇腾专用格式,并最终成功编译和运行人像语义分割模型,实现实时人像识别效果。

weixin_29309213的博客 356

eShop商品分类:多级分类与属性管理实现

在当今竞争激烈的电商环境中,一个优秀的商品分类系统是提升用户体验和转化率的关键因素。eShop作为基于.NET技术栈的现代化电商参考应用,其分类系统设计体现了微服务架构下的最佳实践。本文将深入解析eShop如何实现高效的多级分类与属性管理,帮助开发者构建可扩展的商品目录系统。 通过阅读本文,您将获得: - eShop分类系统的架构设计理念 - 多级分类的数据模型实现 - 分类属性的动态管理方案 ...

gitblog_00271的博客 668

Dify 从入门到熟悉100 天的学习大纲

理解 Dify 的核心概念,熟悉操作界面,并能创建简单的 AI 应用。祝你在这 100 天的旅程中学有所成,成为一名优秀的 AI 应用开发者!掌握生产环境部署、监控、调优,并关注 Dify 生态和前沿动态。探索多模态、Agent、API 集成、性能优化等高级主题。掌握工作流编排、高级提示词技巧、知识库优化等核心功能。

IT深耕十余载,大道之简 1740

Spring Boot整合大数据技术:旅游商品管理系统设计与实现全解析

在数字化转型背景下,企业级应用开发正从单一CRUD向数据驱动决策演进。Spring Boot作为主流微服务框架,以其简化配置、快速部署的特性,成为Java后端开发的基石。而大数据技术则解决了海量业务数据的存储、计算与分析难题,为智能推荐、趋势预测等场景提供支撑。二者结合,不仅能构建高可用业务系统,还能通过数据可视化释放数据价值。以旅游商品管理为例,系统需处理景区、商品、订单、用户等多维数据,通过聚合统计与可视化大屏,可直观呈现销售趋势、热门景区排行及用户消费画像,助力运营决策。本文从技术选型、数据库设计到核

weixin_29048775的博客 309

vlan的LWIP使用配置

VLAN (Virtual Local Area Network)是将大的广播域划分为小的域的逻辑概念。VLAN协议基于IEEE 802.1Q。VLAN可以看作是一个子网。两个不同的子网在没有网桥或路由器的情况下无法相互通信。

weixin_43084908的博客 721

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

DeepSeek商品图像识别提升电商搜索体验

DeepSeek通过融合深度学习与电商知识图谱,构建高精度商品图像识别系统,实现以图搜图、细粒度属性解析与跨模态检索,显著提升搜索效率与转化率。

weixin_30205153的博客 614

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

计算机毕业设计之jsp校园二手商品平台

本文设计并实现了一个基于JSP技术和SSM框架的校园二手商品交易平台,系统采用Mysql数据库,主要功能包括:用户模块(注册登录、商品浏览搜索、交易管理)、卖家模块(商品发布、订单处理)、管理员模块(用户管理、商品分类管理)。平台界面友好、操作简便,具备完整的二手交易流程功能。文章详细阐述了系统设计思想、技术架构、数据库设计及具体实现方案,并对系统测试结果进行了总结,验证了平台的实用价值。系统通过分层管理实现了卖家信息维护、商品管理等核心功能,为校园二手交易提供了便捷的解决方案。

2401_87154903的博客 80

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

基于PHP的在线购物网站的设计与实现

本文介绍了一个基于Java和Spring Boot框架开发的在线购物网站系统。系统采用MySQL 5.7数据库,使用Maven 3.3.9进行项目管理,具备前后台分离架构。系统实现了用户管理、商品分类、购物车、订单处理等核心功能,并注重安全性和性能优化。开发过程中运用了Java面向对象特性、Spring Boot简化配置的优势以及MySQL数据库的高效数据处理能力。系统界面友好,功能完善,为中小企业和个人创业者提供了一个低成本、高效率的电子商务解决方案。管理员可通过指定路径访问后台管理系统,默认账号为adm

yh1340327157yh的博客 881
上一篇: Grafana 9 正式发布,更易用,更酷炫了!
下一篇: 4年工作经验,多线程间的5种通信方式都说不出来,你敢信?
公众号-芋道源码
博客等级 码龄10年 1640粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值