3800亿交易额背后的超级秘密,是谁在操盘京东618的大数据运维?

一次实时数据链路丢数排查:从 MQTT 队列积压到 SQL 统计开销 本文通过一次实时数据链路压测,排查了从MQTT到ClickHouse的端到端数据丢失问题。核心方法是为每条消息添加序号,建立独立观察点(MQTT订阅端、Kafka消费者),结合转发服务阶段统计与线程栈分析,定位到下游处理速度不足源于Druid SQL合并统计的高开销。优化措施包括关闭SQL合并、扩容代理队列、增强生产侧失败处理,并验证15分钟内实现全链路对账一致,显著缓解积压与丢包。关键收获:数据可对账、明确各阶段“成功”定义、关注客户端队列状态。 阅读详情

在京东整个电商体系中,交易系统占据着其中的半壁江山,购物车、结算、库存、价格等相关的环节都包含在其中,可以说交易系统的高可用能力基本上决定了整个京东商城的高可用能力。

但在京东这样的大规模分布式系统面前,每时每刻服务器可能都宕机,网络随时可能都在抖动,大量接口调用量日均过亿,同时具有流量聚集效应的促销每天都会有好几波,尤其是618、11.11这样的大促节点,在数亿消费者与商家狂欢的同时,在高频、高额、高密度的交易场景下,如果没有一套强大的监控体系,就像睁眼瞎一样,很难为用户提供稳定而流畅的购物流程。

经过多年的落地与实践,基于可观测领域,京东目前已经搭建了比较完善的安全生产监控体系,时刻监视着系统的健康状态。而在这套监控体系下,京东是如何保证用户如丝滑般的购物体验?在618大促期间,面对数十亿级性能监控指标,数百万数据查询量,京东又是如何承接亿级流量洪峰,保障平台系统的稳定?

为了了解这背后的技术故事,7月27日「UGeek大咖说-大厂可观测」-京东专场,我们邀请到京东监控负责人潘莹做客直播间,带来《京东商城可观测体系的落地与实践》的主题分享,将为大家深度揭秘京东商城可观测体系的技术架构与实战经验。

本期内容非常值得借鉴,欢迎大家锁定7月27日晚20:00的直播。

 精彩亮点

  • 百万级容器规模系统可观测方案
  • 基于可观测构建安全生产体系
  • 京东商城可观测体系建设展望

嘉宾介绍

潘莹:

  • 京东商城APM系统打造者、智能监控平台负责人
  • 带领团队通过可观测领域进行的大量的工作和实践,发展京东商城可观测生态,基于数十亿级别的观测数据,推动搭建京东安全生产体系,为各业务系统的稳定运行提供了强有力的支撑,经受住了一次次大促考验

直播活动介绍

UGeek大咖说--是优维科技优维科技为技术爱好者研讨云原生技术演进趋势而举办的系列活动,2022年的主题为“可观测”。每月一期,每期从一线大厂邀请核心骨干分享原厂实践,我们准备好了全年大厂盛宴!

mall 电商项目完整部署---实战 mall 后端 SpringBoot,mall‑admin‑web 后台管理 Vue 前端,mall‑app‑sc 移动端 uni‑app 前端;修改数据库、redis、minio、logstash 地址,容器之间 link 别名:mysql 容器别名。🔔排坑:登录报跨域 / 接口报错,检查 prod.env.js 地址,确认 8080 后端服务正常运行。能打开页面,接口列表展示出来,后端部署完成。,所以打包的时候会自动构建镜像,很慢而且你暂时不需要。,容器数据持久化,删除容器数据不会丢失。 阅读详情

相关推荐

ARM CoreSight架构

CoreSight架构是现代复杂SoC的“飞行数据记录仪”(黑匣子)和“精密诊断仪”的结合体。它彻底改变了嵌入式系统的调试方式,从传统的“盲人摸象”变成了拥有“上帝视角”,是ARM生态系统能够支撑起从微控制器到高性能服务器芯片如此广泛产品线的重要基石技术之一。

guigenyi的专栏 1423

企业如何同时管理用电安全、电能质量和节能降碳?从异常溯源看施耐德电气EEO的协同管理价值

通过整合电力运行信息,并结合EEO资产健康模块、EEO电能质量模块与EEO能碳管理模块,企业可以围绕设备、回路和负荷建立更连续的分析流程,使不同专业人员能够基于相互关联的数据开展判断。企业需要进一步核对异常出现的时间、涉及的配电回路、生产负荷变化以及设备运行状态,才能判断问题来自正常的生产调整、设备运行异常,还是需要采取措施的电能质量问题。从关键回路的异常排查入手,逐步完善设备数据、专业分析和治理验证流程,企业可以让用电安全、电能质量与节能降碳从分散的管理任务,转变为相互关联的日常运营工作。

科技,技术,行业类博主 166

模拟调制系统实战:从AM到FM的5种调制方式对比与选型指南

本文深度解析AM、DSB、SSB、VSB、FM五种经典模拟调制方式,从实现电路、频谱效率、抗噪性能及工程成本等维度进行实战对比。通过MATLAB/Simulink仿真案例,提供清晰的选型决策框架,帮助工程师在无人机图传、短波通信、广播系统等具体项目中,根据带宽、功耗和抗干扰需求选择最优方案。

study的专栏 932

Flink 学习日志 03:自定义一个SourceFunction,完成对Redis中数据的读取

本文介绍了在Flink中自定义SourceFunction读取Redis数据的完整流程:通过Jedis客户端连接WSL2中的Redis服务,编写RedisSource实现循环读取所有Key-value并逐条输出,结合Thread.sleep()实现每秒一条的流式效果。关键步骤包括环境准备、添加Jedis依赖、配置IDEA运行时加载provided依赖,并注意生产环境中应避免使用阻塞的keys *,改用scan命令。最终实现动态读取、实时打印,验证了Flink与Redis的数据集成能力。

木木的学习笔记 431

无人机飞控传感器全解析:从IMU到光流传感器的实战应用

本文深入解析了无人机飞控系统的核心传感器,从IMU、气压计、磁力计到光流传感器,详细阐述了其工作原理、数据融合策略及常见挑战。结合ICF5、Pixhawk 6C等主流飞控硬件,提供了从传感器校准、滤波器调优到应对室内光流定位、强磁干扰等实战场景的系统性优化指南,帮助开发者突破飞控“黑箱”,实现更稳定、可靠的飞行控制。

weixin_28396629的博客 169

【Python爬虫(90)】以Python爬虫为眼,洞察金融科技监管风云

本文聚焦爬虫技术在金融科技监管中的应用。开篇阐述金融科技发展带来监管挑战,引出爬虫技术的重要性。接着介绍金融科技监管政策与合规要求,包括政策法规体系、合规细则及政策变化应对。随后探讨爬虫技术选型、数据监测策略、风险指标抓取及案例实操。还阐述基于爬虫数据构建风险预警与防控机制,含模型构建、阈值设定等。最后总结爬虫技术应用成果,展望其与人工智能融合、适应新监管需求及重视数据安全的未来发展趋势。

邓邓子的博客 1063

京东 Apache Doris 湖仓查询优化实践:从多引擎统一到百万级查询

京东基于 Apache Doris 构建统一湖仓查询引擎,支撑日均百万级查询与 PB 级数据扫描。深入解析 Presto、StarRocks 迁移、分区裁剪、Split 调度、向量化执行及 AI Agent 混合负载优化实践。

SelectDB 415

【Claude Code 实战】第十章:DevOps 与 CI/CD 集成 / 光子AI

本章摘要:探讨Claude Code在DevOps与CI/CD集成中的应用。DevOps作为现代软件工程核心,结合AI技术实现自动化全流程,从代码提交到生产部署。通过CALMS模型(文化、自动化、精益、度量、分享)解析DevOps理念,对比传统瀑布模式与DevOps模式差异,展示AI如何加速Dockerfile编写、CI/CD配置等任务。典型示例显示AI可将原本30-60分钟的手动配置缩短至1-2分钟,大幅提升DevOps效率。

AI天才研究院 367

Day3 - Flink 窗口与时间语义:从滚动窗口到迟到数据处理

水位线是一个特殊的时间戳,代表"小于这个时间戳的数据都已经到齐了比如水位线推进到 10:00:05,就告诉 Flink:10:00:05 之前的数据应该都到了,如果还有晚于这个时间到达但时间戳小于 10:00:05 的数据,就是"迟到数据"。窗口大小固定,窗口之间不重叠,数据只属于一个窗口。时间线: 0 10 20 30 40 50 60窗口1: [--------)窗口2: [--------)窗口3: [--------)窗口4: [--------)

YEEMOLY的博客 263

Python爬虫:爬取拼多多平台商品信息、销量、价格等数据

在本篇博客中,我们将深入探讨如何使用Python爬虫技术爬取拼多多平台的商品信息,包括商品的标题、销量、价格等详细数据。拼多多的商品页面通常是分页展示的,因此我们需要遍历多个页面,获取所有商品的信息。每个商品在拼多多平台上都有一个唯一的商品ID,我们可以通过该ID访问商品页面。通过以上的技术方案和代码示例,你已经掌握了如何使用Python爬虫获取拼多多平台上的商品信息、销量、价格等数据。等技术,解决拼多多平台的反爬虫机制,成功抓取我们所需的商品数据。,我们能够应对拼多多的反爬虫机制,稳定地获取到商品数据。

2201_76125261的博客 3657

直捣黄龙~

这篇文章描述了一个矩阵寻路问题,要求计算从起点到终点的最短路径数量及长度。主要思路是通过BFS算法解决:首先标记哨兵警戒区域为禁区,然后从起点出发进行广度优先搜索,记录每个位置的最短步数和路径条数。当到达终点时,输出路径数和步数;若不可达则返回(0,0)。算法使用队列实现BFS,同时处理路径统计和步数记录,适用于网格寻路类问题。

面试高手的博客 217

智能问诊的流程

本文介绍基于FastAPI构建的医疗多Agent系统MediAgent,通过症状分析、诊断推理与治疗建议等模块协同,实现从问诊到报告生成的完整工作流。系统采用前后端分离架构,结合MySQL、RabbitMQ与Docker实现工程化部署,支持异步化验结果接入。虽当前状态暂存于内存,但已具备可扩展性,未来可通过Redis持久化、消息队列联动及医疗安全机制完善,应用于慢病管理、辅助决策等场景,推动AI在医疗流程中的落地应用。

Joey 的工作空间~ 782

YOLOv11改进策略【卷积层】| 引入注意力卷积模块RFAConv,关注感受野空间特征 助力yolov11精度提升

RFAConv:创新空间注意力和标准卷积运算感受野空间特征是针对卷积核设计的,根据卷积核大小动态生成。以3×3卷积核为例,它由非重叠滑动窗口组成,每个窗口代表一个感受野滑块。

Limiiiing的博客 1823

行业研究报告采购避坑指南:从需求拆解到机构选型的实操逻辑

先说结论:买行业研究报告这件事,坑不在“哪家便宜”,而在“你拿到的数据能不能回答你的问题”。作为一个经常帮企业做采购决策的顾问,我见过太多花了几万块买回一堆PDF却用不上的案例。这篇文章把采购流程拆成五步,每一步告诉你该看什么、该避什么,尽量帮你少交学费。

2601_96585642的博客 227

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

大数据与审计专业哪些证书企业比较认可?

大数据与审计专业选证书,首先要明确就业方向:是进入会计师事务所做财务审计,还是进入企业从事内部审计、风险控制,或向数据审计、信息系统审计发展。不同岗位看重的专业能力不同,证书的价值也应放在具体招聘要求中判断。面向2027年的求职与备考规划,值得重点考虑的有六类:初级会计专业技术资格、注册会计师、审计专业技术资格、CDA数据分析师、国际注册内部审计师和国际注册信息系统审计师。选择时,宜采用“财审基础+数据能力+岗位专长”的组合,而不是单纯追求持证数量。

YangYang9YangYan的博客 300

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

深入浅出聊聊 Linux 的 PageCache 与系统极致性能

本文深入浅出解析了 Linux PageCache 的核心机制,揭示其如何通过“延迟写、预读读”提升系统性能。以监控告警为切入点,阐明 free -h 中 buff/cache 并非真正占用,真正可用内存由 available 决定。结合 Kafka、Elasticsearch、MySQL 等实战场景,说明中间件如何依赖 PageCache 实现极致性能。强调不可手动清理缓存,并建议合理调优脏页参数,避免卡顿。最终指出:内存满≠危机,而是系统高效运行的体现。

小小默:进无止境 490

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

数据科学与大数据技术大一到大三考证顺序怎么排?

数据科学与大数据技术专业的考证安排,适合跟着课程和求职方向走,而不是跟着证书数量走。大一还在学高等数学、程序设计,大二逐步接触概率统计、数据库,大三开始进入机器学习、大数据平台和专业实习。证书与这些课程衔接起来,备考才容易转化为实际能力。下文推荐6项证书,其中既有基础性考试,也有职业方向认证,不需要全部考完。安排考证顺序的关键,是让每次备考都留下两项成果:一张能够说明学习经历的证书,以及一份能够展示实际能力的作品。

2501_93367079的博客 63

CentOS7-Elasticsearch8.15.3-Kibana8.15.3-安装部署笔记

Token 有效期只有 30 分钟,请保存好输出的 base64 字符串并尽快完成 Kibana 对接;本文整理自单机离线部署实践,适用于 CentOS 7 + Elasticsearch/Kibana 8.15.3 场景。只对新登录的会话生效,修改后需重新连接 SSH。结尾,其中包含 elastic 用户初始密码、HTTP 层证书等信息。等字段的集群 JSON 信息,即说明账号、HTTPS、证书均正常。安装成功后,终端会打印安全自动配置结果,以。按交互提示输入两次自定义密码。,保存后重启服务器生效。

遇见bug的博客 172

ubuntu安装hadoop系统

本文详细介绍了基于VMware克隆虚拟机搭建三节点Hadoop分布式集群的全过程:使用同一Ubuntu镜像克隆出master、worker1、worker2三台虚拟机,依次配置主机名、固定IP(如192.168.82.10/11/12)、SSH服务及免密登录,确保节点间网络互通。随后安装Java,下载配置Hadoop并分发至各节点,最终初始化启动集群,验证其存储与计算功能,实现高效的大数据环境部署。

qq_43592674的博客 350

Day2 - Flink DataStream API 与转换算子:从 Source 到 Sink

实现或@Override// 发射数据@Override// 使用用自定义逻辑聚合,比 sum/min/max 更灵活。// 求每个用户的总消费金额reduce 的输入和输出类型必须相同。Flink 会把满足条件的相邻算子合并成一个 Task,在同一个线程里执行,减少线程切换和网络开销。合并条件上下游并行度相同;分区策略是 Forward;没有被用户手动断开。

YEEMOLY的博客 184

数据科学与大数据技术专业有哪些比较好考的证书?

如果目前还没有明确方向,建议先完成Python与SQL基础学习,再选择一张与目标岗位最接近的证书。不要为了增加简历条目,在同一阶段同时准备多个不同技术方向。以数据分析方向为例,可以参考2025版CDA证书大纲安排基础学习:先掌握业务数据结构、数据库应用和统计分析,再进入指标体系、看板和用户分析。具备一定项目经验后,再学习二级涉及的统计检验、模型评估及数据治理。2025版教材介绍强调了思维、技术和实践的结合,适合用于组织学习;2027年的具体考试范围、报名条件和安排,则应依据届时发布的信息制定计划。

YangYang9YangYan的博客 334

如何在用户认证系统中使用 ElasticSearch 提升

本文介绍了如何在一个典型的企业级应用——用户认证与权限管理系统内引入并运用 ElasticSearch 技术来提高查找效率并降低数据库负载压力。读者可以通过了解其基础架构原理、正确配置方式以及典型应用场景从而掌握该工具的基本用法。如果你正在寻找一种更灵活高效的检索方案用于自己的项目当中,请考虑从以下几个方面入手实践: 1. 确认是否有必要引入新的全文搜索引擎;2. 设计好适用于该项目的数据模型以及索引规则;3. 持续优化你的 DSL 查询语句并监控运行状态;

wuchangjian的专栏 185

Flink SQL 窗口表值函数实战:滚动、滑动、累计与会话窗口

在 Flink SQL 中,流数据是无限的,要统计“最近一段时间”的数据,就必须把无界流切分成一个个有界窗口。Flink 1.13 之后引入了窗口表值函数(Window TVF),把窗口本身当作一张表来使用,通过TABLE(...)语法把原表转换成带窗口信息的表,再配合GROUP BY完成聚合。相比早期的语义统一:窗口是一张表,可以像普通表一样查询、过滤、关联。结果可读:窗口表会自动带上window_end三个字段,方便直接输出。性能更好:底层基于窗口聚合算子优化,支持切片共享等机制。

2401_83857914的博客 371

IM即时聊天场景中消息队列实现方案对比与选型实践

引言在当今互联网应用中,IM(即时通讯)系统是支撑用户交互的核心模块之一。无论是在社交类App、企业协作平台,还是在线客服系统中,高效、稳定的消息处理能力直接影响用户体验和系统吞吐能力。然而,IM系统在高并发、异步处理、消息持久化等方面面临诸多挑战,其中消息队列(Message Queue)的选型与实现尤为关键。本文将围绕一个典型IM场景,从算法与数据结构的视角出发,结合具体实现方案,深入分析多种消息队列机制在IM场景中的适用性,并给出选型建议。适合具有5年以上经验的工程师和技术负责人参考。

wuchangjian的专栏 240

Flink 知识大总结:从核心概念到生产实践

Flink 的知识体系可以概括为「一个核心、两大抽象、三层保障」:以流为核心,以 DataStream 和 Table/SQL 为两大编程抽象,以状态管理、Checkpoint 容错和端到端一致性为三层保障。掌握这些主干知识后,再结合具体业务场景深入调优,就能在生产环境中稳定发挥 Flink 的实时计算能力。

2401_83857914的博客 353

QGIS + PostGIS 完整实操流程

视图没有主键,图层属性 → 源 → 唯一标识字段,手动指定id字段。顶部菜单:图层 → 添加PostGIS图层 → New,填一样的参数。顶部菜单:数据库 → DB Manager(内置插件,不用额外装)优势:多人同时连同一个库编辑,不用来回传shp文件。连接成功后,点开连接,就能看到schema(默认。)下面所有空间表,直接拖拽到画布加载图层。

2501_92509118的博客 201
上一篇: 优维科技7周年庆|未来可“7”,从心出发
下一篇: 优维低代码:Use Resolves
优维科技EasyOps
博客等级 码龄5年 1483粉丝 395原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值