马斯克亲自组织Code Review,并晒出Twitter架构图,网友们低估其代码能力了!

Redis数据倾斜与JD开源hotkey源码分析 之前旁边的小伙伴问我热点数据相关问题,在给他粗略地讲解一波redis数据倾斜的案例之后,自己也顺道回顾了一些关于热点数据处理的方法论,同时也想起去年所学习JD开源项目hotkey——专门用来解决热点数据问题的框架。在这里结合两者所关联到的知识点,通过几个小图和部分粗略的讲解,来让大家了解相关方法论以及hotkey的源码解析。先说说数据倾斜的定义,借用百度词条的解释:对于集群系统,一般缓存是分布式的,即不同节点负责一定范围的缓存数据。 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:OSC开源社区(ID:oschina2013)


近日,马斯克前往 Twitter 总部大楼和工程师团队进行了 code review ,并在结束后晒出了合照,以及 Twitter 的系统架构图。

0575531fd43974fb35c5c20589935737.png 07fa1a81f4dd36bf21641ceb5a6b6883.png

当然这不是 Twitter 的整体架构图,主要是展示了 Timeline 部分的架构,其中关键的组件是 Timeline Mixer,据称这是将任何特定的 Timeline 聚合在一起的通用服务器,Home Mixer 则从 Timeline Mixer 中获取内容,并专门将其传送到主页。

有人为这张架构图添加了详细的注释:

b16591653efcef54ed165ec6ceb74419.png

也有人根据它进行重新梳理,提供了简化的版本:

65bdf7c5a01de41f94a297a03c0f5b30.png

更有网友找出了 Twitter 10 年前的架构图,并与现在的进行对比:

5bf46d331a45f4036578df5126501755.png 9271e8653ba6f4b58096a2b9f1fa7a9f.jpeg

马斯克也发布了自己在 code review 结束后所做的笔记:

- 本周可能会弃用 TLS - Home mixer 的计算速度比 Timeline 快 10 倍 - Ad blender 能够以较低的总广告浏览量为代价极大地提高相关性。广告越有趣,您看它的时间就越多

c0c5c235ffbc5003d675be53b3ef3078.png

有网友表示自己在与马斯克进行 code review 的时候,得到了老板的优化提议,不过第二天却收到了被裁员的邮件(无法确认真实性,不知道是不是编的……)

54d0897e2fd7c8a3fca9d03fa83035ef.jpeg 018cc05f154611c700f0e7d018426c7c.png

相关链接:

https://twitter.com/elonmusk/status/1593899029531803649

https://twitter.com/justinhendrix/status/1594031031795027970/photo/1

https://twitter.com/vboykis/status/1593938086202834944

https://twitter.com/alexxubyte/status/1594008281340530688

https://twitter.com/elonmusk/status/1594076600701579264



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

3d9c7d99eaffa9bee8bc53af9c54c113.png

已在知识星球更新源码解析如下:

109a5859775adc605d861d0cd59db8a9.jpeg

eba7469f31d84724714e0086d6752d11.jpeg

58030ac2408720c79514772b37fde49c.jpeg

7d235a24bfd0dfd5b9b677ddf65b3bb1.jpeg

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
【数据集】中国广泛时空水质数据集(1980-2022) 简介中国广泛时空水质数据集(1980-2022) 阅读详情

相关推荐

推荐系统(1):推荐系统评测

对于可以离线优化的指标,我个人的看法是应该在给定覆盖率、多样性、新颖性等限制条件下,尽量优化预测准确度。用一个数学公式表达,离线实验的优化目标是:最大化预测准确度使得 覆盖率 > A多样性 > B新颖性 > C其中,A、B、C的取值应该视不同的应用而定。

数据不会骗人 2527

每个程序员都应该收藏的算法复杂度速查表

点击上方“芋道源码”,选择“设为星标”管她前浪,还是后浪?能浪的浪,才是好浪!每天 8:55 更新文章,每天掉亿点点头发...源码精品专栏原创 | Java 2020 超神之路,很肝~...

芋艿V 262

用Python写个彩票小助手:自动生成双色球/大乐透号码并保存到桌面

本文介绍如何使用Python开发一个智能彩票助手,实现双色球和大乐透号码的随机生成与桌面文件保存功能。通过详细的代码示例,包括随机号码生成、文件操作、用户交互和错误处理,帮助Python初学者快速掌握实用工具开发技巧。

weixin_42566121的博客 523

京东热 key 探测框架新版发布JD-hotkey,单机 QPS 可达 35 万

https://mp.weixin.qq.com/s/3URAvUF6zwxeF5Kkc1aWHA

文盲青年的博客 8837

GATK SNP过滤参数优化:从标准到个性化调整的实践指南

本文深入探讨了GATK SNP过滤参数的个性化调整策略,强调不应盲目套用官方标准参数。文章详细拆解了QD、FS、SOR等关键过滤参数的含义,并提供了通过数据分布分析、文献调研和迭代测试来确定适合自身数据(如动植物重测序)最佳阈值的实践方法,旨在帮助研究者在保留真实变异与剔除假阳性信号之间找到最优平衡。

weixin_29216049的博客 278

DC算法竞赛——北京PM2.5浓度回归分析

北京PM2.5浓度回归分析 比赛结果(118/1150) 一. 概述 1、项目来源:https://www.dcjingsai.com/static_page/cmpList.html 2、给定数据字段如下: 3、使用方法:回归算法 4、目的:预测北京pm2.5值,使平均预测误差越小越好。 二、分析过程 setwd("E:/R数据源") #读入数据 data <- read.csv('p...

玻璃球的博客 3475

AsyncTool 京东多线程并行框架

然后在worker类中通过get(“id”)的方法,获取指定id的返回结果作为参数。通过.getWorkResult().getResult()获取具体的返回值。首先通过 .id(“id”) 方法想要获取参数的线程都编号,通过以上两个方法可以实现线程之间的串、并行等各种复杂的操作。以此类推创建worker1、和worker2。先添加repositories节点。然后添加如下maven依赖。如此,实现了线程的并行。定义一个worker。可以通过一下方法实现。

weixin_58286934的博客 3321

基于Python实现的捕鱼达人小游戏源代码+使用说明

摘要: 本文介绍了一款自制的捕鱼达人小游戏,使用Python3和Pygame模块开发。游戏包含完整的资源文件(图片、音效、字体)和源码结构(11个功能模块),实现了大炮移动射击、特殊子弹、炸弹、难度递增等核心玩法。安装需配置Python环境和Pygame模块,运行main.py即可启动游戏。游戏支持键盘控制(方向键移动、空格射击、1键放炸弹),默认时长600秒,包含开始菜单、游戏界面和结束界面。所有代码均有详细注释,项目已开源并提供下载链接。(150字)

2301_76484015的博客 669

延迟队列实现,定时任务,关闭订单

点击上方“芋道源码”,选择“设为星标”管她前浪,还是后浪?能浪的浪,才是好浪!每天 8:55 更新文章,每天掉亿点点头发...源码精品专栏原创 | Java 2020 超神之路,很肝~...

芋艿V 490

c转c++——蓝桥杯

在这里,`int &i` 表示 `i` 是一个整型的引用变量,而不是一个拷贝,这意味着在循环中对 `i` 的修改会影响到数组 `arr` 中对应位置的值。arr则是需要遍历的数组。一、为啥要转C++:之前只学过C语言,然后为了蓝桥杯苦哈哈敲了C好久,偶然听了别人的意见去看了一下C++后发现简直太香了——C++不像C要把底层逻辑自己敲出来,而是可以直接调用STL函数库(比如排序,C语言可能要敲个几十行代码C++直接用调用sort函数就可以了),而且C++完全兼容C语言,里面的语法全部可以用C替换。

smwymzqbyl的博客 2046

【VS开发】【DSP开发】WinDriver简介(或介绍)

WinDriver for Windows简化并自动化了用户模式Windows设备驱动程序的开发,支持设备包括PCI / CardBus / ISA/ PCI-104 / PCMCIA * / PMC / PCI-X 和 CompactPCI,无需DDK或内核级编程知识。关于USB设备驱动开发,请参见WinDriver USB for Windows。   WinDriver包含一系列

ZhangPY的专栏 1477

吊炸天的 JD-hotkey !京东开源!单机 QPS 高达 370000

点击关注公众号,回复“1024”获取2TB学习资源!HotKey在618稳定版0.2版基础上,引入了protobuf序列化方式,并优化了传输对象。worker单机性能从618大促稳定版的2...

民工哥的博客 1015

Claude Code 官方文档+3 个高活跃社区+5 个可复用开源项目:14.4 节持续学习资源实测清单

揭示 Claude Code 的核心交互范式是「状态机驱动的对话式编程」,强调官方文档实为配置契约、社区是直觉验证场、开源项目是配置能力校准器;通过真实故障案例解析上下文丢失根源,提出以工程化方式管理 claude.config.json、CLAUDE.md 和技能配置。

weixin_28728443的博客 326

马斯克亲自组织Code Review,并晒出Twitter架构图!网友们低估其代码能力了?

出品 | OSC开源社区(ID:oschina2013)近日,马斯克前往 Twitter 总部大楼和工程师团队进行了 code review,并在结束后晒出了合照,以及 Twitter 的系统架构图。当然这不是 Twitter 的整体架构图,主要是展示了 Timeline 部分的架构,其中关键的组件是 Timeline Mixer,据称这是将任何特定的 Timeline 聚合在一起的通用服务器,H...

HollisChuang's Blog 461

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

马斯克亲自Code Review,并晒出Twitter架构图,网友们低估其代码能力了!

近日,马斯克前往 Twitter 总部大楼和工程师团队进行了 code review,并在结束后晒出了合照,以及 Twitter 的系统架构图。当然这不是 Twitter 的整体架构图,主要是展示了 Timeline 部分的架构,其中关键的组件是 Timeline Mixer,据称这是将任何特定的 Timeline 聚合在一起的通用服务器,Home Mixer 则从 Timeline Mixer ...

Java精选 303

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

马斯克亲自组织Code Review?其代码能力被低估了吗?

近日,马斯克前往 Twitter 总部大楼和工程师团队进行了 code review,并在结束后晒出了合照,以及 Twitter 的系统架构图。当然这不是 Twitter 的整体架构图,主要是展示了 Timeline 部分的架构,其中关键的组件是 Timeline Mixer,据称这是将任何特定的 Timeline 聚合在一起的通用服务器,Home Mixer 则从 Timeline Mixer 中获取内容,并专门将其传送到主页。有人为这张架构图添加了详细的注释:也有人根据它进行重新梳理,提供了简化的版本:

chenxuyuana的博客 1015

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

马斯克组织Code Review,并晒出推特架构图?其代码能力被低估了

近日,马斯克前往 Twitter 总部大楼和工程师团队进行了 code review,并在结束后晒出了合照,以及 Twitter 的系统架构图。当然这不是 Twitter 的整体架构图,主要是展示了 Timeline 部分的架构,其中关键的组件是 Timeline Mixer,据称这是将任何特定的 Timeline 聚合在一起的通用服务器,Home Mixer 则从 Timeline Mixer 中获取内容,并专门将其传送到主页。有人为这张架构图添加了详细的注释:也有人根据它进行重新梳理,提供了简化的版本:

jjc4261的博客 289

基于京东开源Hotkey的热key处理

京东hotkey很轻量级,不会修改redis源码,也不用更高redis客户端的jar包,和redis不依赖,是一个完全独立的系统。需要部署一个独立的server,会对key进行探测,进行key的上报,会把热key的值加载到JVM内存中。具有很强的实时性,默认情况下500ms即可探测出key是否热key。一台8核8G的机器,每秒可以处理数千台服务器发来的 高达16万个待测的key,8核8G单机吞吐量每秒在16万。识别到热key之后缓存到电商系统的JVM当中。

zhangzhi1979815592的博客 563

京东开源框架! JD-hotkey

JD-hotkey 是京东 APP 后台热数据探测框架,历经多次高压压测和 2020 年京东 618 大促考验。在上线运行的这段时间内,每天探测的key数量数十亿计,精准捕获了大量爬虫、刷子用户,另准确探测大量热门商品并毫秒级推送到各个服务端内存,大幅降低了热数据对数据层的查询压力,提升了应用性能。该框架历经多次压测,性能指标主要有两个:1 探测性能:8核单机worker端每秒可接收处理16万个...

独行侠梦的博客 716

京东开源,牛逼哄哄的 JD-hotkey 到底有多强悍?

对任意突发性的无法预先感知的热点请求,包括并不限于热点数据(如突发大量请求同一个商品)、热用户(如爬虫、刷子)、热接口(突发海量请求同一个接口)等,进行毫秒级精准探测到。然后对这些热数据、热用户等,推送到该应用部署的所有机器JVM内存中,以大幅减轻对后端数据存储层的冲击,并可以由客户端决定如何使用这些热key(譬如对热商品做本地缓存、对热用户进行拒绝访问、对热接口进行熔断或返回默认值)。这些热key在整个应用集群内保持一致性。核心功能:热数据探测并推送至集群各个服务器。适用场景:

没有伞的孩子必须努力奔跑!—小林 655

架构设计内容分享(四十五):多级缓存 架构设计

引入本地缓存又会带来哪些问题呢?主要问题有:数据一致性问题本地缓存数据污染问题前面咱们看了 数据一致性问题。再来看看,缓存污染问题。缓存污染问题指的是留存在缓存中的数据,实际不会再被访问了,但是又占据了缓存空间。如果这样的数据体量很大,甚至占满了缓存,每次有新数据写入缓存时,还需要把这些数据逐步淘汰出缓存,就会增加缓存操作的时间开销。因此,要解决缓存污染问题,最关键的技术就是能识别出这些只访问一次或是访问次数很少的数据,在淘汰数据时,优先把他们筛选出来淘汰掉。所以,解决缓存污染的核心策略,叫做。

之乎者也·的博客 1486

芋道框架 定时任务Job 的使用

芋道框架定时任务禁用、开启, 定时任务实例demo

weixin_43652507的博客 3657

通过AsyncTool抓取下载地址,练习并行框架记录

<dependency> <groupId>cn.hutool</groupId> <artifactId>hutool-all</artifactId> <version>4.5.15</version> </dependency> <dependency> &l...

qq_41506710的博客 910

分布式专题——10 京东热点缓存探测系统JDhotkey架构剖析

多级缓存、热点探测服务、JDHotkey 快速实战、JDHotkey 原理与架构剖析

念头通达 990

漏洞系统搭建/漏洞系统扫描-零基础渗透技巧

本帖旨在于技术交流,请勿进行非法攻击行为。芋道管理系统是当前gitee上最受欢迎的开源系统,其收到的Start数量已经超过50k,该系统集成多种功能于一身,被众多企业所接受。

程序员六七的博客 977
上一篇: Spring Boot 程序优化的 14 个小妙招!
下一篇: 聊聊如何度过寒冬(个人篇)
公众号-芋道源码
博客等级 码龄10年 1636粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值