智慧腾讯,梦想互联——1亿在线背后的技术挑战

【管理科学】第六十三篇 企业管理者招聘与人才博弈战略02 编号类型领域问题问题的数学分析(含逐步推理与数值范围)方法/手段/步骤/流程/话术/策略/行为/时序的所有内容和步骤(含数学表达式与数值分析)时序数学表达式及周期行动的数学表达式(含数值范围)关联知识和法律法规651组织博弈成本控制如何在保证质量的前提下有效控制成本?逐步推理: 1. 成本控制模型:成本每降低10%,利润可提升15%~25%。但过度降本可能影响质量和员工士气。 2. 控制效果:有效的成本控制可使利润率提升5%~10%。 3. 法律风险:需遵守劳动法和产品质量法。步骤与数学表 阅读详情

本文来自腾讯大讲堂(DJT.QQ.COM),转载请注明出处

智慧腾讯,梦想互联——1亿在线背后的技术挑战

暨腾讯大讲堂走进北航活动总结

 

  腾讯大讲堂历经四个年头后,于去年金秋十一月,首次走出腾讯,来到北京航天航空大学,与业界同仁和高校学子一起分享腾讯十三年来在互联网产品研发中的心得和体验。

  本次活动由优快云、《程序员》和腾讯共同举办,暨TUP第十六期:智慧腾讯,梦想互联——1亿在线背后的技术挑战,邀请到了腾讯通平台部高级技术总监、T4级技术专家、腾讯软件开发通道分会会长庄泗华,讲述QQ在一次次升级、飞跃中经受的考验和积累的经验。

 

苛刻的数字考验,近乎百分百的要求


  众所周知,海量互联网服务能力是世界公认的技术难题。经过十多年的发展,腾讯在海量互联网服务方面已有不少技术积累。演讲以QQ IM后台服务为例,重现了QQ在线用户从百万级到亿级的整个过程中遇到的技术挑战,分享众多在海量互联网后台服务研发运营方面不为人知的秘密。QQ现在面临7亿活动账户,每日1.4亿用户同时在线。QQ过万台IM服务器和百亿级的关系链对数每天接受千亿级的服务请求考验。在这些苛刻的数字面前,腾讯要保证99.99%这一近乎百分百的可用性。从10万到1.4亿,整个过程经历过很多波折,吸取了很多教训,因此腾讯对海量服务的理解是长期积累的结果。

 

从十万级到百万级在线,第一代架构难支持


  QQ在最早期1.0时代,由于用户量较少,十万级在线,并且业务功能非常简单,例如登陆、添加好友、在线状态获取等,因此架构非常简单,由QQ客户端+接入服务器+存储服务器组成。随后随着业务的拓展,需要支持支持视频、语音、传文件等实时宽带业务,以及更多类型的用户资料,我们增加了长连接服务器,为无法直连的客户端进行实时宽带数据中转,还对存储服务器进行轻重分离,使核心服务器保证稳定,利用扩展服务器快速支持新增业务,这就是之后的1.5版本。但是我们发现无论是1.0还是1.5,我们发现都难以支撑百万级别在线。因为一百万的时候,各方面都会遇到很大的瓶颈。以接入服务器的内存为例,单个在线用户的存储量约为2KB,索引和在线状态50字节,好友表400个好友* 5字节/好友=2000字节,这样算来2G内存只能支持一百万在线用户,因此第一代架构肯定没有办法继续下去,我们必须要升级。

  2.0的主要改进在于单台服务器扩展成集群,增加状态同步服务器。在接入服务器之间同步在线状态,如下图所示。

  


  这次升级帮助QQ在2001年顺利突破100万在线用户数。随后为了支持QQ群,又将2.0升级到2.5,增加了QQ群服务器和群贴图服务器。

  在从十万到百万的过程中,有两个重要的经验,一是后台架构的高性能,主要通过六个方面实现:绝对不用企业级解决方案,逻辑层多进程,万有一失的无锁设计,用户态IPC,MySQL分库分表,好友表自写文件存储。二是7乘24小时连续服务,主要通过以下方法实现的:大系统小做,平滑重构,核心数据放入共享内存,接入层与逻辑层分离,命令分发动态配置化。

 

千万级在线的考验,第二代架构难维系


  2005年QQ同时在线迅速增长到千万级,于是之前的架构再次面临挑战,突出的问题主要体现在,同步流量太大,状态同步服务器遇到单机瓶颈;所有在线用户的在线状态信息量太大,单台接入服务器存不下;单台状态同步服务器支撑不下所有在线用户;单台接入服务器支撑不下所有在线用户的在线状态信息。没有办法,只得进行再次升级,3.0时代到来。

  3.0改造的主要特点是全面的集群化,如下图所示。

   


  但是事情别非如我们原想那样顺利,很快新问题产生了。

  问题一:后台机器越来越多,单机死机/故障经常出现,IDC故障也不少,影响服务,也影响人员生活。经过分析我们决定加速容灾改造,存储集群建立半自动切换模式,业务集群、接入集群、同步集群建立自动切换模式,后台分布在两套IDC,并有指挥中心设备健康状态。

  问题二:每周有新代码发布,BUG不断出现,严重影响服务。这个问题我们采用Code Review和灰度发布的方法,头、得到有效的解决。

  问题三:监控机制原始、报警设置不全,出事了都不知道。这个初始我们完善监控和报警机制。

  问题四:运维操作通过vim或者mysql进行,非常容易失误。我们通过运维操作Web化(半自动化)、自动化有效的解决了这个问题,并服务可用性终于提升到了行业先进水平。

  通过解决以上问题,我们得到了3.5架构,如下图所示。

  

  这一阶段,我们得到如下经验,架构必须对外提供高可用性的服务,对内提供高可运维性的系统。同时利用灰度发布,运营监控,容灾,运维自动化/半自动化等方法解决架构问题。

 

亿级在线的飞跃,新时代伴随着新烦恼


  

IM亿级在线存储系统架构

 

  随着亿时代在线的到来,新的问题和烦恼也随之出现。首先是灵活性问题,比如说QQ昵称长度增加一半需要两个月,增加故乡字段需要两个月,增加最大好友数从500变成1000需要三个月。其次,亿时代还需要具备一些重要的能力,比如原来有上万的好友;对隐私权的控制;PC QQ与手机QQ别互踢;异地容灾,即一个城市出问题的时候,别的城市也能提供服务等等。但亿时代带来的最大的挑战是,原先IM后台从1.0到3.5都是在原有的基础上改造升级,IM后台1.0的代码在3.5的下面都能找到,但是这种持续打补丁的方式已难以支撑上亿级的用户。所以除了底层的公共部分之外,IM后台4.0必须从零开始,重新设计实现。

  IM后台4.0存储系统历时三年完成,支持千万级的好友在线,加强了隐私权限控置,可以灵活扩展字段,原来扩展一个字段需要两三个月,现在只需要一周,同时还具备高可运维性,高性能。

  IM后台4.0通信系统历时两年多,架构比原来的复杂很多,希望再过一年可以完成。到目前为止,已取得了一些成果:首先是多点登陆,可以管理不同的登陆终端;支持5至10亿个实例同时在线;方便接入微信等多种业务;实现区域自治。

  在亿级在线时代,需要的关键技术首先是提供高灵活性的业务支持,传统IT行业可能半年到两年出一个新版本,而互联网行业每个月就需要出一个新版本。同时还要保持高性能,高可用性,高可运维性。展望腾讯IM服务的未来之路,全球化分布、高效的研发、监控报警的智能化成为未来发展的战略。

 

“四高”准则,QQIM后台技术演化启示


  在QQIM后台技术演化过程中,每一个级别要求的技术不一样,如十万级和百万级在线要求高性能、7*24小时连续服务;千万级要求高可用性和高可运维性。而到了亿级在线,就要求高性能、高可用性、高可运维性和高灵活性“四高”准则,每提升一个量级,相应的四个高都会有相应的要求,而且技术难度也会提升一个量级。

  团队经历了从1.4万到千亿级飞跃的过程,免不了很多教训,正是因为有了这些技术积累,才换来今天这么大的规模。互联网行业与传统IT行业不一样,有自己的技术规律,需要做自己的技术积累。

  不仅IM业务,腾讯公司在很多不同业务上都走过一些弯路,积累了相应的经验,边重构边生活、大系统做小、先扛住再优化、干干净净......这些正是在不断的试错和总结中得出的理念和价值观,是在技术演化的过程中得出的启示。

 

《1亿在线背后的技术挑战》PPT 2011年10月31日,腾讯即通平台部高级总监庄泗华在北京航空航天大学的演讲《1亿在线背后的技术挑战》对应的PPT。 立即下载

相关推荐

shader基于高度的权重混合

效果图: 基于高度的权重混合 , 效果描述: (1)混合:三层混合, 例如 第一层是草,第二层是石头,第三层是沙子,三者混合显示 (2)权重: 三层的权重的和 为1, 三者是此消彼长的关系 (3)高度:高度会限制或者说是 束缚 着 效果 关于混合,再多说几句: (1)基于权重的混合:权重 ,跟顺序没有关系 只跟权重的大小有关系(在一层一层界限不清晰的地方,特别适用!!效果极好!!!!) (2)基于叠加的混合: 叠加 就是 一层一层的往上加。。。。 所以顺序特别重要(在雪地等效果中使用:因为

木马人 1119

1亿在线背后的技术挑战——腾讯大讲堂超给力讲座内容流

早年业界一直盛传腾讯内部的大讲堂课程含金量极高,在今年腾讯开放大战略下,这有口皆碑的内部高端分享课程终于走出深圳,走向业界。腾讯大讲堂首站来到北京航空航天大学,首次活动现场极为火爆,超过700人到场旁听,把整个会场挤得水泄不通。   本次活动由优快云、《程序员》和腾讯共同举办,暨TUP第十六期:智慧腾讯,梦想互联1亿在线背后的技术挑战,邀请到了腾讯即通平台部高级技术总监、T4级技术专家、腾讯软

tianyu的专栏 - Linux site:blog.youkuaiyun.com/wishfly 2168

从解压到编译:手把手带你用TeXstudio搞定第一篇ACM LaTeX论文

本文详细指导如何使用TeXstudio从解压ACM LaTeX模板到成功编译第一篇学术论文的全过程。涵盖环境准备、模板配置、TeXstudio设置及常见问题排查,特别针对ACM会议论文格式要求,帮助学术新人快速掌握LaTeX写作技巧。

weixin_30655569的博客 255

1亿qq在线背后的技术

摘要: 众所周知,海量互联网服务能力是世界公认的技术难题。经过十多年的发展,腾讯在海量互联网服务方面已有不少技术积累。以QQ IM后台服务为例,重现了QQ在线用户从百万级到亿级的整个过程中遇到的技术挑战,并分享了众多在海量互联网后台服务研发运营方面不为人知的秘密。 庄泗华:腾讯通平台部高级技术总监、腾讯T4级技术专家、腾讯软件开发通道分会会长。中科院计算技术研究所硕士,2004年毕业加入腾讯...

系统运维 374

Second-Order Cone Programming(SOCP) 二阶锥规划

个人博客Glooow,欢迎各位老师来踩踩 文章目录1. 二阶锥1.1 二阶锥定义1.2 二阶锥约束2. 优化问题建模3. 类似问题转化3.1 二次规划3.2 随机线性规划4. 问题求解 1. 二阶锥 1.1 二阶锥定义 在此之前,先给出二阶锥的定义。 在 kkk 维空间中二阶锥 (Second-order cone) 的定义为 Ck={[ut]∣u∈Rk−1,t∈R,∥u∥≤t} \mathc...

Glooow的博客 3万+

CAPL编程的催化剂——CAPLdll的实现

CANoe作为一款功能强大的总线开发及测试工具,不仅仅是因为其丰富的库函数,最重要的是其兼容了多种编程语言,可以实现灵活的开发,极大的解决了纯CAPL编程所带来的限制,如通过动态链接库(DLL)来实现复杂函数的编写,使其能够在CAPL中可以调用,下面将对DLL的实现进行分析。capldll.cpp这个文件初看相当复杂,从整体上来说,这段代码主要包含了两部分:自定义函数实现和回调函数定义,今天的主要任务是实现自定义函数,这里的函数定义与普通函数定义差不多,只是利用了CAPL的格式。在VS2017工程中打开。

车载控制器AutoSAR软件开发工程师 4649

TUP第十六期:智慧腾讯 梦想互联——1亿在线背后的技术挑战

由优快云、《程序员》、腾讯共同举办的TUP第十六期:智慧腾讯 梦想互联——1亿在线背后的技术挑战活动于10月31日在北京航空航天大学学术交流厅举行。同时本次活动邀请到了腾讯通平台部高级技术总监、腾讯T4级技术专家、腾讯软件开发通道分会会长庄泗华先生。 众所周知海量互联网服务能力是世界公认的技术难题。经过十多年的发展,腾讯在海量互联网服务方面已有不少技术积累。庄泗华先生在本次演讲中以QQ IM后...

weixin_34203832的博客 369

SAP GR(Group Reporting)配置篇(五)

1.5、合并的货币换算1.5.1指定折算比率菜单路径组报表的SAP S4HANA >合并的货币换算>-指定折算汇率事务代码GCRF说 明1.5.2维护汇率菜单路径组报表的SAP S4HANA >合并的货币换算>维护汇率事务代码CXCC/OB08说 明实际测试的时候根据实际情况维护汇率。输入换算比率。1.5.3定义汇率标识符菜单路径组报表的SAP S4HANA >合并的货币换算>定义汇率标识符事务代码OC41说 明配置了月末汇率和平均汇率。

weixin_43853754的博客 555

Qt+腾讯IM开发笔记(一):腾讯IM介绍、使用和Qt集成腾讯IM-SDK的工程模板Demo

开发一个支持全国的IM聊天,可以有基本的功能,发送文本、图片、文件等等相关内容。

长沙红胖子 Qt・西安|省级科研团队从业背景,深耕双一流体系高精尖技术配套研发|剥离高精尖机理,沉淀高端特种行业领域 Qt 工程化落地经验|博文仅分享通用技术总结,输出公开普适工程思路。 3万+

2025年11月架构设计师综合知识真题回顾,附参考答案、解析及所涉知识点(二)

本文整理了2025年11月架构设计师考试的16-30题真题及解析,涵盖多个计算机系统知识领域。主要内容包括:Linux绝对路径以根目录开始(A);模块调用下层数量用扇出表示(B);游乐园问题通过集合运算得出10人未游玩(B);磁盘位示图计算为200字节(C);测试用例核心是输入与预期输出(D)。其他题目涉及软件可靠性测试概念(B错)、评价程序准确度排序(真实程序最高,A)、测试阶段顺序(单元→组装→系统,A)、Web服务器压力测试前置步骤(C)、分时系统响应时间影响因素(用户数量多,A)、逆向工程方法(基于

一几文的编程学习笔记。 230

C# 调用高德地图关键词 API

今天我们要一起探索如何使用 C# 来调用高德地图的关键词搜索 API,从而实现精准的地理位置搜索功能。高德地图的关键词搜索 API 可以帮助我们轻松地实现这一点,它能够返回一系列匹配关键词的地点坐标和其他相关信息。通过简单的几行 C# 代码,我们就实现了调用高德地图关键词搜索 API 的功能。接下来,我们将在一个 C# 控制台应用中实现调用高德地图关键词搜索 API 的功能。此外,如果要在生产环境中使用,还需要考虑安全性问题,例如不要在客户端暴露 API 密钥。🔥关注墨瑾轩,带你探索编程的奥秘!

java专栏 1106

腾讯庄泗华:腾讯1亿用户在线背后的技术挑战

视频:(郁闷,csdn不允许上传视频,只能链接了) http://v.csdn.hudong.com/s/article.html?arcid=306751 内容简介: 由优快云、《程序员》、腾讯共同举办的TUP第十六期:智慧腾讯 梦想互联——1亿在线背后的技术挑战活动于10月31日在北京航空航天大学学术交流厅举行,与会者达到600人次。同时本次活动邀请到了腾讯通平台

hyb3280660的专栏 3118

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

腾讯1亿用户在线背后的技术挑战

由优快云、《程序员》、腾讯共同举办的TUP第十六期:智慧腾讯 梦想互联——1亿在线背后的技术挑战活动于10月31日在北京航空航天大学学术交流厅举行,与会者达到600人次。同时本次活动邀请到了腾讯通平台部高级技术总监、腾讯T4级技术专家、腾讯软件开发通道分会会长庄泗华先生。 众所周知海量互联网服务能力是世界公认的技术难题。经过十多年的发展,腾讯在海量互联网服务方面已有不少技术积累。庄泗华先生在本

hyb3280660的专栏 4811

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

2009年中国互联网大佬之众生相

马化腾(市值300亿美元)——春风得意 有诗云:“春风得意马蹄疾,一日看尽长安花。”这句诗用在今年的腾讯CEO马化腾身上再合适不过了。 2009年8月,腾讯在香港资本市场上的股价达到120元港币,整个公司的市值突破2000亿港币,换算成美元是300亿美元。这意味着腾讯的市值是两个阿里巴巴、3个百度,比三大门户新浪、搜狐和网易加在一起的总和还要多一倍。还有一组数据能说明马化腾和腾...

dizi9750的博客 811

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

腾讯架构调整之后,7大作战营41路军,依旧没有中台

编者按:本文来自微信公众号“零售老板内参”(ID:lslb168),作者:郭之富,编辑:万徳乾;36氪经授权转载。 核心导读: 1、腾讯“赛马机制”造成的根本问题是什么? 2、腾讯最新组织架构调整的变与不变的是什么? 3、腾讯的下一步棋重点放在哪儿? 4、发力B端市场和智慧零售的腾讯,中后台的软肋会带来哪些影响? 也许大公司的组织架构调整,没有谁像此次腾讯这样,是在一次股价“腰斩”,旧...

thankplus 1508

CnOpenData 线上招聘网站信息数据

CnOpenData线上招聘网站信息数据库是一个覆盖中国主流招聘平台、时间跨度长、更新频率高的劳动力市场需求侧大数据集合。本数据库汇集了,为学术界和业界提供了一扇实时观察中国劳动力市场动态的窗口。

CnOpenData_wj的博客 2671

腾讯云答治茜: CDN将进入智能计算时代

据报道,在2017亚太CDN峰会上,腾讯云互联网行业总经理答治茜作了题为《CDN的智能计算时代》主题演讲。答治茜认为,随着人工智能时代的到来,CDN也在亟需技术的快速变革,腾讯云认为CDN将全面进入智能计算时代。 图为:腾讯云互联网行业总经理答治茜 2016年腾讯云在亚太CDN峰会上提出了云+CDN的概念,腾讯云认为CDN不再是单纯的在做内容缓存、分发一些职责,答治茜认为未来一定是

李观玉的博客 565

腾讯大讲堂-1.4亿同时在线背后的故事_学习笔记(一)

2011年10月31日,腾讯即通平台部高级总监T4级技术专家庄泗华在北航进行了主题为《1亿在线背后的技术挑战》的技术讲座,有幸亲临现场,观摩学习,由于信息量很大,后来又借助原ppt和现场视频才慢慢学习了企鹅成长的历程。记录如下   十万 百万级 同时在线 1. 10万级时用户核心数据存在内存里!单台服务器!不过是很早以前的事情。 2. 实时通知和定期拉取两种IM通知方式结合,优缺点举例:

ExtremeWays的专栏 2918

百万在线人数 服务器搭建_如何实现百万级的语音聊天服务

上篇我们介绍了如何从零开始搭建一套语音聊天室后台,设计方案比较基础,本篇我们将介绍语音聊天室的升级版本——在海量用户同时在线的情况下,语音服务器的架构将如何升级改造。互联网产品后台开发信奉一句话:先扛住再优化。工程师当然是希望把系统设计得尽善尽美,但是业务发展往往是不允许的,因此后台工程师的工作就是在技术和业务之间寻找平衡点。大部分的系统都是逐步迭代演进而来的,没有一蹴而就的完美系统。前文中,我们...

weixin_39575758的博客 486

今天看腾讯在北航的演讲《1亿在线背后的技术挑战》想到的关于MD5算法。

      2011年10月31日,腾讯即通平台部高级总监庄泗华在北京航空航天大学的演讲《1亿在线背后的技术挑战》。       里面说到,以前版本的QQ登陆密码在向服务器传送时是先经过两次MD5加密。就想整明白MD5是怎么回事,学《网络安全》时讲的各种加密算法早忘了,就去网上查了下。一句话:MD5(信息摘要算法)就可以为任何文件(不管其大小、格式、数量)产生一个同样独一无二的“数字指纹”。...

weixin_34082789的博客 179

一个支持40万并发用户的即时通讯架构介绍

一个支持40万并发用户的企业即时通讯架构介绍2008年04月07日 星期一 13:17 前言: 看了些讨论类似QQ的系统的文章,自己以前参与的一个项目,就做这个,不过规模相对小点。写份文档,旨在清理清理思路,交流一下经验。这里的一些模块名称(ACS、N

神经网络爱好者 1804

腾讯云答治茜:云计算为独角兽和传统企业提供了哪些沃土?

云计算可以轻松实现弹性扩展,也可以随时扩容以应对互联网流量的变化。云计算技术正在改变企业业务模式、支撑业务增长的主导力量,同时带来更有前景的商业机会。 \\ 4月19日,由极客邦科技Geekbang主办的“G+全球技术价值峰会“在北京北辰洲际酒店召开,会议以“技术创造商业价值”为主题,腾讯云互联网行业总经理答治茜出席并在会上分享了“云计算如何支撑企业业务规模的爆发式增长”主题演讲,介绍了腾讯云的实践案例和宝贵经验。 \\ \\ 内容主要分为三部分: \\ 介绍过去十年到二十年企业发展的速度

NicolasLearner的博客 1572
上一篇: 专利战争:IT界的甄嬛传
下一篇: 钟翔平:坚持走手机浏览器架构创新之路
TencentLecture
博客等级 码龄14年 6粉丝 13原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值