- 博客(53)
- 资源 (19)
- 收藏
- 关注
转载 [COPY]《京东技术解密》——海量订单处理
OFC的重要性2014年的618显得和以往任何店庆促销日都不同,不仅仅是因为电子商务本身在中国不断飞速发展对京东系统带来的挑战,更为重要的是2014年5月22日刚走入美国纳斯达克殿堂的京东聚集了最耀眼的光芒,能不能保持这样的光芒,618则会是一份很有说服力的答卷,当然我们最终给出了满意的结果。作为一个普通的购物者,当我们在浏览器中输入www.jd.com并回车,便可以看到京东商城的首页,根
2016-10-14 10:21:03
3986
1
转载 [COPY] 京东消息中间件JMQ
JMQ是京东自主研发的一款消息中间件系统,具有高可用、数据高可靠等特性。广泛应用于公司内部系统,包括订单、支付、库房等场景。整体结构 系统包括服务端、客户端、管理端与其他支撑模块。 服务端 服务端提供了配置信息分发、重试消息管理和消息存储与分发这三大类功能。每个服务端实例都具备这三类功能的服务能力,但是在实际部署上这三类功能对应三个不同的集群,对应
2016-10-14 10:20:15
2790
转载 COPY mapreduce1
Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火,所以在这里
2016-09-12 16:39:20
419
转载 COPY 基于Flume的美团日志收集系统架构和设计
美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第一部分架构和设计,将主要着眼于日志收集系统整体的架构设计,以及为什么要做这样的设计。第二部分改进和优化,将主要着眼于
2016-02-14 13:51:49
728
转载 COPY 云部署中的 Hadoop
了解云部署的范围Hadoop 系统是一个用起来颇有挑战性的环境,但由于云环境所具有的限制(与自由),云部署会引入额外的复杂性。例如,借助云中的 Hadoop,如何处理可变的集群规模与信息的有效分布?如何有效地扩大和收缩云环境,以便应付您期望处理的 Hadoop 负载?如何计划和控制任务与处理,以便在云实例可用时最大限度地利用它们?根据具体云服务的不同,云部署的优势与劣势会对
2016-01-07 10:31:51
544
转载 COPY 淘宝图片服务的学习
一、淘宝网的困境 对于淘宝网这样的大型电子商务网站,对于图片服务的要求特别的高。而且对于卖家来说,图片远胜于文字描述,因此卖家也格外看重图片的显示质量、访问速度等问题。根据淘宝网的流量分析,整个淘宝网流量中,图片的访问流量会占到90%以上,而主站的网页则占到不到10%。同时大量的图片需要根据不同的应用位置,生成不同大小规格的缩略图。考虑到多种不同的应用场景以及改版的可能性,一张原图有可能
2016-01-05 16:06:46
544
转载 [COPY]LBS的瓶颈和方案
快的打车从2013年年底到2014年下半年,系统访问量迅速膨胀,很多复杂的问题要在短时间内解决,且不能影响线上业务,这是比较大的挑战,本文将会阐述快的打车架构演变过程遇到的一些有代表性的问题和解决方案。LBS的瓶颈和方案先看看基本的系统模型,如图1所示。图1 系统模型示意图司机每隔几秒钟上报一次经纬度,存储在MongoDB里;乘客发单时,通过MongoDB圈选出
2016-01-05 10:55:20
1292
转载 [COPY]Hadoop应用案例分析:在百度中的应用
【IT168 案例】百度作为全球最大的中文搜索引擎公司,提供基于搜索引擎的各种产品,包括以网络搜索为主的功能性搜索;以贴吧为主的社区搜索;针对区域、行业的垂直搜索、MP3音乐搜索,以及百科等,几乎覆盖了中文网络世界中所有的搜索需求。 百度对海量数据处理的要求是比较高的,要在线下对数据进行分析,还要在规定的时间内处理完并反馈到平台上。百度在互联网领域的平台需求如图3-3所示,这里就需要通过
2016-01-05 09:38:45
439
转载 [COPY]当前国内外Hadoop的实际使用案例
说到Hadoop,很多朋友都想知道到底它是如何被应用的呢?通过下文,笔者就向大家介绍一下具体的情况。1.YahooYahoo是Hadoop的最大支持者,截至2012年,Yahoo的Hadoop机器总节点数目超过420000个,有超过10万的核心CPU在运行Hadoop。最大的一个单Master节点集群有4500个节点(每个节点双路4核心CPUboxesw,4×1TB磁盘,16GBRAM)。
2016-01-05 09:35:14
4284
转载 [COPY]大数据 hadoop 应用案例 大众点评
大数据 hadoop 应用案例 大众点评===========================================================大众点评网从2011年中开始使用Hadoop,并专门建立团队。Hadoop主分析集群共有60多个节点、700TB的容量,月运行30多万个Hadoop Job,还有2个HBase线上集群。作者将讲述这各个阶段的技术选择及改进之路。
2016-01-05 09:34:22
1207
转载 COPY 构建亿级前端读服务
从入职京东到现在,做读服务已经一年多的时间了,经历了各种亿级到百亿级的读服务;这段时间也进行了一些新的读服务架构尝试,从架构到代码的编写,各个环节都进行了反复尝试,压测并进行调优,希望得到一个自己满意的读服务架构。一些设计原则无状态数据闭环缓存银弹并发化降级开关限流切流量其他无状态如果设计的应用是无状态的,那么应用就可以水平扩
2015-08-03 10:39:04
363
转载 COPY 系统吞吐量(TPS)、用户并发量、性能测试概念和公式
PS:下面是性能测试的主要概念和计算公式,记录下:一.系统吞度量要素: 一个系统的吞度量(承压能力)与request对CPU的消耗、外部接口、IO等等紧密关联。单个reqeust 对CPU消耗越高,外部系统接口、IO影响速度越慢,系统吞吐能力越低,反之越高。系统吞吐量几个重要参数:QPS(TPS)、并发数、响应时间 QPS(TPS):每秒钟r
2015-08-03 10:21:17
539
转载 COPY 深入理解Java内存模型
处理器内存模型顺序一致性内存模型是一个理论参考模型,JMM和处理器内存模型在设计时通常会把顺序一致性内存模型作为参照。JMM和处理器内存模型在设计时会对顺序一致性模型做一些放松,因为如果完全按照顺序一致性模型来实现处理器和JMM,那么很多的处理器和编译器优化都要被禁止,这对执行性能将会有很大的影响。根据对不同类型读/写操作组合的执行顺序的放松,可以把常见处理器的内存模型划分为下面几
2015-07-20 15:08:47
333
转载 [COPY] 《梦幻西游》手游服务器如何实现200万玩家同时在线?(技术篇)
去年,网易游戏学院成立并举行首个公开日活动,现场众多重量级嘉宾的干货分享深受广大游戏从业者的认可。6月27日,网易游戏学院第二届公开日活动在广州网易大楼开启,本次为网易游戏学院的技术专场,分享主题为《技术进步引发的灵感革命》。以下为游戏陀螺整理的部分内容分享。3 月26日,《梦幻西游》手游登陆iOS平台,它在上线两个多月的时间里,就创造了2000万注册用户,204万玩家同时在线,全
2015-07-07 14:18:14
977
转载 COPY Linux与JVM的内存关系分析
在一些物理内存为8g的服务器上,主要运行一个Java服务,系统内存分配如下:Java服务的JVM堆大小设置为6g,一个监控进程占用大约600m,Linux自身使用大约800m。从表面上,物理内存应该是足够使用的;但实际运行的情况是,会发生大量使用SWAP(说明物理内存不够使用了),如下图所示。同时,由于SWAP和GC同时发生会致使JVM严重卡顿,所以我们要追问:内存究竟去哪儿了?要
2015-06-23 19:39:01
412
转载 BACK pom
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">1.0.0packageName1.0-SNAPSHOTNameUTF-8junitjunit3.8.1test
2015-06-18 14:34:52
338
转载 COPY Java Secure Socket Extension (JSSE) Reference Guide
This guide covers the following topics:Skip Navigation LinksIntroductionFeatures and BenefitsJSSE Standard APISunJSSE ProviderRelated DocumentationThe JRE Installation DirectoryTerms and
2015-04-28 15:41:40
1579
转载 COPY JVM verbose GC
垃圾收集简介本文针对的是 WebSphere Portal 版本 6.0 或更高版本(和 5.1 或更高版本),其上运行的是 Java™ Software Development Kit (SDK) 1.4.2。为了获得最佳调优,建议使用 SDK 的最新服务发布,对于这里所讨论的调优,至少使用一个新于 SR13 的服务发布。垃圾收集可简单定义为 JavaTM Virtual Mac
2015-04-28 15:39:26
620
转载 COPY Netty系列之Netty安全性
1. 背景1.1. 严峻的安全形势1.1.1. OpenSSL Heart bleed漏洞2014年上半年对网络安全影响最大的问题就是OpenSSL Heart bleed漏洞,来自Codenomicon和谷歌安全部门的研究人员发现OpenSSL的源代码中存在一个漏洞,可以让攻击者获得服务器上64K内存中的数据内容。该漏洞在国内被译为” OpenSSL心脏出血漏洞”,因其破
2015-04-19 13:02:38
1429
转载 COPY Netty系列之Netty线程模型
1. 背景1.1. Java线程模型的演进1.1.1. 单线程时间回到十几年前,那时主流的CPU都还是单核(除了商用高性能的小机),CPU的核心频率是机器最重要的指标之一。在Java领域当时比较流行的是单线程编程,对于CPU密集型的应用程序而言,频繁的通过多线程进行协作和抢占时间片反而会降低性能。1.1.2. 多线程随着硬件性能的提升,CPU的核数越
2015-04-19 13:00:24
475
转载 COPY Netty系列之Netty 服务端创建
1. 背景1.1. 原生NIO类库的复杂性在开始本文之前,我先讲一件自己亲身经历的事:大约在2011年的时候,周边的两个业务团队同时进行新版本开发,他们都需要基于NIO非阻塞特性构建高性能、异步和高可靠性的底层通信框架。当时两个项目组的设计师都咨询了我的意见,在了解了两个项目团队的NIO编程经验和现状之后,我建议他们都使用Netty构建业务通信框架。令人遗憾的是其中1个项目
2015-04-19 13:00:19
621
转载 COPY Netty系列之Netty并发编程分析
1. JAVA内存模型与多线程编程1.1. 硬件的发展和多任务处理随着硬件特别是多核处理器的发展和价格的下降,多任务处理已经是所有操作系统必备的一项基本功能。在同一个时刻让计算机做多件事情,不仅仅是因为处理器的并行计算能力得到了很大提升,还有一个重要的原因是计算机的存储系统、网络通信等IO性能与CPU的计算能力差距太大,导致程序的很大一部分执行时间被浪费在IO wait上面,CPU
2015-04-19 12:59:14
616
转载 COPY Netty系列之Netty可靠性分析
1. 背景1.1. 宕机的代价1.1.1. 电信行业毕马威国际(KPMG International)在对46个国家的74家运营商进行调查后发现,全球通信行业每年的收益流失约为400亿美元,占总收入的1%-3%。导致收益流失的因素有多种,主要原因就是计费BUG。1.1.2. 互联网行业美国太平洋时间8月16日下午3点50分到3点55分(北京时间8月17日6点
2015-04-19 12:56:41
654
转载 COPY Netty系列之Netty高性能之道
1. 背景1.1. 惊人的性能数据最近一个圈内朋友通过私信告诉我,通过使用Netty4 + Thrift压缩二进制编解码技术,他们实现了10W TPS(1K的复杂POJO对象)的跨节点远程服务调用。相比于传统基于Java序列化+BIO(同步阻塞IO)的通信框架,性能提升了8倍多。事实上,我对这个数据并不感到惊讶,根据我5年多的NIO编程经验,通过选择合适的NIO框架,加上高
2015-04-19 12:43:47
1358
转载 COPY Linux下Java线程详细监控和其dump的分析使用
这里对linux下、sun(oracle) JDK的线程资源占用问题的查找步骤做一个小结;linux环境下,当发现java进程占用CPU资源很高,且又要想更进一步查出哪一个java线程占用了CPU资源时,按照以下步骤进行查找:(一):通过【 top -p 12377 -H】 查看java进程的有哪些线程的运行情况; 和通过【jstack 12377 > stack.
2015-04-15 20:08:21
534
转载 COPY 关于MySQL InnoDB存储引擎中的锁
1,锁的种类Innodb存储引擎实现了如下2种标准的行级锁: 共享锁(S lock),允许事务读取一行数据。排它锁(X lock),允许事务删除或者更新一行数据。当一个事务获取了行r的共享锁,那么另外一个事务也可以立即获取行r的共享锁,因为读取并未改变行r的数据,这种情况就是锁兼容。但是如果有事务想获得行r的排它锁,则它必须等待事务释放行r上的共享锁—这种情况就是锁不兼容,
2015-03-24 11:06:58
507
转载 COPY innodb存储引擎索引概述
innodb存储引擎支持两种常见的索引:B+树索引和哈希索引。innodb支持哈希索引是自适应的,innodb会根据表的使用情况自动生成哈希索引。B+树索引就是传统意义上的索引,是关系型数据库中最常用最有效的索引。B+树是从最早的平衡二叉树演变而来,但是B+树不是一个二叉树。B+中的B不代表二叉(Binary),而是代表平衡(Balance)。 注意:B+树索引并不
2015-03-24 10:48:29
625
转载 COPY MySQL数据库锁机制
所谓锁,为保证数据的一致性,对共享资源的在被并发访问变得有序的一种规则。不同的MySQL存储引擎,有不同的锁机制或锁实现;总的来所,使用了三种锁级别,行级锁(row-level)、页级锁(page-level)、表级锁(table-level),依次锁定的资源粒度逐渐减小,锁资源是随着锁定资源粒度的减小,锁定同样数据需要的内存数量越来越多,算法也越来越负责,但同时应用程序遇到锁等待的可能也
2015-03-23 10:30:36
476
转载 COPY 虚拟机中的锁优化简介
高效并发是JDK 1.6的一个重要主题,HotSpot虚拟机开发团队在这个版本上花费了大量的精力去实现各种锁优化技术,如适应性自旋(Adaptive Spinning)、锁削除(Lock Elimination)、锁膨胀(Lock Coarsening)、轻量级锁(Lightweight Locking)、偏向锁(Biased Locking)等,这些技术都是为了在线程之间更高效地共享数据,以
2015-02-28 14:03:22
540
转载 COPY Diagnosing a Garbage Collection problem
This appendix contain examples of garbage collection verbosegc output that indicate an problem with garbage collection. The default collector is being used unless otherwise specified. Unless otherwise
2015-02-27 16:34:16
432
转载 COPY Tuning Garbage Collection with the 5.0 Java[tm] Virtual Machine
IntroductionThe Java TM 2 Platform Standard Edition (J2SE TM platform) is used for a wide variety of applications from small applets on desktops to web services on large servers. In the J2SE platf
2015-02-27 10:26:47
485
转载 COPY Tuning Garbage Collection with the 1.4.2 Java[tm] Virtual Machine
1 IntroductionThe Java TM 2 Platform, Standard Edition (J2SE TM platform) is used for a wide variety of applications from small applets on desktops to web services on large servers. In the J2SE pl
2015-02-27 10:25:58
475
原创 SRC Parallel Garbage Collector
-XX:+UseParallelGCImplementation of -XX:+UseAdaptiveSizePolicy Used by Parallel Garbage Collector ChangedThe implementation of -XX:+UseAdaptiveSizePolicy used by default with the -XX:+UsePar
2015-02-27 10:14:16
486
转载 COPY Java安全管理器SecurityManager
一、JavaDoc如是说安全管理器是一个允许应用程序实现安全策略的类。它允许应用程序在执行一个可能不安全或敏感的操作前确定该操作是什么,以及是否是在允许执行该操作的安全上下文中执行它。应用程序可以允许或不允许该操作。SecurityManager类包含了很多名称以单词check开头的方法。Java库中的各种方法在执行某些潜在的敏感操作前可以调用这些方法。对check方法的典型调用如下:
2015-02-04 15:53:18
709
转载 COPY 深入解析NoSQL数据库的分布式算法
系统的可扩展性是推动NoSQL运动发展的的主要理由,包含了分布式系统协调,故障转移,资源管理和许多其他特性。这么讲使得NoSQL听起来像是一个大筐,什么都能塞进去。尽管NoSQL运动并没有给分布式数据处理带来根本性的技术变革,但是依然引发了铺天盖地的关于各种协议和算法的研究以及实践。正是通过这些尝试逐渐总结出了一些行之有效的数据库构建方法。在这篇文章里,我将针对NoSQL数据库的分布式特点进行一些
2015-02-03 10:09:15
555
转载 COPY 服务器端的错误和对常用软件进行测试
摘要:对于开发者而言,是否具备一个完善的服务器调试策略将对整个部署维护工作有着至关重要的影响。Alex Zhitnitsky经常帮助Java、Scala开发人员解决服务器端的错误和对常用软件进行测试,本文是他分享的一些经验。【编者按】随着互联网迅速发展,用户访问量以及服务器规模的越来越大,因此,创建一个可靠、稳定、优质的互联网服务是开发者的首要目标。而对于开发者而言,是否具备一个完善的
2015-01-13 15:26:42
434
转载 COPY 推送服务设计要点
1. 背景1.1. 话题来源最近很多从事移动互联网和物联网开发的同学给我发邮件或者微博私信我,咨询推送服务相关的问题。问题五花八门,在帮助大家答疑解惑的过程中,我也对问题进行了总结,大概可以归纳为如下几类:Netty是否可以做推送服务器?如果使用Netty开发推送服务,一个服务器最多可以支撑多少个客户端?使用Netty开发推送服务遇到的各种技术问题。由于
2015-01-12 18:04:46
962
原创 SRC 二分插入代码
int low = 0;int high = list.size() - 1;int mid = 0;int matchMid = -1;FightRequestReq matchFightRequestReq = null;while (low mid = (low + high) >>> 1; int midVal = list.get(mid).
2015-01-07 15:14:25
352
转载 COPY JAVA 虚拟机
原文: http://www.cubrid.org/blog/dev-platform/understanding-jvm-internals/在这篇文件里,我会阐述JVM是如何运行的,包括它的结构,它如何去执行字节码,以及按照怎样的顺序去执行,同时我还会给出一些常见错误的示例以及对应的解决办法。虚拟机(Virtual Machine)JRE是由Java API和JVM组成
2015-01-07 10:01:46
446
深入理解C#+中文+第2版
2012-10-15
Concurrency.State.Models.and.Java.Programs
2011-01-27
oracle10g SQL
2010-01-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人