- 博客(61)
- 资源 (30)
- 收藏
- 关注

原创 常见的技术博客
http://blog.51cto.com/http://www.cnblogs.com/http://www.iteye.com/blogshttp://blog.sina.com.cn/http://blog.sohu.com/http://blog.hexun.com/http://blog.chinaunix.net/http://blog.163.com/
2015-09-16 12:05:21
528
转载 JVM内存区域划分Eden Space、Survivor Space、Tenured Gen,Perm Gen解释
jvm区域总体分两类,heap区和非heap区。heap区又分:Eden Space(伊甸园)、Survivor Space(幸存者区)、Tenured Gen(老年代-养老区)。 非heap区又分:Code Cache(代码缓存区)、Perm Gen(永久代)、Jvm Stack(java虚拟机栈)、Local Method Statck(本地方法栈)。HotSpot虚拟机GC算法采用分
2016-06-12 10:25:52
507
转载 淘宝大秒系统设计详解
导读:最初的秒杀系统的原型是淘宝详情上的定时上架功能,由于有些卖家为了吸引眼球,把价格压得很低。但这给的详情系统带来了很大压力,为了将这种突发流量隔离,才设计了秒杀系统,文章主要介绍大秒系统以及这种典型读数据的热点问题的解决思路和实践经验。一些数据大家还记得2013年的小米秒杀吗?三款小米手机各11万台开卖,走的都是大秒系统,3分钟后成为双十一第一家也是最快破亿的旗舰店。经过日
2016-03-10 14:52:40
748
转载 MapReduce过程、Spark和Hadoop以Shuffle为中心的对比分析
mapreduce与Spark的map-Shuffle-reduce过程mapreduce过程解析(mapreduce采用的是sort-based shuffle)将获取到的数据分片partition进行解析,获得k/v对,之后交由map()进行处理.map函数处理完成之后,进入collect阶段,对处理后的k/v对进行收集,存储在内存的环形缓冲区中。当环形缓冲区中的数据达到阀值之
2016-03-08 17:01:32
617
转载 amfe手机淘宝前端团队 https://github.com/amfe
Skip to contentSign up Sign inExploreFeaturesEnterprisePricingamfe Repositories People 3Filters JavaScript 1,
2016-01-26 11:57:54
4164
转载 前端系列 | 2015年双11手淘前端技术巡演 - 前言
前端系列 | 2015年双11手淘前端技术巡演 - 前言2015-11-16 手机淘宝技术团队MTT15年双11刚落下帷幕。今年众所周知,是全面“无线化”的一年。数据上我就不说了,可以公开的数据我相信大家多多少少也从各方都了解到了。在整个阿里体系内,无论技术还是业务,都会把每年的双11当作一个战场,同时也是一个“炼金石”。不管是技术还是业务,不经过双11
2016-01-26 11:11:27
800
转载 手机淘宝架构演化实践
发展阶段从2009年开始,DAU从100万增长到超过1亿,面临的问题、包括研发支撑所需要解决的事情各不相同。在用户量和业务复杂度的线性递增下,架构也进行了相应的演进。如下图所示,具体可以分为四个阶段:第一阶段,手淘的前身WAP网站,业务初立、变化快,需要快速发布,采取HTML模板和单一应用,最大程度满足快速发布和修改的需要;甚至不需要改动后端的业务代码,在前面的模板
2016-01-22 10:20:26
655
原创 第14课:Spark RDD 解密
第14课:Spark RDD解密1 RDD:基于工作集的应用抽象2 RDD内幕解密3 RDD 思考MapReduce是基于数据集的位置感知,容错 负载均衡基于数据集的处理:从物理存储上加载数据,然后操作数据 然后写入物理存储设备,具体例子:Hadoop MapReduce 基于数据集的操作不适应的场景:1,不适合于大量的迭代2,交互式查询重点是:基于数据
2016-01-17 21:24:23
488
原创 个人总结
1:jenkins+gitlab+redmineJenkins 是一个可扩展的持续集成引擎。主要用于: 持续、自动地构建/测试软件项目。 监控一些定时执行的任务。 目前持续集成(CI)已成为当前许多软件开发团队在整个软件开发生命周期内侧重于保证代码质量的常见做法。它是一种实践,旨在缓和和稳固软件的构建过程。并且能够帮助您的开发团队应对如下挑战: 软件构建自动化
2016-01-14 16:41:38
424
原创 第6集 精通spark集群搭建
1:安装虚拟机(VMware+ubuntukylin-14.04.3-desktop-amd64 )2:网络配置:Ubuntu 系统配置文件在:/etc/network/interfaces编辑配置文件:sudo vi /etc/network/interfaces并用下面的行来替换有关eth0的行:# The primary network interfaceauto
2016-01-07 11:13:35
406
原创 第4集:Scala模式匹配、类型系统彻底精通与Spark源码阅读
模式匹配和java中的switch case 强大很大,除了值,类型,集合等进行匹配最常见的Case class 进行匹配Master.scala 有大量的模式匹配模式匹配的使用编写简介明了,简洁等Case “_” 不满足上面所有的情况的体验def bigData(data:String){ datamatch{ case "Spark"=
2016-01-05 10:00:59
477
原创 第3课:Scala函数式编程彻底精通及spark源码阅读
Scala最迷人的方式是函数式编程Spark中的多数计算都是用函数式编程的,处理数据的时候都是针对集合的,一般都会作用的集合之上。高阶函数,是scala和java最大不同点,最大价值今天讲每一个例子没一点,都必须掌握,开启全新的编程人生 函数和变量都一样的,函数是独立使用,独立存在 fun1_v =fun1 _ 必须空格加下划线Fun2 指向匿名函数 =>指向函数体
2016-01-04 16:18:00
870
原创 Scala光速入门之Scala的基本语法、Array、Map、Tuple等
首先很高兴能成为王老师3000门徒之一,在新年第一天第一课《Scala光速入门》就长达三个小时,在这三个小时的时间里面,整体上感觉难度不是很大,但由于前期没有准备Scala环境,仅仅听导致效率很低,导致中间大半个小时基本上收获比较低,今天上午我把Scala环境搭建完毕,也把spark源码下载下来,后面紧跟着王老师的脚步,提高上课效率,课后及时复习;
2016-01-02 17:10:42
3669
转载 从大数据菜鸟走上大师的历程
大数据是用scala语言,和java有些不同又比java强大,省去了很多繁琐的东西,scala中的的接口用trait来定义,不同于java的接口,trait中可以有抽象方法也可以有不抽象方法。scala中的方法中还可以定义方法,这在java中是从来没有的。大数据未来几年发展的重点方向,大数据战略已经在十八届五中全会上作为重点战略方向,中国在大数据方面才刚刚起步,但是在美国已经产生了上千亿的
2015-12-22 11:17:52
399
原创 优秀的博客地址-冰冻三尺非一日之寒
MR-fox冰冻三尺,非一日之寒! 博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 :: 管理 :: 183 随笔 :: 5 文章 :: 76 评论 :: 0 引用搜索 我
2015-12-15 14:40:50
628
转载 分布式搜索Elasticsearch——配置
配置文件位于%ES_HOME%/config/elasticsearch.yml文件中,用Editplus打开它,你便可以进行配置。 所有的配置都可以使用环境变量,例如:node.rack: ${RACK_ENV_VAR} 表示环境变量中有一个RACK_ENV_VAR变量。 下面列举一下elasticsearch的可配置项:
2015-12-15 14:28:03
303
转载 分布式搜索Elasticsearch——安装
单机环境 安装步骤: 1. 安装jdk或者jre,然后设置好环境变更JAVA_HOME; 2. 下载elasticsearch,将之解压,如解压到D:\java\elasticsearch; 3. 打开Dos,进入到D:\java\elasticsearch\bin,执行以下命令:[java
2015-12-15 14:04:05
394
转载 分布式搜索Elasticsearch——概述
前注:有些内容来自网络,此处引用 Elasticsearch是一个基于lucene的、开源的、分布式的、RESTful的搜索引擎。Elasticsearch有如下特征: 1. 更快的执行搜索; 2. 安装简单; 3. 完全自由的搜索模式; 4. 可以简单地通过HTTP使用JSON索引数据;
2015-12-15 13:53:38
391
转载 龙珠直播CTO谭振林:从0到500万用户背后的技术架构变迁
龙珠直播正式上线到现在只是短短的10个月,其技术架构就经历了三次重大的迭代,而最终解决问题的,是云计算服务。日前,龙珠直播CTO谭振林接受了优快云云计算采访,解读龙珠直播的技术架构变迁和云计算实践心得。
2015-12-15 13:52:46
1210
转载 架构之路(三):单元测试
摘要:“测试驱动”是一个最具争议的话题,没有之一。吹捧者和反对者泾渭分明,而且都有大量的论据和证明。林外,架构是一种“无奈”,是现实是问题驱使你去做一些其实你本来不想做的事情。【编者按】本文作者自由飞是一个奇人, 彻彻底底的非科班程序员:98年读大学-国际贸易专业、03年11月英语培训机构当英语老师、04年2月-05年6月律师事务所实习和公司法务、05年6月-07年12月成立装饰公司做
2015-12-15 13:44:40
348
转载 架构之路(二):性能
摘要:似乎程序员都是急性子,或许是被windows冗长的开机时间折磨够了,有可能是因为提升性能的效果是最显而易见的……总之,我发现,绝大部分程序员对性能的关注和热情是无与伦比的!【编者按】本文作者自由飞是一个奇人, 彻彻底底的非科班程序员:98年读大学-国际贸易专业、03年11月英语培训机构当英语老师、04年2月-05年6月律师事务所实习和公司法务、05年6月-07年12月成立装饰公司
2015-12-15 13:42:26
327
转载 架构之路(一):目标
摘要:我认为应该以是否实现架构师的设计目标为标准。我们的架构目标是可维护性,不是需求变更驱动着软件的不断更改,而是“软件可以随意更改”的这种特性刺激了不断的需求变更。【编者按】本文作者自由飞是一个奇人,彻彻底底的非科班程序员:98年读大学-国际贸易专业、03年11月英语培训机构当英语老师、04年2月-05年6月律师事务所实习和公司法务、05年6月-07年12月成立装饰公司做老板、08年
2015-12-15 13:40:05
362
原创 Ubuntu 更新源
http://wiki.ubuntu.org.cn/源列表deb http://mirrors.163.com/ubuntu/ vivid main restricted universe multiversedeb http://mirrors.163.com/ubuntu/ vivid-security main restricted universe multiverse
2015-12-11 15:38:37
489
原创 ELK
wget -O - http://packages.elasticsearch.org/GPG-KEY-elasticsearch|sudoapt-key add -sudo echo "deb http://packages.elasticsearch.org/elasticsearch/1.1/debian stable main" >> /etc/apt/sour
2015-12-11 14:48:29
430
转载 可视化:架构师必看 京东咚咚架构演进
咚咚是什么?咚咚之于京东相当于旺旺之于淘宝,它们都是服务于买家和卖家的沟通。 自从京东开始为第三方卖家提供入驻平台服务后,咚咚也就随之诞生了。 我们首先看看它诞生之初是什么样的。1.0 诞生(2010 – 2011)为了业务的快速上线,1.0 版本的技术架构实现是非常直接且简单粗暴的。 如何简单粗暴法?请看架构图,如下。1.0 的功能十分简单,实现了一个 IM 的基
2015-12-11 10:06:00
724
转载 亿级商品详情页架构演进技术解密 | 高可用架构系列
此文是开涛在【三体高可用架构群】之分享内容,“三体”是为了纪念三体一书对技术人的伟大影响而冠名。张开涛:2014年加入京东,主要负责商品详情页、详情页统一服务架构与开发工作,设计并开发了多个亿级访问量系统。工作之余喜欢写技术博客,有《跟我学Spring》、《跟我学Spring MVC》、《跟我学Shiro》、《跟我学Nginx+Lua开发》等系列教程,博客 http://j
2015-12-08 10:01:01
629
转载 分布式架构、大数据、机器学习、搜索、推荐、广告
http://blog.youkuaiyun.com/yangbutao/article/details/12242441 [置顶] 构建高并发高可用的电商平台架构实践标签: 架构电商高并发高可用实践2013-10-03 14:42 83762人阅读 评论(50) 收藏 举报 分类:云计算(6) 电商&开放平台(5) 版权
2015-12-08 09:44:51
1275
转载 Ebay架构特点(HPTS 2009)
在HPTS 2009上,ebay 架构师Randy Shoup又列出了五个lessions.它们分别是:1 Expect (R)evolution2 Dependencies Matter3 Be Authoritative4 Never Enough Data5 Custom Infrastructure我结合ebay以前的5个lessions,总结一下可伸缩性和高性
2015-12-07 15:49:22
1513
转载 LMAX架构
Martin Fowler最近的一篇文章:LMAX架构。LMAX是一种新型零售金融交易平台,它能够以很低的延迟(latency)产生大量交易(吞吐量). 这个系统是建立在JVM平台上,核心是一个业务逻辑处理器,它能够在一个线程里每秒处理6百万订单. 业务逻辑处理器完全是运行在内存中(in-memory),使用事件源驱动方式(event sourcing). 业务逻辑处理器的核心是Disru
2015-12-07 15:41:29
406
转载 Twitter架构
Twitter一个最大特点就是用户产生大量数据,每天有7TB数据要保存。使用apache Hadoop进行存储和分析数据,。如果依赖硬盘80MB/S,需要24小时才能写完7TB数。可以在62秒内对1TB数据排序,有分布式文件系统,基于Mapreduce算法。传统方式传统方式有三个:1. MySQL的水平和垂直分区2. 使用分布式缓存Memcached3. 通过应用程序管
2015-12-07 15:38:47
722
转载 如何扩展大规模Web网站的性能?
Reduce Data广告服务网站如何扩展到每天300K QPS请求?分享经验如下:1. 为大规模设计,广告服务平台从一开始增长就很惊人,因此,系统开始就为大规模设计,系统为水平和垂直伸缩扩展。2.选择CAP定理中的AP(可用性和分区容错性)二不是CA(一致性和可用性),因为广告拍卖与服务平台是追求低延迟和高性能,数据的高一致性不是非常关键。3.没有锁定专门厂商软件或专利技
2015-12-07 15:34:14
324
转载 CAP定理
CAP定理指在设计分布式系统时,一致性(Consistent)、可用性(Availability)、Partition Tolerance(分区容忍性)三个属性不可能同时满足,该定理也叫做布鲁尔定理。CAP定理明确了分布式系统所能实现系统的局限性,目前互联网中的很多分布式系统是基于首要满足可用性和分区容忍性而设计的。在这里,不打算提及目前火热的Cassandra、Voldemort等分布式存储系统
2015-12-07 15:27:55
418
转载 系统吞吐量、TPS(QPS)、用户并发量、性能测试概念和公式
PS:下面是性能测试的主要概念和计算公式,记录下:一.系统吞度量要素: 一个系统的吞度量(承压能力)与request对CPU的消耗、外部接口、IO等等紧密关联。单个reqeust 对CPU消耗越高,外部系统接口、IO影响速度越慢,系统吞吐能力越低,反之越高。系统吞吐量几个重要参数:QPS(TPS)、并发数、响应时间 QPS(TPS):每秒钟reque
2015-12-07 15:24:01
354
转载 多图详解Spring框架的设计理念与设计模式
Spring作为现在最优秀的框架之一,已被广泛的使用,51CTO也曾经针对Spring框架中的JDBC应用做过报道。本文将从另外一个视角试图剖析出Spring框架的作者设计Spring框架的骨骼架构的设计理念。AD:Spring作为现在最优秀的框架之一,已被广泛的使用,51CTO也曾经针对Spring框架中的JDBC应用做过报道。本文将从另外一个视角试图剖析
2015-11-26 09:17:57
638
转载 Java开源在线商城系统 ostocy-jshop
基于java技术开发有如下特性:1,使用spring+hibernate+struts2+freemarker+jquery+css开发2,在服务端有部分为android设备提供的方法,android版本2.333, 有一套模板系统,可以独立出来做快速建站系统使用4,采用了静态化处理商品和文章数据5,由freemarker充当显示层。如何部署源码:
2015-11-23 23:20:51
2029
转载 构建高并发高可用的电商平台架构大纲
阅读目录1) 多级缓存,静态化2) 索引1) 任务切分、分而治之(MR)2) 多进程、多线程并行执行(MPP)1) 负载均衡、容灾、备份2) 读写分离3) 依赖关系4) 监控1) 拆分2) 无状态1) 系统容量有限2) 原子操作与并发控制3) 基于逻辑的不同,采
2015-11-23 23:19:32
653
转载 淘宝架构框架
一、个人网站 2003 年 4 月 7 日,马云,在杭州,成立了一个神秘的组织。他叫来十位员工,要他们签了一份协议,这份协议要求他们立刻离开阿里巴巴,去做一个神秘的项目。这个项目要求绝 对保密,老马戏称“连说梦话被老婆听到都不行,谁要是透漏出去,我将追杀到天涯海角”。这份协议是英文版的,匆忙之间,大多数人根本来不及看懂,但出于对 老马的信任,都卷起铺盖离开了阿里巴巴。
2015-11-23 18:28:38
785
翻译 Webx框架指南
Webx框架指南Michael Zhouzyh@alibaba-inc.com>2010-11-13引言1. 阅读向导2. Webx是什么?3. Webx的历史4. 为什么要用Webx而不是其它的开源框架?5. Webx的优势5.1. 成熟可靠性5.2. 开放和扩展性6. Webx还缺少什么?部分 I. Webx框架概览
2015-11-23 16:43:33
4694
转载 阿里核心系统团队博客
http://csrd.aliapp.com/阿里核心系统团队博客基础 极致 分享Home招聘信息阿里核心系统团队介绍TFS运维平台改造1604 天by linqing in TFS TFS负责运维的同学在工作过程中,积累了各种运维脚本
2015-11-23 16:25:29
4429
转载 memcache的原理和命中率的总结
1 Memcache是什么Memcache是danga.com的一个项目,最早是为 LiveJournal 服务的,目前全世界不少人使用这个缓存项目来构建自己大负载的网站,来分担数据库的压力。它可以应对任意多个连接,使用非阻塞的网络IO。由于它的工作机制是在内存中开辟一块空间,然后建立一个HashTable,Memcached自治理这些HashTable。 为什么会
2015-11-23 15:45:00
434
3、2018人才市场洞察及薪酬指南(169页).pdf
2019-09-25
行为面试.doc
2019-09-25
研发效能36计-敏捷...1567591451.pdf
2019-09-05
研发效能36计-开篇...1567590575.pdf
2019-09-05
jquery.jqplot.1.0.0a_r701
2011-04-21
structs 2上传总结
2011-03-22
openmeetings_lps411-4
2010-08-24
openmeetings_lps411-3
2010-08-24
openmeetings_lps411-2
2010-08-24
openmeetings_lps411-1
2010-08-24
openmeetings_lps411
2010-08-18
openmeetings connector v1.0.zip
2010-08-16
Sugar CRM OPENMEETING
2010-08-13
openmeetingsaudience_moodle_plugin_v02
2010-08-13
FUSE Services Framework -1
2010-08-08
FUSE Services Framework -2
2010-08-08
Using the SOAP Binding
2010-08-08
Writing WSDL Contracts
2010-08-08
DarwinStreamingSrvr6.0.3-Source3.rar
2009-09-09
DarwinStreamingSrvr6.0.3-Source2.rar
2009-09-09
DarwinStreamingSrvr6.0.3-Source-1
2009-09-09
visualswing4eclipse
2009-09-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人