<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[panyuwu的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/panyuwu</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; panyuwu]]></copyright><item><title><![CDATA[JVM内存区域划分Eden Space、Survivor Space、Tenured Gen，Perm Gen解释]]></title><link>https://blog.youkuaiyun.com/panyuwu/article/details/51644325</link><guid>https://blog.youkuaiyun.com/panyuwu/article/details/51644325</guid><author>panyuwu</author><pubDate>Sun, 12 Jun 2016 10:25:52 +0800</pubDate><description><![CDATA[jvm区域总体分两类，heap区和非heap区。heap区又分：Eden Space（伊甸园）、Survivor Space(幸存者区)、Tenured Gen（老年代-养老区）。 非heap区又分：Code Cache(代码缓存区)、Perm Gen（永久代）、Jvm Stack(java虚拟机栈)、Local Method Statck(本地方法栈)。

HotSpot虚拟机GC算法采用分]]></description><category></category></item><item><title><![CDATA[淘宝大秒系统设计详解]]></title><link>https://blog.youkuaiyun.com/panyuwu/article/details/50846654</link><guid>https://blog.youkuaiyun.com/panyuwu/article/details/50846654</guid><author>panyuwu</author><pubDate>Thu, 10 Mar 2016 14:52:40 +0800</pubDate><description><![CDATA[导读：最初的秒杀系统的原型是淘宝详情上的定时上架功能，由于有些卖家为了吸引眼球，把价格压得很低。但这给的详情系统带来了很大压力，为了将这种突发流量隔离，才设计了秒杀系统，文章主要介绍大秒系统以及这种典型读数据的热点问题的解决思路和实践经验。


一些数据

大家还记得2013年的小米秒杀吗？三款小米手机各11万台开卖，走的都是大秒系统，3分钟后成为双十一第一家也是最快破亿的旗舰店。经过日]]></description><category></category></item><item><title><![CDATA[MapReduce过程、Spark和Hadoop以Shuffle为中心的对比分析]]></title><link>https://blog.youkuaiyun.com/panyuwu/article/details/50828712</link><guid>https://blog.youkuaiyun.com/panyuwu/article/details/50828712</guid><author>panyuwu</author><pubDate>Tue, 08 Mar 2016 17:01:32 +0800</pubDate><description><![CDATA[mapreduce与Spark的map-Shuffle-reduce过程

mapreduce过程解析（mapreduce采用的是sort-based shuffle）

将获取到的数据分片partition进行解析，获得k/v对，之后交由map()进行处理.map函数处理完成之后，进入collect阶段，对处理后的k/v对进行收集，存储在内存的环形缓冲区中。当环形缓冲区中的数据达到阀值之]]></description><category></category></item><item><title><![CDATA[amfe手机淘宝前端团队 https://github.com/amfe]]></title><link>https://blog.youkuaiyun.com/panyuwu/article/details/50586393</link><guid>https://blog.youkuaiyun.com/panyuwu/article/details/50586393</guid><author>panyuwu</author><pubDate>Tue, 26 Jan 2016 11:57:54 +0800</pubDate><description><![CDATA[Skip
 to content




Sign up Sign in






ExploreFeaturesEnterprisePricing













amfe


 Repositories People 3




Filters 









JavaScript  1,]]></description><category></category></item><item><title><![CDATA[前端系列 | 2015年双11手淘前端技术巡演 - 前言]]></title><link>https://blog.youkuaiyun.com/panyuwu/article/details/50586055</link><guid>https://blog.youkuaiyun.com/panyuwu/article/details/50586055</guid><author>panyuwu</author><pubDate>Tue, 26 Jan 2016 11:11:27 +0800</pubDate><description><![CDATA[前端系列 | 2015年双11手淘前端技术巡演 - 前言

2015-11-16 手机淘宝技术团队MTT





15年双11刚落下帷幕。今年众所周知，是全面“无线化”的一年。数据上我就不说了，可以公开的数据我相信大家多多少少也从各方都了解到了。


在整个阿里体系内，无论技术还是业务，都会把每年的双11当作一个战场，同时也是一个“炼金石”。不管是技术还是业务，不经过双11]]></description><category></category></item><item><title><![CDATA[手机淘宝架构演化实践]]></title><link>https://blog.youkuaiyun.com/panyuwu/article/details/50560140</link><guid>https://blog.youkuaiyun.com/panyuwu/article/details/50560140</guid><author>panyuwu</author><pubDate>Fri, 22 Jan 2016 10:20:26 +0800</pubDate><description><![CDATA[发展阶段

从2009年开始，DAU从100万增长到超过1亿，面临的问题、包括研发支撑所需要解决的事情各不相同。在用户量和业务复杂度的线性递增下，架构也进行了相应的演进。如下图所示，具体可以分为四个阶段：





第一阶段，手淘的前身WAP网站，业务初立、变化快，需要快速发布，采取HTML模板和单一应用，最大程度满足快速发布和修改的需要；甚至不需要改动后端的业务代码，在前面的模板]]></description><category></category></item><item><title><![CDATA[第14课：Spark RDD 解密]]></title><link>https://blog.youkuaiyun.com/panyuwu/article/details/50533544</link><guid>https://blog.youkuaiyun.com/panyuwu/article/details/50533544</guid><author>panyuwu</author><pubDate>Sun, 17 Jan 2016 21:24:23 +0800</pubDate><description><![CDATA[第14课：Spark RDD解密
1 RDD：基于工作集的应用抽象
2 RDD内幕解密
3 RDD 思考
MapReduce是基于数据集的
位置感知，容错 负载均衡
基于数据集的处理：从物理存储上加载数据，然后操作数据 然后写入物理存储设备，具体例子：Hadoop MapReduce
 
基于数据集的操作不适应的场景：
1，不适合于大量的迭代
2，交互式查询
重点是：基于数据]]></description><category></category></item><item><title><![CDATA[个人总结]]></title><link>https://blog.youkuaiyun.com/panyuwu/article/details/50516022</link><guid>https://blog.youkuaiyun.com/panyuwu/article/details/50516022</guid><author>panyuwu</author><pubDate>Thu, 14 Jan 2016 16:41:38 +0800</pubDate><description><![CDATA[1：jenkins+gitlab+redmine
Jenkins 是一个可扩展的持续集成引擎。
主要用于：
 持续、自动地构建/测试软件项目。
 监控一些定时执行的任务。

   目前持续集成(CI)已成为当前许多软件开发团队在整个软件开发生命周期内侧重于保证代码质量的常见做法。它是一种实践，旨在缓和和稳固软件的构建过程。并且能够帮助您的开发团队应对如下挑战：
   软件构建自动化 ]]></description><category></category></item><item><title><![CDATA[第6集 精通spark集群搭建]]></title><link>https://blog.youkuaiyun.com/panyuwu/article/details/50474673</link><guid>https://blog.youkuaiyun.com/panyuwu/article/details/50474673</guid><author>panyuwu</author><pubDate>Thu, 07 Jan 2016 11:13:35 +0800</pubDate><description><![CDATA[1：安装虚拟机（VMware+ubuntukylin-14.04.3-desktop-amd64 ）
2：网络配置：Ubuntu 系统配置文件在：/etc/network/interfaces

编辑配置文件：sudo
 vi /etc/network/interfaces
并用下面的行来替换有关eth0的行：
# The primary network interface
auto]]></description><category></category></item><item><title><![CDATA[第4集：Scala模式匹配、类型系统彻底精通与Spark源码阅读]]></title><link>https://blog.youkuaiyun.com/panyuwu/article/details/50460395</link><guid>https://blog.youkuaiyun.com/panyuwu/article/details/50460395</guid><author>panyuwu</author><pubDate>Tue, 05 Jan 2016 10:00:59 +0800</pubDate><description><![CDATA[模式匹配和java中的switch  case 强大很大，除了值，类型，集合等进行匹配
最常见的Case class 进行匹配
Master.scala 有大量的模式匹配
模式匹配的使用编写简介明了，简洁等
Case “_” 不满足上面所有的情况的体验
def bigData(data:String)
{
    datamatch{
        case 
"Spark"=]]></description><category></category></item><item><title><![CDATA[第3课：Scala函数式编程彻底精通及spark源码阅读]]></title><link>https://blog.youkuaiyun.com/panyuwu/article/details/50456583</link><guid>https://blog.youkuaiyun.com/panyuwu/article/details/50456583</guid><author>panyuwu</author><pubDate>Mon, 04 Jan 2016 16:18:00 +0800</pubDate><description><![CDATA[Scala最迷人的方式是函数式编程
Spark中的多数计算都是用函数式编程的，处理数据的时候都是针对集合的，一般都会作用的集合之上。
高阶函数，是scala和java最大不同点，最大价值
今天讲每一个例子没一点，都必须掌握，开启全新的编程人生
 函数和变量都一样的，函数是独立使用，独立存在
 fun1_v =fun1 _  必须空格加下划线
Fun2 指向匿名函数 =>指向函数体]]></description><category></category></item><item><title><![CDATA[Scala光速入门之Scala的基本语法、Array、Map、Tuple等]]></title><link>https://blog.youkuaiyun.com/panyuwu/article/details/50448558</link><guid>https://blog.youkuaiyun.com/panyuwu/article/details/50448558</guid><author>panyuwu</author><pubDate>Sat, 02 Jan 2016 17:10:42 +0800</pubDate><description><![CDATA[首先很高兴能成为王老师3000门徒之一，在新年第一天第一课《Scala光速入门》就长达三个小时，在这三个小时的时间里面，整体上感觉难度不是很大，但由于前期没有准备Scala环境，仅仅听导致效率很低，导致中间大半个小时基本上收获比较低，今天上午我把Scala环境搭建完毕，也把spark源码下载下来，后面紧跟着王老师的脚步，提高上课效率，课后及时复习；]]></description><category></category></item><item><title><![CDATA[从大数据菜鸟走上大师的历程]]></title><link>https://blog.youkuaiyun.com/panyuwu/article/details/50378669</link><guid>https://blog.youkuaiyun.com/panyuwu/article/details/50378669</guid><author>panyuwu</author><pubDate>Tue, 22 Dec 2015 11:17:52 +0800</pubDate><description><![CDATA[大数据是用scala语言，和java有些不同又比java强大，省去了很多繁琐的东西，scala中的的接口用trait来定义，不同于java的接口，trait中可以有抽象方法也可以有不抽象方法。scala中的方法中还可以定义方法，这在java中是从来没有的。

大数据未来几年发展的重点方向，大数据战略已经在十八届五中全会上作为重点战略方向，中国在大数据方面才刚刚起步，但是在美国已经产生了上千亿的]]></description><category></category></item><item><title><![CDATA[优秀的博客地址-冰冻三尺非一日之寒]]></title><link>https://blog.youkuaiyun.com/panyuwu/article/details/50315253</link><guid>https://blog.youkuaiyun.com/panyuwu/article/details/50315253</guid><author>panyuwu</author><pubDate>Tue, 15 Dec 2015 14:40:50 +0800</pubDate><description><![CDATA[MR-fox

冰冻三尺,非一日之寒！










  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅  :: 管理 ::








  183 随笔 :: 5 文章 :: 76 评论 :: 0 引用















搜索


 





我]]></description><category></category></item><item><title><![CDATA[分布式搜索Elasticsearch——配置]]></title><link>https://blog.youkuaiyun.com/panyuwu/article/details/50315049</link><guid>https://blog.youkuaiyun.com/panyuwu/article/details/50315049</guid><author>panyuwu</author><pubDate>Tue, 15 Dec 2015 14:28:03 +0800</pubDate><description><![CDATA[配置文件位于%ES_HOME%/config/elasticsearch.yml文件中，用Editplus打开它，你便可以进行配置。
        所有的配置都可以使用环境变量，例如：
node.rack: ${RACK_ENV_VAR}
        表示环境变量中有一个RACK_ENV_VAR变量。
        下面列举一下elasticsearch的可配置项：
      ]]></description><category></category></item><item><title><![CDATA[分布式搜索Elasticsearch——安装]]></title><link>https://blog.youkuaiyun.com/panyuwu/article/details/50314685</link><guid>https://blog.youkuaiyun.com/panyuwu/article/details/50314685</guid><author>panyuwu</author><pubDate>Tue, 15 Dec 2015 14:04:05 +0800</pubDate><description><![CDATA[单机环境

       安装步骤：


       1. 安装jdk或者jre，然后设置好环境变更JAVA_HOME；

       2. 下载elasticsearch，将之解压，如解压到D:\java\elasticsearch；
       3. 打开Dos，进入到D:\java\elasticsearch\bin，执行以下命令：






[java]]></description><category></category></item><item><title><![CDATA[分布式搜索Elasticsearch——概述]]></title><link>https://blog.youkuaiyun.com/panyuwu/article/details/50314543</link><guid>https://blog.youkuaiyun.com/panyuwu/article/details/50314543</guid><author>panyuwu</author><pubDate>Tue, 15 Dec 2015 13:53:38 +0800</pubDate><description><![CDATA[前注：有些内容来自网络，此处引用




       Elasticsearch是一个基于lucene的、开源的、分布式的、RESTful的搜索引擎。Elasticsearch有如下特征：

       1. 更快的执行搜索；
       2. 安装简单；
       3. 完全自由的搜索模式；
       4. 可以简单地通过HTTP使用JSON索引数据；
   ]]></description><category></category></item><item><title><![CDATA[龙珠直播CTO谭振林：从0到500万用户背后的技术架构变迁]]></title><link>https://blog.youkuaiyun.com/panyuwu/article/details/50314523</link><guid>https://blog.youkuaiyun.com/panyuwu/article/details/50314523</guid><author>panyuwu</author><pubDate>Tue, 15 Dec 2015 13:52:46 +0800</pubDate><description><![CDATA[龙珠直播正式上线到现在只是短短的10个月，其技术架构就经历了三次重大的迭代，而最终解决问题的，是云计算服务。日前，龙珠直播CTO谭振林接受了优快云云计算采访，解读龙珠直播的技术架构变迁和云计算实践心得。]]></description><category></category></item><item><title><![CDATA[架构之路（三）：单元测试]]></title><link>https://blog.youkuaiyun.com/panyuwu/article/details/50314433</link><guid>https://blog.youkuaiyun.com/panyuwu/article/details/50314433</guid><author>panyuwu</author><pubDate>Tue, 15 Dec 2015 13:44:40 +0800</pubDate><description><![CDATA[摘要：“测试驱动”是一个最具争议的话题，没有之一。吹捧者和反对者泾渭分明，而且都有大量的论据和证明。林外，架构是一种“无奈”，是现实是问题驱使你去做一些其实你本来不想做的事情。


【编者按】本文作者自由飞是一个奇人， 彻彻底底的非科班程序员：98年读大学-国际贸易专业、03年11月英语培训机构当英语老师、04年2月-05年6月律师事务所实习和公司法务、05年6月-07年12月成立装饰公司做]]></description><category></category></item><item><title><![CDATA[架构之路（二）：性能]]></title><link>https://blog.youkuaiyun.com/panyuwu/article/details/50314413</link><guid>https://blog.youkuaiyun.com/panyuwu/article/details/50314413</guid><author>panyuwu</author><pubDate>Tue, 15 Dec 2015 13:42:26 +0800</pubDate><description><![CDATA[摘要：似乎程序员都是急性子，或许是被windows冗长的开机时间折磨够了，有可能是因为提升性能的效果是最显而易见的……总之，我发现，绝大部分程序员对性能的关注和热情是无与伦比的！


【编者按】本文作者自由飞是一个奇人， 彻彻底底的非科班程序员：98年读大学-国际贸易专业、03年11月英语培训机构当英语老师、04年2月-05年6月律师事务所实习和公司法务、05年6月-07年12月成立装饰公司]]></description><category></category></item></channel></rss>