<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Mike han]]></title><description><![CDATA[我也不知道自己能走多远，只是一旦停下了，这辈子也就这么回事了]]></description><link>https://blog.youkuaiyun.com/Mike_H</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Mike_H]]></copyright><item><title><![CDATA[备份 - web.xml 中spring-servlet.xml 和 application.xml 配置位置及含义]]></title><link>https://blog.youkuaiyun.com/Mike_H/article/details/72539906</link><guid>https://blog.youkuaiyun.com/Mike_H/article/details/72539906</guid><author>Mike_H</author><pubDate>Fri, 19 May 2017 16:09:51 +0800</pubDate><description><![CDATA[本文转载自：http://blog.youkuaiyun.com/tengdazhang770960436/article/details/48395885

在我们进行 spring-servlet 进行开发的时候，经常会遇到配置文件配置的问题，要彻底的解决这个问题，我们需要了解 springMVC
 设计的基本架构

1.SpringMVC 的配置分为两部分 application.xml 和]]></description><category></category></item><item><title><![CDATA[备份 - spring配置文件详解]]></title><link>https://blog.youkuaiyun.com/Mike_H/article/details/72539796</link><guid>https://blog.youkuaiyun.com/Mike_H/article/details/72539796</guid><author>Mike_H</author><pubDate>Fri, 19 May 2017 16:04:42 +0800</pubDate><description><![CDATA[转自： http://book.51cto.com/art/201004/193743.htm  
  
spring配置文件是用于指导Spring工厂进行Bean生产、依赖关系注入（装配）及Bean实例分发的"图纸"。Java
 EE程序员必须学会并灵活应用这份"图纸"准确地表达自己的"生产意图"。Spring配置文件是一个或多个标准的XML文档，applicationContext.xm]]></description><category></category></item><item><title><![CDATA[分析函数_PERCENT_RANK -- SQL Server 2012 & Hive]]></title><link>https://blog.youkuaiyun.com/Mike_H/article/details/50278491</link><guid>https://blog.youkuaiyun.com/Mike_H/article/details/50278491</guid><author>Mike_H</author><pubDate>Sat, 12 Dec 2015 22:11:47 +0800</pubDate><description><![CDATA[刚才已经介绍了 CUME_DIST 在 SQL Server 2012 （Hive）中的应用。因为在 Hive 中的语法跟 Server2012
 中相同，所以我这里就不过多叙述 Hive 中使用的细节了。

PERCENT_RANK() 函数会返回当前查询结果集和分区的一个相对值。如果你希望进一步了解该函数，可以参考：https://en.wikipedia.org/wiki/Percen]]></description><category></category></item><item><title><![CDATA[分析函数_CUME_DIST -- SQL Server 2012 & Hive]]></title><link>https://blog.youkuaiyun.com/Mike_H/article/details/50275341</link><guid>https://blog.youkuaiyun.com/Mike_H/article/details/50275341</guid><author>Mike_H</author><pubDate>Sat, 12 Dec 2015 15:50:39 +0800</pubDate><description><![CDATA[最近在整理 Hie 分析函数资料的时候，看到了 CUME_DIST，百度后还是不知其意。于是乎用起了之前介绍的 Webcrawler 搜索引擎 ：http://www.webcrawler.com/
发现 SQL Server中也包含该分析函数。接下来让我们看看如何在 SQL Server 2012 中使用该分析函数，以帮助大家深入理解 CUME_DIST 函数在 Hive 中的使用。
根据]]></description><category></category></item><item><title><![CDATA[Row_number & Rank & Dense_Rank]]></title><link>https://blog.youkuaiyun.com/Mike_H/article/details/50274157</link><guid>https://blog.youkuaiyun.com/Mike_H/article/details/50274157</guid><author>Mike_H</author><pubDate>Sat, 12 Dec 2015 13:08:00 +0800</pubDate><description><![CDATA[无论是传统数据库还是 Hadoop 数据仓库 Hive，我们都会涉及到窗口函数。今天利用 SQL Server 跟大家总结一下这Rank, Dense_rank, Row_number 三种函数的使用场景及区别：

1. Rank() vs Dense_Rank()

Rank() 会将数据进行排序。同一个分区下的对应的值从1开始递增，对于排序相同的字段拥有相同的排序值。不同的字段对应着自]]></description><category></category></item><item><title><![CDATA[图片搜索引擎 - WebCrawler]]></title><link>https://blog.youkuaiyun.com/Mike_H/article/details/50274101</link><guid>https://blog.youkuaiyun.com/Mike_H/article/details/50274101</guid><author>Mike_H</author><pubDate>Sat, 12 Dec 2015 12:50:54 +0800</pubDate><description><![CDATA[由于平时使用 Google 比较多，所有对 Google 的图片搜索印象特别深刻。但是说到关联度，个人想推荐一款比较好的搜索引擎，这是很久之前从 Github 上发现的。
先分享出来，以后有时间再看看源码。
https://github.com/Hanmourang/crawler4j
介绍：
WebCrawler是一款元搜索引擎，整合了 Google、Yahoo!、Bing Search]]></description><category></category></item><item><title><![CDATA[Hive 运算符 & 内置函数详解 -- 适合关键词查找]]></title><link>https://blog.youkuaiyun.com/Mike_H/article/details/50256145</link><guid>https://blog.youkuaiyun.com/Mike_H/article/details/50256145</guid><author>Mike_H</author><pubDate>Thu, 10 Dec 2015 22:50:33 +0800</pubDate><description><![CDATA[说实话，该博客排版太零乱，但是不影响关键词查找。转发过来以供以后参考：http://blog.sina.com.cn/s/blog_9f488855010179pt.html



1.内置运算符
1.1关系运算符




运算符

类型

说明



A = B

所有原始类型

如果A与B相等,返回TRUE,否则返回FALSE



A ==]]></description><category></category></item><item><title><![CDATA[Hive Projects_1. SQL Windowing & 分区表函数 -- 带完善]]></title><link>https://blog.youkuaiyun.com/Mike_H/article/details/50245995</link><guid>https://blog.youkuaiyun.com/Mike_H/article/details/50245995</guid><author>Mike_H</author><pubDate>Thu, 10 Dec 2015 21:49:23 +0800</pubDate><description><![CDATA[项目源码：https://github.com/hbutani/SQLWindowing
项目介绍：https://github.com/hbutani/SQLWindowing/wiki
PPT 介绍：http://www.slideshare.net/Hadoop_Summit/analytical-queries-with-hive


目前正在研究该项目源码，会在后续进行更新，有]]></description><category></category></item><item><title><![CDATA[Hive ACID 特性 -- 0.13.0]]></title><link>https://blog.youkuaiyun.com/Mike_H/article/details/50253931</link><guid>https://blog.youkuaiyun.com/Mike_H/article/details/50253931</guid><author>Mike_H</author><pubDate>Thu, 10 Dec 2015 20:17:40 +0800</pubDate><description><![CDATA[本文翻译于：https://cwiki.apache.org/confluence/display/Hive/Hive+Transactions
        转载于：http://www.youkuaiyun.com/article/2014-04-23/2819438-Cloud-Hive
需要提醒的是，当前Hive版本是 0.14.0。之所以要添加这篇文章，是为后续的文章做铺垫。
摘要：Hive]]></description><category></category></item><item><title><![CDATA[Hive配置文件中配置项的含义详解 -- 收藏版]]></title><link>https://blog.youkuaiyun.com/Mike_H/article/details/50251643</link><guid>https://blog.youkuaiyun.com/Mike_H/article/details/50251643</guid><author>Mike_H</author><pubDate>Thu, 10 Dec 2015 16:55:50 +0800</pubDate><description><![CDATA[本篇文章转自：http://www.aboutyun.com/thread-7548-1-1.html
Preface：
1.hive输出格式的配置项是哪个？
2.hive被各种语言调用如何配置？
3.hive提交作业是在hive中还是hadoop中？
4.一个查询的最后一个map/reduce任务输出是否被压缩的标志，通过哪个配置项？
5.当用户自定义了UDF或者SerDe，这些插件]]></description><category></category></item><item><title><![CDATA[MapReduce性能优化_9. 数据序列化]]></title><link>https://blog.youkuaiyun.com/Mike_H/article/details/50221969</link><guid>https://blog.youkuaiyun.com/Mike_H/article/details/50221969</guid><author>Mike_H</author><pubDate>Tue, 08 Dec 2015 17:44:51 +0800</pubDate><description><![CDATA[本文翻译于 《Hadoop in Practice - 1》, 摘抄自：大牛翻译系列



6.4.6 优化数据序列化


如何存储和传输数据对性能有很大的影响。在这部分将介绍数据序列化的最佳实践，从Hadoop中榨出最大的性能。

 

压缩
压缩是Hadoop优化的重要部分。通过压缩可以减少作业输出数据的储存足迹，加速MapReduce作业下游接收数据。另外，在map和]]></description><category></category></item><item><title><![CDATA[MapReduce性能优化_8. 优化MapReduce的用户JAVA代码]]></title><link>https://blog.youkuaiyun.com/Mike_H/article/details/50221823</link><guid>https://blog.youkuaiyun.com/Mike_H/article/details/50221823</guid><author>Mike_H</author><pubDate>Tue, 08 Dec 2015 17:38:12 +0800</pubDate><description><![CDATA[本文翻译于 《Hadoop in Practice - 1》, 摘抄自：大牛翻译系列


6.4.5 优化MapReduce用户JAVA代码


MapReduce执行代码的方式和普通JAVA应用不同。这是由于MapReduce框架为了能够高效地处理海量数据，需要成百万次调用map和reduce函数。每次调用仅用较少时间。那么就不能用普通的经验来预测常见库（含JDK）的性能表现。
]]></description><category></category></item><item><title><![CDATA[MapReduce性能优化_7. 减小数据倾斜的性能损失]]></title><link>https://blog.youkuaiyun.com/Mike_H/article/details/50221749</link><guid>https://blog.youkuaiyun.com/Mike_H/article/details/50221749</guid><author>Mike_H</author><pubDate>Tue, 08 Dec 2015 17:31:53 +0800</pubDate><description><![CDATA[本文翻译于 《Hadoop in Practice - 1》, 摘抄自：大牛翻译系列



6.4.4 减小数据倾斜的性能损失

数据倾斜是数据中的常见情况。数据中不可避免地会出现异常值（outlier），并导致数据倾斜。这些异常值会显著地拖慢MapReduce的执行。常见的数据倾斜有以下几类：

数据频率倾斜 -- 某一个区域的数据量要远远大于其他区域。数据大小倾斜 -- 部分记]]></description><category></category></item><item><title><![CDATA[MapReduce性能优化_6. 优化 Shuffle & Sort 阶段]]></title><link>https://blog.youkuaiyun.com/Mike_H/article/details/50221457</link><guid>https://blog.youkuaiyun.com/Mike_H/article/details/50221457</guid><author>Mike_H</author><pubDate>Tue, 08 Dec 2015 17:15:51 +0800</pubDate><description><![CDATA[本文翻译于 《Hadoop in Practice - 1》, 摘抄自：大牛翻译系列



6.4.3 优化洗牌（shuffle）和排序阶段



技术46 规避使用reduce


技术47 过滤和投影


技术48 使用combine


技术49 用Comparator进行超快排序
洗牌和排序阶段都很耗费资源。洗牌需要在map和reduce任务之间传输数据]]></description><category></category></item><item><title><![CDATA[MapReduce性能优化_5. 诊断一般性能瓶颈]]></title><link>https://blog.youkuaiyun.com/Mike_H/article/details/50220813</link><guid>https://blog.youkuaiyun.com/Mike_H/article/details/50220813</guid><author>Mike_H</author><pubDate>Tue, 08 Dec 2015 16:43:45 +0800</pubDate><description><![CDATA[本文翻译于 《Hadoop in Practice - 1》, 摘抄自：大牛翻译系列



6.2.5 硬件性能问题


技术39 查找硬件的失效技术40 CPU竞争技术41 内存交换技术42 磁盘健康技术43 网络



尽管单独的硬件的MTTF（平均失效前时间）都数以年记，然而在集群中就完全不是这么一回事了。整个集群的MTTF就要小得多。这一节要介绍如何确定CPU，内存，]]></description><category></category></item><item><title><![CDATA[MapReduce性能优化_4. 诊断一般性能瓶颈]]></title><link>https://blog.youkuaiyun.com/Mike_H/article/details/50220697</link><guid>https://blog.youkuaiyun.com/Mike_H/article/details/50220697</guid><author>Mike_H</author><pubDate>Tue, 08 Dec 2015 16:31:39 +0800</pubDate><description><![CDATA[本文翻译于 《Hadoop in Practice - 1》, 摘抄自：大牛翻译系列



6.2.4 任务一般性能问题





技术37 作业竞争和调度器限制技术38 使用堆转存（stack
 dump）来查找未优化的用户代码





这部分将介绍那些对map和reduce任务都有影响的性能问题。
技术37 作业竞争和调度器限制

即便map任务和re]]></description><category></category></item><item><title><![CDATA[MapReduce性能优化_3. 诊断 Reduce 端性能瓶颈]]></title><link>https://blog.youkuaiyun.com/Mike_H/article/details/50220395</link><guid>https://blog.youkuaiyun.com/Mike_H/article/details/50220395</guid><author>Mike_H</author><pubDate>Tue, 08 Dec 2015 16:24:40 +0800</pubDate><description><![CDATA[本文翻译于 《Hadoop in Practice - 1》, 摘抄自：大牛翻译系列
6.2.3 Reduce的性能问题




技术33 Reduce实例不足或过多技术34 诊断reduce段的数据倾斜的问题技术35 确定reduce任务是否存在整体吞吐量过低技术36 缓慢的洗牌（shuffle）和排序




Reduce的性能问题有和map类似的方面，也有和map不同的]]></description><category></category></item><item><title><![CDATA[MapReduce性能优化_2. 诊断 Map 端性能瓶颈]]></title><link>https://blog.youkuaiyun.com/Mike_H/article/details/50206263</link><guid>https://blog.youkuaiyun.com/Mike_H/article/details/50206263</guid><author>Mike_H</author><pubDate>Mon, 07 Dec 2015 16:04:31 +0800</pubDate><description><![CDATA[本文翻译于 《Hadoop in Practice - 1》, 摘抄自：大牛翻译系列


6.2 诊断性能瓶颈



技术28 调查输入数据中的特别大的部分技术29 诊断map端的数据倾斜（data
 skew）技术30 诊断map任务的低吞吐量问题技术31 小文件技术32 不可分块的文件

有的时候作业的执行时间会长得惊人。想靠猜也是很难猜对问题在哪。这一章中将介绍如何界定问]]></description><category></category></item><item><title><![CDATA[MapReduce性能优化_1. 性能测量]]></title><link>https://blog.youkuaiyun.com/Mike_H/article/details/50205993</link><guid>https://blog.youkuaiyun.com/Mike_H/article/details/50205993</guid><author>Mike_H</author><pubDate>Mon, 07 Dec 2015 15:24:49 +0800</pubDate><description><![CDATA[本文翻译于 《Hadoop in Practice》, 摘抄自：大牛翻译系列


性能调优的基础主要依赖于系统的性能指标和实验数据。依据这些指标和数据，才能找到系统的性能瓶颈。性能指标和实验数据要通过一系列的工具和过程才能得到。

这部分里，将介绍Hadoop自带的工具和性能指标。还将捎带介绍性能监控工具。 

1 抽取作业统计数据[job
 statistics]的工具

这]]></description><category></category></item><item><title><![CDATA[Parquet_11. Spark: DataFrames 和 Parquet -- 待完善]]></title><link>https://blog.youkuaiyun.com/Mike_H/article/details/50199987</link><guid>https://blog.youkuaiyun.com/Mike_H/article/details/50199987</guid><author>Mike_H</author><pubDate>Mon, 07 Dec 2015 00:03:40 +0800</pubDate><description><![CDATA[具体内容将会在后续进行完善，敬请期待]]></description><category></category></item></channel></rss>