<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[L13571471349的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/L13571471349</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; L13571471349]]></copyright><item><title><![CDATA[Spark性能优化：资源调优篇]]></title><link>https://blog.youkuaiyun.com/L13571471349/article/details/78968469</link><guid>https://blog.youkuaiyun.com/L13571471349/article/details/78968469</guid><author>L13571471349</author><pubDate>Thu, 04 Jan 2018 10:47:03 +0800</pubDate><description><![CDATA[在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论是哪]]></description><category></category></item><item><title><![CDATA[数据分析利器之hive优化十大原则]]></title><link>https://blog.youkuaiyun.com/L13571471349/article/details/78076961</link><guid>https://blog.youkuaiyun.com/L13571471349/article/details/78076961</guid><author>L13571471349</author><pubDate>Sun, 24 Sep 2017 15:06:54 +0800</pubDate><description><![CDATA[hive之于数据民工，就如同锄头之于农民伯伯。hive用的好，才能从地里（数据库）里挖出更多的数据来。

用过hive的朋友，我想或多或少都有类似的经历：一天下来，没跑几次hive，就到下班时间了。

hive在极大数据或者数据不平衡等情况下，表现往往一般，因此也出现了presto、spark-sql等替代品。今天不谈其它，就来说说关于hive，个人的一点心得。

 

一. 表连]]></description><category></category></item><item><title><![CDATA[Hive优化总结     ---by 食人花]]></title><link>https://blog.youkuaiyun.com/L13571471349/article/details/78070534</link><guid>https://blog.youkuaiyun.com/L13571471349/article/details/78070534</guid><author>L13571471349</author><pubDate>Sat, 23 Sep 2017 14:07:37 +0800</pubDate><description><![CDATA[Hive优化总结

 

---by 食人花


长期观察hadoop处理数据的过程，有几个显著的特征:

1.不怕数据多，就怕数据倾斜。

2．对jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，没半小时是跑不完的。map reduce作业初始化的时间是比较长的。

3.对sum，count来说，不存在数据倾斜问题]]></description><category></category></item><item><title><![CDATA[基于hadoop下的mahout推荐系统实现]]></title><link>https://blog.youkuaiyun.com/L13571471349/article/details/78010415</link><guid>https://blog.youkuaiyun.com/L13571471349/article/details/78010415</guid><author>L13571471349</author><pubDate>Sun, 17 Sep 2017 15:16:49 +0800</pubDate><description><![CDATA[mahout是一个推荐系统的apache下的框架，而hadoop是一个分布式的框架。基于《mahout in action》一书中的第六章介绍了关于分布式的hadoop实现，首先先介绍关于mahout下的基于共现矩阵的物品相似度的算法实现。



概要



这篇文章主要论述我在实现上一篇文章所述功能时的具体操作过程。因为Hadoop现在有两套新旧API接口，因此在实现过程中需要十]]></description><category></category></item><item><title><![CDATA[Mahout推荐系统]]></title><link>https://blog.youkuaiyun.com/L13571471349/article/details/78010266</link><guid>https://blog.youkuaiyun.com/L13571471349/article/details/78010266</guid><author>L13571471349</author><pubDate>Sun, 17 Sep 2017 14:53:40 +0800</pubDate><description><![CDATA[Mahout的推荐系统

什么是推荐系统为什使用推荐系统推荐系统中的算法

 

 

 

 

 

 

 

 

 

什么是推荐系统





 

 

 

 

 

 

 

 



 

 

 

 

 

 

 

 

为什么使用推荐系统？]]></description><category></category></item><item><title><![CDATA[Elasticsearch+Hbase实现海量数据秒回查询]]></title><link>https://blog.youkuaiyun.com/L13571471349/article/details/77988911</link><guid>https://blog.youkuaiyun.com/L13571471349/article/details/77988911</guid><author>L13571471349</author><pubDate>Fri, 15 Sep 2017 10:34:38 +0800</pubDate><description><![CDATA[本文转载自http://blog.youkuaiyun.com/sdksdk0/article/details/53966430
一、ElasticSearch和Hbase

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是]]></description><category></category></item><item><title><![CDATA[Spark性能优化指南——基础篇]]></title><link>https://blog.youkuaiyun.com/L13571471349/article/details/77970123</link><guid>https://blog.youkuaiyun.com/L13571471349/article/details/77970123</guid><author>L13571471349</author><pubDate>Wed, 13 Sep 2017 19:43:11 +0800</pubDate><description><![CDATA[Spark性能优化指南——基础篇

2016-05-18 优才网

前言

在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），]]></description><category></category></item><item><title><![CDATA[优化洗牌（shuffle）和排序阶段]]></title><link>https://blog.youkuaiyun.com/L13571471349/article/details/77967633</link><guid>https://blog.youkuaiyun.com/L13571471349/article/details/77967633</guid><author>L13571471349</author><pubDate>Wed, 13 Sep 2017 16:21:05 +0800</pubDate><description><![CDATA[6.4.3 优化洗牌（shuffle）和排序阶段

洗牌和排序阶段都很耗费资源。洗牌需要在map和reduce任务之间传输数据，会导致过大的网络消耗。排序和合并操作的消耗也是很显著的。这一节将介绍一系列的技术来缓解洗牌和排序阶段的消耗。

 

技术46 规避使用reduce

Reduce在用于连接数据集的时候将会产生大量的网络消耗。

 

问题

需要考虑在Map]]></description><category></category></item><item><title><![CDATA[Spark性能优化：JVM参数调优]]></title><link>https://blog.youkuaiyun.com/L13571471349/article/details/77676333</link><guid>https://blog.youkuaiyun.com/L13571471349/article/details/77676333</guid><author>L13571471349</author><pubDate>Tue, 29 Aug 2017 11:56:50 +0800</pubDate><description><![CDATA[Spark性能优化：JVM参数调优

原文： http://blog.youkuaiyun.com/kwu_ganymede/article/details/51299115#comments



关于JVM垃圾回收种类

Minor GC
从年轻代空间（包括 Eden 和 Survivor 区域）回收内存被称为 Minor GC。这一定义既清晰又易于理解。但是，当发生Minor GC事件]]></description><category></category></item><item><title><![CDATA[Spark性能优化之数据倾斜技术方案]]></title><link>https://blog.youkuaiyun.com/L13571471349/article/details/77621054</link><guid>https://blog.youkuaiyun.com/L13571471349/article/details/77621054</guid><author>L13571471349</author><pubDate>Sun, 27 Aug 2017 16:11:15 +0800</pubDate><description><![CDATA[一：Hive的ETL优化
方案应用场景：
Hive表数据倾斜，表中数据本身分布不均匀，频繁使用spark对某个Hive表执行操作
方案实现思路：
1.通过Hive 的ETL预先对数据按照key进行聚合，或和其他表预先进行join
2.生成预处理后的Hive表(数据源已经不是原来的Hive表了)
3.数据已经进行了预聚合或预join，所以spark作业不用进行shuffle操作
原理：]]></description><category></category></item><item><title><![CDATA[Spark优化--开发调优]]></title><link>https://blog.youkuaiyun.com/L13571471349/article/details/77606618</link><guid>https://blog.youkuaiyun.com/L13571471349/article/details/77606618</guid><author>L13571471349</author><pubDate>Sat, 26 Aug 2017 20:22:46 +0800</pubDate><description><![CDATA[1.处理同一份数据的话，建议不要重复创建RDD===>复用同一个RDD（对同一个RDD要进行多次操作）===>就对RDD进行持久化
rdd.cache()//cache是persist无参的版本，也就是默认的持久化级别
rdd.persist()
rdd.unPersist()//卸载

2.持久化级别：
MEMEORY_ONLY：要有足够大的内存支撑其持久化操作，将rdd中的未经序列]]></description><category></category></item></channel></rss>