<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[chenjieit619的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/chenjieit619</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; chenjieit619]]></copyright><item><title><![CDATA[jstorm部署《转》]]></title><link>https://blog.youkuaiyun.com/chenjieit619/article/details/80626029</link><guid>https://blog.youkuaiyun.com/chenjieit619/article/details/80626029</guid><author>chenjieit619</author><pubDate>Fri, 08 Jun 2018 17:28:36 +0800</pubDate><description><![CDATA[　　JStorm是一个类似Hadoop MapReduce的系统，不同的是JStorm是一套基于流水线的消息处理机制，是阿里基于Storm优化的版本，和Storm一样是一个分布式实时计算的系统，从开发角度来说，JStorm所有的概念和Storm都相同，所有的编程代码一行不用改也可以直接放到JStorm运行，也可以做一些优化，JStorm比Storm更稳定、更强大、更快，去掉了很多耗费资源的代码，在...]]></description><category></category></item><item><title><![CDATA[Spark取出(Key,Value)型数据中Value值为前n条数据]]></title><link>https://blog.youkuaiyun.com/chenjieit619/article/details/79040673</link><guid>https://blog.youkuaiyun.com/chenjieit619/article/details/79040673</guid><author>chenjieit619</author><pubDate>Fri, 12 Jan 2018 09:52:25 +0800</pubDate><description><![CDATA[最近在使用Spark进行一些日志分析，需要对日志中的一些(key,value)型数据进行排序，并取出value最多的10条数据。经过查找资料，发现Spark中的top()函数可以取出排名前n的元素，以及sortBy()函数可以对(key,value)数据根据value进行排序，原以为一切都很好解决，但是实际情况并没有得到想要的结果数据，研究了部分源码，才最终达到了想要的数据，特在此备注和分享。
]]></description><category></category></item><item><title><![CDATA[Spark - ERROR Executor: java.lang.OutOfMemoryError: unable to create new native thread]]></title><link>https://blog.youkuaiyun.com/chenjieit619/article/details/78458822</link><guid>https://blog.youkuaiyun.com/chenjieit619/article/details/78458822</guid><author>chenjieit619</author><pubDate>Mon, 06 Nov 2017 16:17:06 +0800</pubDate><description><![CDATA[如果你的Spark程序在执行过程中报出如下类似的错误：
ERROR Executor: Exception in task xxx in stage xxx
java.lang.OutOfMemoryError: unable to create new native thread


那么可能性非常大的原因是你当前通过spark-submit或spark-sql启动的程序中开启了过多的进程]]></description><category></category></item><item><title><![CDATA[Hive中的数据倾斜]]></title><link>https://blog.youkuaiyun.com/chenjieit619/article/details/71646682</link><guid>https://blog.youkuaiyun.com/chenjieit619/article/details/71646682</guid><author>chenjieit619</author><pubDate>Thu, 11 May 2017 17:39:34 +0800</pubDate><description><![CDATA[Hive中的数据倾斜


hive



1. 什么是数据倾斜

mapreduce中，相同key的value都给一个reduce，如果个别key的数据过多，而其他key的较少，就会出现数据倾斜。通俗的说，就是我们在处理的时候数据分布的不均，导致了数据大量集中在某一点。造成了数据的热点。

其实在mapreduce分析的时候最怕的就是数据倾斜，通常会出现下面的情况：

m]]></description><category></category></item><item><title><![CDATA[如何每日增量加载数据到Hive分区表]]></title><link>https://blog.youkuaiyun.com/chenjieit619/article/details/71640291</link><guid>https://blog.youkuaiyun.com/chenjieit619/article/details/71640291</guid><author>chenjieit619</author><pubDate>Thu, 11 May 2017 16:26:38 +0800</pubDate><description><![CDATA[如何每日增量加载数据到Hive分区表


hadoop

hive

shell

crontab



加载数据

数据加载到Hive分区表（两个分区，日期（20160316）和小时（10））中
每日加载前一天的日志文件数据到表db_track.track_log

1. 数据存储

数据日志文件，放入某个目录下,每天日志文件放入同一个目录
eg: 20]]></description><category></category></item><item><title><![CDATA[Hive的三种Join方式]]></title><link>https://blog.youkuaiyun.com/chenjieit619/article/details/71639876</link><guid>https://blog.youkuaiyun.com/chenjieit619/article/details/71639876</guid><author>chenjieit619</author><pubDate>Thu, 11 May 2017 16:23:21 +0800</pubDate><description><![CDATA[Hive的三种Join方式







Hive的三种Join方式


hive



Hive中就是把Map，Reduce的Join拿过来，通过SQL来表示。
参考链接：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins

Common/Shuffle/Reduce Jo]]></description><category></category></item><item><title><![CDATA[Spark join问题]]></title><link>https://blog.youkuaiyun.com/chenjieit619/article/details/71548953</link><guid>https://blog.youkuaiyun.com/chenjieit619/article/details/71548953</guid><author>chenjieit619</author><pubDate>Wed, 10 May 2017 16:42:56 +0800</pubDate><description><![CDATA[本篇文章是关于我在学习Spark过程中遇到的一些问题及总结，分为Spark优化、RDD
 join问题、遇到的问题、总结、参考资料几个部分。 



一：Spark优化 
1、设置序列化器为KryoSerializer 
　　Spark默认使用的是Java序列化机制，但是Spark也支持使用Kryo序列化库，Kryo序列化机制比Java序列化机制性能高10倍左右 
 
2、压缩机]]></description><category></category></item><item><title><![CDATA[spark mapPartition方法与map方法的区别 以及 join的用法]]></title><link>https://blog.youkuaiyun.com/chenjieit619/article/details/71480070</link><guid>https://blog.youkuaiyun.com/chenjieit619/article/details/71480070</guid><author>chenjieit619</author><pubDate>Tue, 09 May 2017 16:09:44 +0800</pubDate><description><![CDATA[http://wanshi.iteye.com/blog/2183906 


rdd的mapPartitions是map的一个变种，它们都可进行分区的并行处理。

    两者的主要区别是调用的粒度不一样：map的输入变换函数是应用于RDD中每个元素，而mapPartitions的输入函数是应用于每个分区。

    假设一个rdd有10个元素，分成3个分区。如果使用map方法，m]]></description><category></category></item><item><title><![CDATA[hive改表结构的两个坑]]></title><link>https://blog.youkuaiyun.com/chenjieit619/article/details/71191834</link><guid>https://blog.youkuaiyun.com/chenjieit619/article/details/71191834</guid><author>chenjieit619</author><pubDate>Fri, 05 May 2017 10:29:04 +0800</pubDate><description><![CDATA[坑一：改变字段类型后更新数据不成功


 

关于Hive插入数据的一个小坑，今天插入一个表中数据，插入时写的是常数，比如0.01 ，表中的字段也是DECIMAL(5,2)

  按照常理插入的应该是0.01，但是插入后查询是0，为甚！

 

  就分析呀，看语句没问题啊，上网查，上hive官网查，呀~ 发现了原因哦

  https://cwiki.apache.or]]></description><category></category></item><item><title><![CDATA[locate、find命令使用总结]]></title><link>https://blog.youkuaiyun.com/chenjieit619/article/details/70271342</link><guid>https://blog.youkuaiyun.com/chenjieit619/article/details/70271342</guid><author>chenjieit619</author><pubDate>Thu, 20 Apr 2017 16:52:07 +0800</pubDate><description><![CDATA[一、简介
   在linux系统中存在"一切皆文件"的说法，这就足以说明文件的重要性，因此查找文件也是我们必须要掌握的技能。这时候熟练使用locate、find命令也就显得至关重要。尤其是find命令常用于日常工作中如安装完某个软件之后要查看这些软件的安装配置路径，或是需要按指定条件直接查找我们需要操作的文件。因此更需要熟练掌握此命令。
二、用法详解
locate：模糊查找命令，查找的是li]]></description><category></category></item><item><title><![CDATA[Spark Shuffle FetchFailedException解决方案]]></title><link>https://blog.youkuaiyun.com/chenjieit619/article/details/70045889</link><guid>https://blog.youkuaiyun.com/chenjieit619/article/details/70045889</guid><author>chenjieit619</author><pubDate>Tue, 11 Apr 2017 09:41:04 +0800</pubDate><description><![CDATA[在大规模数据处理中，这是个比较常见的错误。



报错提示

SparkSQL shuffle操作带来的报错
org.apache.spark.shuffle.MetadataFetchFailedException: 
Missing an output location for shuffle 01212org.apache.spark.shuffle.FetchFailedEx]]></description><category></category></item><item><title><![CDATA[使用基于Apache Spark的随机森林方法预测贷款风险]]></title><link>https://blog.youkuaiyun.com/chenjieit619/article/details/64465397</link><guid>https://blog.youkuaiyun.com/chenjieit619/article/details/64465397</guid><author>chenjieit619</author><pubDate>Tue, 21 Mar 2017 18:39:13 +0800</pubDate><description><![CDATA[原文：Predicting
 Loan Credit Risk using Apache Spark Machine Learning Random Forests 



作者：Carol McDonald，MapR解决方案架构师 
翻译：KK4SBB 
责编：周建丁（zhoujd@youkuaiyun.com）


在本文中，我将向大家介绍如何使用Apache Spark的Spark.]]></description><category></category></item><item><title><![CDATA[数据导入hive出现的问题记录]]></title><link>https://blog.youkuaiyun.com/chenjieit619/article/details/59480618</link><guid>https://blog.youkuaiyun.com/chenjieit619/article/details/59480618</guid><author>chenjieit619</author><pubDate>Thu, 02 Mar 2017 09:27:34 +0800</pubDate><description><![CDATA[问题一：
【解决】Hive动态增加partitions不能超过100的问题，全量动态生成partitions超过100会出现如下异常：





[plain] view
 plain copy






The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.p]]></description><category></category></item><item><title><![CDATA[shell循环日期]]></title><link>https://blog.youkuaiyun.com/chenjieit619/article/details/58044648</link><guid>https://blog.youkuaiyun.com/chenjieit619/article/details/58044648</guid><author>chenjieit619</author><pubDate>Mon, 27 Feb 2017 11:46:42 +0800</pubDate><description><![CDATA[1. touch test.sh


2.





[java] view
 plain copy


 



#!/bin/sh  
startdate=`date -d "$1" +%Y-%m-%d`  
enddate=`date -d "$2" +%Y-%m-%d`  
  
while [[ $startdate 
do  
    ec]]></description><category></category></item><item><title><![CDATA[hive中order by,sort by, distribute by, cluster by作用以及用法]]></title><link>https://blog.youkuaiyun.com/chenjieit619/article/details/58030715</link><guid>https://blog.youkuaiyun.com/chenjieit619/article/details/58030715</guid><author>chenjieit619</author><pubDate>Mon, 27 Feb 2017 11:20:19 +0800</pubDate><description><![CDATA[1. order by

    Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。但是对于大量数据这将会消耗很长的时间去执行。

    这里跟传统的sql]]></description><category></category></item><item><title><![CDATA[Spark性能优化：数据倾斜调优]]></title><link>https://blog.youkuaiyun.com/chenjieit619/article/details/55211262</link><guid>https://blog.youkuaiyun.com/chenjieit619/article/details/55211262</guid><author>chenjieit619</author><pubDate>Wed, 15 Feb 2017 16:18:25 +0800</pubDate><description><![CDATA[Spark性能优化：数据倾斜调优








   继《Spark性能优化：开发调优篇》和《Spark性能优化：资源调优篇》讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。

1.数据倾斜调优

调优概述

      有的时候，我们可]]></description><category></category></item><item><title><![CDATA[Hbase 统计表行数的3种方式总结]]></title><link>https://blog.youkuaiyun.com/chenjieit619/article/details/54894373</link><guid>https://blog.youkuaiyun.com/chenjieit619/article/details/54894373</guid><author>chenjieit619</author><pubDate>Mon, 06 Feb 2017 16:35:58 +0800</pubDate><description><![CDATA[有些时候需要我们去统计某一个Hbase表的行数，由于hbase本身不支持SQL语言，只能通过其他方式实现。可以通过一下几种方式实现hbase表的行数统计工作：


1.count命令

最直接的方式是在hbase shell中执行count的命令可以统计行数。








[html] view
 plain copy






hbase> co]]></description><category></category></item><item><title><![CDATA[JAVA设计模式--单例模式]]></title><link>https://blog.youkuaiyun.com/chenjieit619/article/details/54629964</link><guid>https://blog.youkuaiyun.com/chenjieit619/article/details/54629964</guid><author>chenjieit619</author><pubDate>Fri, 20 Jan 2017 11:15:16 +0800</pubDate><description><![CDATA[JAVA设计模式--单例模式



 单例设计模式
Singleton是一种创建型模式，指某个类采用Singleton模式，则在这个类被创建后，只可能产生一个实例供外部访问，并且提供一个全局的访问点。
核心知识点如下：
(1) 将采用单例设计模式的类的构造方法私有化（采用private修饰）。
(2) 在其内部产生该类的实例化对象，并将其封装成private static类型。
]]></description><category></category></item><item><title><![CDATA[hive语句优化-通过groupby实现distinct]]></title><link>https://blog.youkuaiyun.com/chenjieit619/article/details/53927374</link><guid>https://blog.youkuaiyun.com/chenjieit619/article/details/53927374</guid><author>chenjieit619</author><pubDate>Thu, 29 Dec 2016 14:16:11 +0800</pubDate><description><![CDATA[同事写了个hive的sql语句，执行效率特别慢，跑了一个多小时程序只是map完了，reduce进行到20%。

该Hive语句如下：

select count(distinct ip) 
from (select ip as ip from comprehensive.f_client_boot_daily where year="2013" and month="10"  
uni]]></description><category></category></item><item><title><![CDATA[Hive函数大全]]></title><link>https://blog.youkuaiyun.com/chenjieit619/article/details/53912299</link><guid>https://blog.youkuaiyun.com/chenjieit619/article/details/53912299</guid><author>chenjieit619</author><pubDate>Wed, 28 Dec 2016 19:18:39 +0800</pubDate><description><![CDATA[一、关系运算：
1. 等值比较: =
         语法：A=B
         操作类型：所有基本类型
         描述:如果表达式A与表达式B相等，则为TRUE；否则为FALSE
         举例：
         Hive>select 1 from lxw_dual where 1=1;
         1
2. 不等值比较: 
         语]]></description><category></category></item></channel></rss>