<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[xueba207的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/xueba207</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; xueba207]]></copyright><item><title><![CDATA[zeppelin出现ConnectException: Connection refused解决方法]]></title><link>https://blog.youkuaiyun.com/xueba207/article/details/79453472</link><guid>https://blog.youkuaiyun.com/xueba207/article/details/79453472</guid><author>xueba207</author><pubDate>Tue, 06 Mar 2018 09:08:51 +0800</pubDate><description><![CDATA[zeppelin出现ConnectException: Connection refused



问题

一直用zeppelin做分析工作台，最近想把现用的环境整体打包复制到另一个集群，在新的集群启动spark interpreter时出现了ConnectException，详细出错信息如下：



ERROR [2018-03-05 17:33:01,109] ({Thread-31} Rem...]]></description><category></category></item><item><title><![CDATA[logstash kafka output 输出原始数据格式]]></title><link>https://blog.youkuaiyun.com/xueba207/article/details/78482909</link><guid>https://blog.youkuaiyun.com/xueba207/article/details/78482909</guid><author>xueba207</author><pubDate>Wed, 08 Nov 2017 20:33:48 +0800</pubDate><description><![CDATA[有个场景需要从kafka topic中读出message，然后转到另一个kakfa集群的topic中，为省事就用了logstash。但logstash处理后不是原始数据，需要修改codec plain的消息格式配置]]></description><category></category></item><item><title><![CDATA[Spark 广播变量（broadcast）更新方法]]></title><link>https://blog.youkuaiyun.com/xueba207/article/details/72865347</link><guid>https://blog.youkuaiyun.com/xueba207/article/details/72865347</guid><author>xueba207</author><pubDate>Mon, 05 Jun 2017 11:19:15 +0800</pubDate><description><![CDATA[Spark 广播变量（broadcast）更新方法更新方法spark 广播变量可以通过unpersist方法删除，然后重新广播 val map = sc.textFile("/test.txt").map(line => {
    val arr = line.split(",")
    (arr(0), arr(2).toInt)
}).distinct
var mapBC = sc.broa]]></description><category></category></item><item><title><![CDATA[zeppelin spark interpreter异常 com.fasterxml.jackson.databind.JsonMappingException]]></title><link>https://blog.youkuaiyun.com/xueba207/article/details/52249407</link><guid>https://blog.youkuaiyun.com/xueba207/article/details/52249407</guid><author>xueba207</author><pubDate>Fri, 19 Aug 2016 11:52:53 +0800</pubDate><description><![CDATA[异常部署zeppelin时，使用spark interpreter报错： 
com.fasterxml.jackson.databind.JsonMappingException: Could not find creator property with name ‘id’ (in class org.apache.spark.rdd.RDDOperationScope)原因jackson版本冲突，]]></description><category></category></item><item><title><![CDATA[zeppelin打包失败 'Failed to execute goal com.github.eirslett:frontend-maven-plugin']]></title><link>https://blog.youkuaiyun.com/xueba207/article/details/52240598</link><guid>https://blog.youkuaiyun.com/xueba207/article/details/52240598</guid><author>xueba207</author><pubDate>Thu, 18 Aug 2016 14:21:49 +0800</pubDate><description><![CDATA[zeppelin 官网提供的binary包不支持yarn，需要自己打包。问题zeppelin打包： 
~/apache-maven-3.3.1/bin/mvn clean install -DskipTests一直build failure： 
[ERROR] Failed to execute goal com.github.eirslett:frontend-maven-plugin:0.0.2]]></description><category></category></item><item><title><![CDATA[maven 中运行Junit单元测试]]></title><link>https://blog.youkuaiyun.com/xueba207/article/details/51481392</link><guid>https://blog.youkuaiyun.com/xueba207/article/details/51481392</guid><author>xueba207</author><pubDate>Mon, 23 May 2016 14:26:58 +0800</pubDate><description><![CDATA[一直没有写单元测试的习惯，导致bug频现，以后代码中必须写单元测试代码，这里记录下maven结合junit运行单元测试方法。]]></description><category></category></item><item><title><![CDATA[cloudera-scm-agent 启动失败 'Unable to create the pidfile']]></title><link>https://blog.youkuaiyun.com/xueba207/article/details/51372318</link><guid>https://blog.youkuaiyun.com/xueba207/article/details/51372318</guid><author>xueba207</author><pubDate>Wed, 11 May 2016 10:31:44 +0800</pubDate><description><![CDATA[问题安装cloudera namager时，cloudera-scm-server可以正常启动，cloudera-scm-agent启动失败.]]></description><category></category></item><item><title><![CDATA[减少spark job jar包的大小]]></title><link>https://blog.youkuaiyun.com/xueba207/article/details/51333681</link><guid>https://blog.youkuaiyun.com/xueba207/article/details/51333681</guid><author>xueba207</author><pubDate>Fri, 06 May 2016 18:13:29 +0800</pubDate><description><![CDATA[利用java写spark job，工程结构为maven，每次生成的jar都比较大。 
spark job 包过大带来以下缺点：打包时间长、jar包上传慢、job启动比较慢。 
本文介绍jar包瘦身方法： 
观察臃肿的jar包，发现大部分都是spark相关的jar比较大，因此打包时去掉即可。
首先，缓存spark-assembly 包到hdfs，方法见本文。
然后， 修改代码工程的pom文件，将spa]]></description><category></category></item><item><title><![CDATA[java 使用自定义元组]]></title><link>https://blog.youkuaiyun.com/xueba207/article/details/51315839</link><guid>https://blog.youkuaiyun.com/xueba207/article/details/51315839</guid><author>xueba207</author><pubDate>Wed, 04 May 2016 16:13:01 +0800</pubDate><description><![CDATA[java 自定义元组是实现记录。]]></description><category></category></item><item><title><![CDATA[spark streaming 输出数据到kafka]]></title><link>https://blog.youkuaiyun.com/xueba207/article/details/51275219</link><guid>https://blog.youkuaiyun.com/xueba207/article/details/51275219</guid><author>xueba207</author><pubDate>Thu, 28 Apr 2016 16:12:46 +0800</pubDate><description><![CDATA[一般都使用spark streaming从kafka 中消费数据，然后写到其他存储；项目中需要从kafka topic中读数据然后经过 spark streaming 处理后回写到kafka 另一个topic，此处记录下实现方法。环境：spark：1.6.1 
stremaing-kafka： spark-streaming-kafka_2.10，1.6.1本例中，每个executor上存在一个单例]]></description><category></category></item><item><title><![CDATA[spark streaming kafka OffsetOutOfRangeException 异常分析与解决]]></title><link>https://blog.youkuaiyun.com/xueba207/article/details/51174818</link><guid>https://blog.youkuaiyun.com/xueba207/article/details/51174818</guid><author>xueba207</author><pubDate>Sun, 17 Apr 2016 19:39:58 +0800</pubDate><description><![CDATA[job中使用Kafka DirectStream 读取topic中数据，然后做处理。其中有个测试job，停止了几天，再次启动时爆出了**kafka.common.OffsetOutOfRangeException**。下文记录下异常分析与解决过程。]]></description><category></category></item><item><title><![CDATA[spark.streaming.concurrentJobs参数分析]]></title><link>https://blog.youkuaiyun.com/xueba207/article/details/51152627</link><guid>https://blog.youkuaiyun.com/xueba207/article/details/51152627</guid><author>xueba207</author><pubDate>Thu, 14 Apr 2016 16:30:40 +0800</pubDate><description><![CDATA[最近，在spark streaming 调优时，发现个增加job并行度的参数spark.streaming.concurrentJobs，spark 默认值为1，当增加为2时（在spark-default中配置），如遇到处理速度慢 streaming application UI 中会有两个Active Jobs（默认值时为1），也就是在同一时刻可以执行两个批次的streaming job，下文分析]]></description><category></category></item><item><title><![CDATA[Spark Streaming 'numRecords must not be negative'问题解决]]></title><link>https://blog.youkuaiyun.com/xueba207/article/details/51135423</link><guid>https://blog.youkuaiyun.com/xueba207/article/details/51135423</guid><author>xueba207</author><pubDate>Tue, 12 Apr 2016 17:28:29 +0800</pubDate><description><![CDATA[问题描述笔者使用spark streaming读取Kakfa中的数据，做进一步处理，用到了KafkaUtil的createDirectStream()方法；该方法不会自动保存topic partition的offset到zk，需要在代码中编写提交逻辑，此处介绍了保存offset的方法。 
当删除已经使用过的kafka topic，然后新建同名topic，使用该方式时出现了"numRecords mu]]></description><category></category></item><item><title><![CDATA[Alluxio(tachyon)集群安装部署]]></title><link>https://blog.youkuaiyun.com/xueba207/article/details/50905437</link><guid>https://blog.youkuaiyun.com/xueba207/article/details/50905437</guid><author>xueba207</author><pubDate>Wed, 16 Mar 2016 15:22:48 +0800</pubDate><description><![CDATA[Alluxio(tachyon)集群安装部署Alluxio，原名tachyon，在1.0.0版本改名为Alluxio，是一个以内存为中心的虚拟的分布式存储系统，统一了数据访问的方式，为上层计算框架和底层存储系统构建了桥梁。本文介绍集群的安装部署方法。]]></description><category></category></item><item><title><![CDATA[Spark Streaming job 远程debug方法]]></title><link>https://blog.youkuaiyun.com/xueba207/article/details/50723427</link><guid>https://blog.youkuaiyun.com/xueba207/article/details/50723427</guid><author>xueba207</author><pubDate>Tue, 23 Feb 2016 15:17:08 +0800</pubDate><description><![CDATA[记录下spark job的运程调试方法。]]></description><category></category></item><item><title><![CDATA[virtualbox centos虚拟机 配置静态IP]]></title><link>https://blog.youkuaiyun.com/xueba207/article/details/50669265</link><guid>https://blog.youkuaiyun.com/xueba207/article/details/50669265</guid><author>xueba207</author><pubDate>Mon, 15 Feb 2016 16:57:28 +0800</pubDate><description><![CDATA[virtualbox centos虚拟机 配置静态IP的方法]]></description><category></category></item><item><title><![CDATA[Spark Job (thrift-server) 动态分配资源]]></title><link>https://blog.youkuaiyun.com/xueba207/article/details/50546965</link><guid>https://blog.youkuaiyun.com/xueba207/article/details/50546965</guid><author>xueba207</author><pubDate>Wed, 20 Jan 2016 10:44:40 +0800</pubDate><description><![CDATA[项目中使用spark 自带的thrift-server做hdfs数据查询统计服务。当数据过多时，thrift-server 需要分配大量的资源，当不需要查询时分配当量的资源又显得非常浪费，因此想到是否有可能动态分配资源。 
（thrift-server也是一个job（yarn app），因此这种方法同样适用于一般的spark job）。 
目前动态资源分配只适合spark on yarn，配置方式如]]></description><category></category></item><item><title><![CDATA[HBase + Phoenix 安装试用]]></title><link>https://blog.youkuaiyun.com/xueba207/article/details/50528770</link><guid>https://blog.youkuaiyun.com/xueba207/article/details/50528770</guid><author>xueba207</author><pubDate>Sat, 16 Jan 2016 16:50:54 +0800</pubDate><description><![CDATA[HBase + Phoenix 安装试用闲来无事，试用下hbase+Phoenix。这里有三台主机：
  node_1 // namenode, zk_1 
  node_2 // datanode, zk_2 
  node_3 // datanode, zk_3
HBase部署在部署hbase之前环境中安装hadoop，安装教程可以自行搜索，本节主要介绍hbase的部署配置过程。首先，需要下载]]></description><category></category></item><item><title><![CDATA[ganglia 报 "Error 1 sending the modular data for"  Error解决方法]]></title><link>https://blog.youkuaiyun.com/xueba207/article/details/50466982</link><guid>https://blog.youkuaiyun.com/xueba207/article/details/50466982</guid><author>xueba207</author><pubDate>Wed, 06 Jan 2016 10:03:43 +0800</pubDate><description><![CDATA[ganglia 报 “Error 1 sending the modular data for”  Error解决方法现象使用ganglia监控集群时，发现有些节点没有数据，查看syslog发现报错如下：
  Jan  5 16:46:38 test139 /usr/sbin/gmond[21974]: Error 1 sending the modular data for udp_inerror]]></description><category></category></item><item><title><![CDATA[缓存jar包来提升spark on Yarn job的提交速度]]></title><link>https://blog.youkuaiyun.com/xueba207/article/details/50440625</link><guid>https://blog.youkuaiyun.com/xueba207/article/details/50440625</guid><author>xueba207</author><pubDate>Thu, 31 Dec 2015 11:33:35 +0800</pubDate><description><![CDATA[之前一直使用Spark standalone方式提交job，最近team换成了yarn方式，但发现在yarn上，提交job的速度比standalone慢的多；看提交的日志，发现其中有个很明显的东西，yarn会将spark-assembly-1.3.0-hadoop2.4.0.jar 上传到hdfs中，这个jar包有130M+，花费了好几秒的时间，其实可以将其缓存在hdfs上的，每次job提交时不再需]]></description><category></category></item></channel></rss>