<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[sunspeedzy的博客]]></title><description><![CDATA[个人技术积累的总结]]></description><link>https://blog.youkuaiyun.com/sunspeedzy</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; sunspeedzy]]></copyright><item><title><![CDATA[开发SparkStreaming消费Kafka的应用要注意OutOfMemoryError]]></title><link>https://blog.youkuaiyun.com/sunspeedzy/article/details/114060125</link><guid>https://blog.youkuaiyun.com/sunspeedzy/article/details/114060125</guid><author>sunspeedzy</author><pubDate>Sun, 07 Mar 2021 23:38:26 +0800</pubDate><description><![CDATA[这里写自定义目录标题遇到的问题新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入
遇到的问题
其他部门的同事开发了一个SparkStreaming消费Kafka数据的应用，运行了一个多月后，不能消费数据了，但是应用在Yarn上]]></description><category></category></item><item><title><![CDATA[采用Ansible配置集群节点]]></title><link>https://blog.youkuaiyun.com/sunspeedzy/article/details/106983361</link><guid>https://blog.youkuaiyun.com/sunspeedzy/article/details/106983361</guid><author>sunspeedzy</author><pubDate>Sat, 27 Jun 2020 16:02:57 +0800</pubDate><description><![CDATA[采用Ansible配置ssh和jdkAnsible简介安装Ansible配置ssh和jdk1. 创建Ansible配置文件ansible.cfghostsvars/main.ymljdk.ymlssh.yml运行Ansible命令配置集群ssh配置集群jdk
Ansible简介
Ansible 是基于 Python 语言开发的，主流的自动化运维管理工具，其余的工具还有Puppet和Saltstack。
Ansible只需要在一台普通的服务器上运行即可，不需要在客户端服务器上安装客户端。因为 Ansible ]]></description><category></category></item><item><title><![CDATA[Hive修改分区表的分区列类型]]></title><link>https://blog.youkuaiyun.com/sunspeedzy/article/details/106229438</link><guid>https://blog.youkuaiyun.com/sunspeedzy/article/details/106229438</guid><author>sunspeedzy</author><pubDate>Wed, 20 May 2020 10:07:10 +0800</pubDate><description><![CDATA[alter table &lt;表名&gt; partition column (&lt;分区列1&gt; &lt;新类型&gt;);

alter table &lt;表名&gt; partition column (&lt;分区列2&gt; &lt;新类型&gt;);

如果有多个分区列的类型需要修改，则需要一个一个修改，不能一起修改
...]]></description><category></category></item><item><title><![CDATA[CDH集成Kafka时配置的版本问题]]></title><link>https://blog.youkuaiyun.com/sunspeedzy/article/details/104111561</link><guid>https://blog.youkuaiyun.com/sunspeedzy/article/details/104111561</guid><author>sunspeedzy</author><pubDate>Wed, 29 Jan 2020 23:52:30 +0800</pubDate><description><![CDATA[CDH集成Kafka时配置的版本问题问题原因解决方法
问题
当提交使用了Kafka的Spark应用到CDH集群时，抛出异常如下
2020-01-27 11:33:48,289 ERROR [TestApp] - java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/u...]]></description><category></category></item><item><title><![CDATA[解决提交SparkStreaming应用读取启用了Kerberos的Kafka中数据的问题]]></title><link>https://blog.youkuaiyun.com/sunspeedzy/article/details/102966901</link><guid>https://blog.youkuaiyun.com/sunspeedzy/article/details/102966901</guid><author>sunspeedzy</author><pubDate>Fri, 08 Nov 2019 10:29:07 +0800</pubDate><description><![CDATA[集群版本：
CDH： 5.14.2
Kafka：1.0.1-kafka-3.1.1
Spark：2.3.0
遇到的问题 1：
SparkStreaming读取Kafka数据时抛出jaas.conf文件不存在的错误
jaas.conf文件的内容
KafkaClient {
  com.sun.security.auth.module.Krb5LoginModule required
  debug=...]]></description><category></category></item><item><title><![CDATA[Spark UI的Executors页面中有Executor显示Dead]]></title><link>https://blog.youkuaiyun.com/sunspeedzy/article/details/100929907</link><guid>https://blog.youkuaiyun.com/sunspeedzy/article/details/100929907</guid><author>sunspeedzy</author><pubDate>Tue, 17 Sep 2019 16:32:12 +0800</pubDate><description><![CDATA[问题：
提交一个Spark Job，在Spark UI中，显示部分Executor为Dead状态，而Dead的Executor的Failed Tasks为0

查找问题原因：

查看Dead Executor的stderr日志
在Executor Shutdown前，只有一个Error

ERROR executor.CoarseGrainedExecutorBackend: RECEIVED S...]]></description><category></category></item><item><title><![CDATA[Spark RDD缓存操作的小坑]]></title><link>https://blog.youkuaiyun.com/sunspeedzy/article/details/100742223</link><guid>https://blog.youkuaiyun.com/sunspeedzy/article/details/100742223</guid><author>sunspeedzy</author><pubDate>Wed, 11 Sep 2019 17:35:45 +0800</pubDate><description><![CDATA[今天发现了RDD缓存时的一个小坑，百度没有多少关于这个坑的介绍，也许是太简单了。不过我还是写下来，免得自己以后再被陷进去。


在Spark-shell中运行这样的代码
val rdd=sc.textFile("/zhangyan/result20190822.txt")
.map(x=&gt;{(x.substring(0,25), x)}).cache
rdd.take(20)


然后，删除...]]></description><category></category></item><item><title><![CDATA[Flume1.7及以上版本的Kafka Sink batchsize（flumeBatchSize） 配置问题]]></title><link>https://blog.youkuaiyun.com/sunspeedzy/article/details/88875542</link><guid>https://blog.youkuaiyun.com/sunspeedzy/article/details/88875542</guid><author>sunspeedzy</author><pubDate>Thu, 28 Mar 2019 18:49:22 +0800</pubDate><description><![CDATA[Flume1.6的Kafka Sink参数中的batchSize属性在Flume1.7以后，变成了flumeBatchSize（应该是为了区分Kafka Producer的batch.size参数）。
在flume-ng-1.6.0-cdh5.14.4中Kafka Sink也使用 flumeBatchSize 参数。
flumeBatchSize的作用
How many messages to p...]]></description><category></category></item><item><title><![CDATA[利用Spark2.2.0源码编译生成适合于CDH5.14.4的Spark包]]></title><link>https://blog.youkuaiyun.com/sunspeedzy/article/details/88547081</link><guid>https://blog.youkuaiyun.com/sunspeedzy/article/details/88547081</guid><author>sunspeedzy</author><pubDate>Thu, 14 Mar 2019 10:37:55 +0800</pubDate><description><![CDATA[1. 不使用预编译版本安装包的原因：
因为开源版本的组件如Hadoop、HBase、flume等等配合使用时可能会有jar包的冲突，所以下载相应的CDH版本进行安装。
因为Spark的预编译版本如 spark-2.2.0-bin-hadoop2.6.tgz spark-2.2.0-bin-hadoop2.7.tgz，可能存在小版本的兼容问题。所以下载Spark2.2的源码，然后进行编译安装。
2....]]></description><category></category></item><item><title><![CDATA[Oozie启动作业遇到的坑]]></title><link>https://blog.youkuaiyun.com/sunspeedzy/article/details/88033231</link><guid>https://blog.youkuaiyun.com/sunspeedzy/article/details/88033231</guid><author>sunspeedzy</author><pubDate>Thu, 28 Feb 2019 16:19:45 +0800</pubDate><description><![CDATA[基于Kerberos权限认证对利用Oozie启动作业环境Oozie启动作业的命令（启动的是Oozie的官方examples）运行oozie命令，运行 examples中的job查看oozie web UI要改变运行Job的User
环境
CDH-5.14.2
Oozie启动作业的命令（启动的是Oozie的官方examples）
在系统中找到 oozie-examples.tar.gz，加压缩后出现...]]></description><category></category></item><item><title><![CDATA[2--MySQL安装]]></title><link>https://blog.youkuaiyun.com/sunspeedzy/article/details/53741628</link><guid>https://blog.youkuaiyun.com/sunspeedzy/article/details/53741628</guid><author>sunspeedzy</author><pubDate>Wed, 22 Aug 2018 09:48:35 +0800</pubDate><description><![CDATA[#安装配置mysql
yum install mysql-server
service mysqld start
netstat -nplt | grep 3306
#开机启动
chkconfig mysqld on

chkconfig --list mysqld

#创建用户

CREATE USER 'hadoop'@'%' IDENTIFIED BY 'hadoop'; 

CREATE ...]]></description><category></category></item><item><title><![CDATA[Hbase列族数量限制思考]]></title><link>https://blog.youkuaiyun.com/sunspeedzy/article/details/81010311</link><guid>https://blog.youkuaiyun.com/sunspeedzy/article/details/81010311</guid><author>sunspeedzy</author><pubDate>Thu, 12 Jul 2018 09:33:03 +0800</pubDate><description><![CDATA[Hbase列族数量限制思考

文章出处 https://my.oschina.net/nk2011/blog/796715

Hbase官方文档中写明，目前列族数量最优不超过3个。先看Hbase的存储结构 


每个 RegionServer 包含多个 Region，每个 Region 包含多个Store，每个 Store 包含一个 MemStore 和多个 StoreFile。

在 Hbase...]]></description><category></category></item><item><title><![CDATA[1--zookeeper安装]]></title><link>https://blog.youkuaiyun.com/sunspeedzy/article/details/53740261</link><guid>https://blog.youkuaiyun.com/sunspeedzy/article/details/53740261</guid><author>sunspeedzy</author><pubDate>Wed, 11 Jul 2018 13:14:38 +0800</pubDate><description><![CDATA[1. 解压
2. 配置data、log、out路径和server
3. 创建目录
4. 复制zookeeper到其他节点
5. 配置环境变量
6. 逐个启动验证]]></description><category></category></item><item><title><![CDATA[6--安装Hbase 1.2.4]]></title><link>https://blog.youkuaiyun.com/sunspeedzy/article/details/53878817</link><guid>https://blog.youkuaiyun.com/sunspeedzy/article/details/53878817</guid><author>sunspeedzy</author><pubDate>Wed, 11 Jul 2018 11:37:54 +0800</pubDate><description><![CDATA[1. 解压
tar -xf Downloads/hbase-1.2.4-bin.tar.gz -C ~/

2. hbase-env.sh
export JAVA_HOME=/usr/java/jdk1.8/
export HBASE_MANAGES_ZK=false    # Tell HBase whether it should manage it's own instance o]]></description><category></category></item><item><title><![CDATA[线性可分支持向量机最大间隔唯一性证明]]></title><link>https://blog.youkuaiyun.com/sunspeedzy/article/details/79988143</link><guid>https://blog.youkuaiyun.com/sunspeedzy/article/details/79988143</guid><author>sunspeedzy</author><pubDate>Fri, 20 Apr 2018 17:27:36 +0800</pubDate><description><![CDATA[线性可分支持向量机最大间隔唯一性证明

《统计学习方法》定理7.1中 唯一性的证明：

假设问题(7.13)~(7.14)存在两个最优解(w∗1,b∗1w1∗,b1∗w^*_1, b^*_1)和(w∗2,b∗2w2∗,b2∗w^*_2, b^*_2)，则 w∗1和w∗2w1∗和w2∗w^*_1和w^*_2的长度相同，即 ||w∗1||=||w∗2||=c||w1∗||=||w2∗||=c||w^*...]]></description><category></category></item><item><title><![CDATA[《机器学习》周志华——勘误表]]></title><link>https://blog.youkuaiyun.com/sunspeedzy/article/details/79698210</link><guid>https://blog.youkuaiyun.com/sunspeedzy/article/details/79698210</guid><author>sunspeedzy</author><pubDate>Mon, 26 Mar 2018 14:57:23 +0800</pubDate><description><![CDATA[原贴地址是： 
http://cs.nju.edu.cn/zhouzh/zhouzh.files/publication/MLbook2016.htm



对数学公式的Latex代码进行转换

(第一版第25次印刷, 2018年3月):


  p.39, 最后一行：”[−∞,[−∞,[-\infty,” –&amp;gt; “(−∞,(−∞,(-\infty,”，”,∞],∞], \infty]” –...]]></description><category></category></item><item><title><![CDATA[8--安装kafka_2.10-0.10.2.0集群（三个节点）]]></title><link>https://blog.youkuaiyun.com/sunspeedzy/article/details/77104681</link><guid>https://blog.youkuaiyun.com/sunspeedzy/article/details/77104681</guid><author>sunspeedzy</author><pubDate>Sat, 12 Aug 2017 01:17:01 +0800</pubDate><description><![CDATA[1. tar –zxvf kafka_2.10-0.10.0.1.tgz


2. 配置(config/server.properties)
1) master 节点上
broker.id=0
zookeeper.connect=master:2181
listeners=PLAINTEXT://master:9092
advertised.listeners=PLAINTEXT:]]></description><category></category></item><item><title><![CDATA[3--安装Hadoop 2.7.3]]></title><link>https://blog.youkuaiyun.com/sunspeedzy/article/details/53763715</link><guid>https://blog.youkuaiyun.com/sunspeedzy/article/details/53763715</guid><author>sunspeedzy</author><pubDate>Wed, 09 Aug 2017 14:25:08 +0800</pubDate><description><![CDATA[1. 解压
tar -xf hadoop-2.7.3.tar.gz 
2.创建目录
3. 修改配置文件的JAVA_HOME
4. 配置core-site.xml
5. 配置hdfs-site.xml
6. 编辑mapred-site.xml
7. 编辑yarn-site.xml
8. 编辑slaves
9. 复制到其他节点
10.配置各节点环境变量
11.集群启动
1)]]></description><category></category></item><item><title><![CDATA[Spark累加器]]></title><link>https://blog.youkuaiyun.com/sunspeedzy/article/details/69943467</link><guid>https://blog.youkuaiyun.com/sunspeedzy/article/details/69943467</guid><author>sunspeedzy</author><pubDate>Mon, 10 Apr 2017 11:07:53 +0800</pubDate><description><![CDATA[Accumulator(累加器， 计数器)
类似于MapReduce中的counter， 将数据从一个节点发送到其他各个节
点上去；

通常用于监控， 调试， 记录符合某类特征的数据数目等

累加器在Driver端被读取，使用的是 Accumulator.value

累加器在Executor端被读取，使用的是 Accumulator.localValue，获取的是Executor本地的值。Exe...]]></description><category></category></item><item><title><![CDATA[Spark常用函数之Action操作]]></title><link>https://blog.youkuaiyun.com/sunspeedzy/article/details/69877722</link><guid>https://blog.youkuaiyun.com/sunspeedzy/article/details/69877722</guid><author>sunspeedzy</author><pubDate>Sun, 09 Apr 2017 19:01:06 +0800</pubDate><description><![CDATA[1.reduce(func):通过函数func先聚集各分区的数据集，再聚集分区之间的数据，func接收两个参数，返回一个新值，新值再做为参数继续传递给函数func，直到最后一个元素

 

2.collect():以数据的形式返回数据集中的所有元素给Driver程序，为防止Driver程序内存溢出，一般要控制返回的数据集大小


 

3.count()：返回数据集元素个数
]]></description><category></category></item></channel></rss>