<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[yx_keith的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/yx_keith</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; yx_keith]]></copyright><item><title><![CDATA[spark lz4包冲突]]></title><link>https://blog.youkuaiyun.com/yx_keith/article/details/95983984</link><guid>https://blog.youkuaiyun.com/yx_keith/article/details/95983984</guid><author>yx_keith</author><pubDate>Mon, 15 Jul 2019 16:44:47 +0800</pubDate><description><![CDATA[使用spark读取kafka分析的时候，kafka 的startingOffsets如果设置为earliest，就会报错：

java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.&lt;init&gt;(Ljava/io/InputStream;Z)V



使用mvn -Dverbose dependency:tre...]]></description><category></category></item><item><title><![CDATA[spark structure streaming作业没有写checkpoint引起的灾难]]></title><link>https://blog.youkuaiyun.com/yx_keith/article/details/95184384</link><guid>https://blog.youkuaiyun.com/yx_keith/article/details/95184384</guid><author>yx_keith</author><pubDate>Tue, 09 Jul 2019 12:56:43 +0800</pubDate><description><![CDATA[使用sturcture streaming统计kafka流数据的一些指标，将查询结果输出到mysql，由于中间没有数据落盘，所以就没有写checkpoint，因为心里想着如果程序宕掉其实也不需要保存offset，结果在本地local模式测试没有任何问题，但是提交到集群使用yarn调度就出现了问题，报错如下：

Caused by: org.apache.hadoop.ipc.RemoteExcep...]]></description><category></category></item><item><title><![CDATA[oozie死锁问题解决方案]]></title><link>https://blog.youkuaiyun.com/yx_keith/article/details/93879808</link><guid>https://blog.youkuaiyun.com/yx_keith/article/details/93879808</guid><author>yx_keith</author><pubDate>Thu, 27 Jun 2019 15:14:32 +0800</pubDate><description><![CDATA[链接如下：

http://niyanchun.com/oozie-deadlock-solution.html
]]></description><category></category></item><item><title><![CDATA[maven工程jar包冲突解决方法]]></title><link>https://blog.youkuaiyun.com/yx_keith/article/details/90645672</link><guid>https://blog.youkuaiyun.com/yx_keith/article/details/90645672</guid><author>yx_keith</author><pubDate>Tue, 28 May 2019 19:34:36 +0800</pubDate><description><![CDATA[springboot工程使用maven-assembly-plugin插件打包程序后，启动报jar包冲突，报错日志如下：
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/api_streaming/streaming-api-1.0/lib/logback-cla...]]></description><category></category></item><item><title><![CDATA[kerberos协议认证详细过程]]></title><link>https://blog.youkuaiyun.com/yx_keith/article/details/90347565</link><guid>https://blog.youkuaiyun.com/yx_keith/article/details/90347565</guid><author>yx_keith</author><pubDate>Sun, 19 May 2019 23:02:08 +0800</pubDate><description><![CDATA[本文假设已经对kerberos有一定的了解基础上。
kerberos认证涉及到三方: client，KDC(kerberos databse center),server(client需要访问的服务，hdfs等)。
一、kerberos中的key
一种是Long-term Key/Master Key：Master Key是基于密码经过一定规则派生的，对于Long-term Key有这样的原则：被...]]></description><category></category></item><item><title><![CDATA[在kerberos化hadoop集群提交spark任务]]></title><link>https://blog.youkuaiyun.com/yx_keith/article/details/89715404</link><guid>https://blog.youkuaiyun.com/yx_keith/article/details/89715404</guid><author>yx_keith</author><pubDate>Tue, 30 Apr 2019 20:35:37 +0800</pubDate><description><![CDATA[在kerberos集群上提交 spark任务复杂性远远高于非kerberos集群，提交spark任务分为两种模式：yarn-client和yarn-cluster模式，先简单说明一下这两种模式。
1.yarn-client模式
使用yarn-client模式提交，提交任务的client节点作为spark driver，executor在yarn container中启动，运行日志和状态信息都可以在...]]></description><category></category></item><item><title><![CDATA[HDFS文件读写操作]]></title><link>https://blog.youkuaiyun.com/yx_keith/article/details/89409084</link><guid>https://blog.youkuaiyun.com/yx_keith/article/details/89409084</guid><author>yx_keith</author><pubDate>Fri, 19 Apr 2019 22:19:02 +0800</pubDate><description><![CDATA[一、读操作
读操作分为两部分：打开文件和读操作。
1、打开文件
客户端在代码中打开文件如下：
FileSystem fileSystem = new DistributedFileSystem();
fileSystem.open(new Path("/test"),bufferSize);
此时调用了DistributedFileSystem的open()方法

在DistributedFile...]]></description><category></category></item><item><title><![CDATA[HDFS客户端]]></title><link>https://blog.youkuaiyun.com/yx_keith/article/details/89408837</link><guid>https://blog.youkuaiyun.com/yx_keith/article/details/89408837</guid><author>yx_keith</author><pubDate>Fri, 19 Apr 2019 21:57:42 +0800</pubDate><description><![CDATA[HDFS目前提供了三种客户端接口：DistributeFileSystem、FsShell、DFSAdmin。
DistributeFileSystem为用户提供了API，用于开发HDFS应用程序；FSShell工具使用户可以通过HDFS Shell命令执行常见的文件系统操作，例如创建文件、删除文件、创建目录等；DFSAdmin则向系统管理员提供了管理HDFS的工具，例如执行升级、管理安全模式等操...]]></description><category></category></item><item><title><![CDATA[datanode下线和宕机]]></title><link>https://blog.youkuaiyun.com/yx_keith/article/details/89386057</link><guid>https://blog.youkuaiyun.com/yx_keith/article/details/89386057</guid><author>yx_keith</author><pubDate>Thu, 18 Apr 2019 19:28:08 +0800</pubDate><description><![CDATA[一、datanode宕机
datanode宕机后，hdfs会将缺失的block根据副本因子数再复制一份，宕机的datanode恢复之后，该datanonde上多余的块不会立即删除，因为hdfs block数量有一个上线，一般会大于副本因子，只要block数量不超过上线，hdfs不会删除多余的block，除非手动出发balancer。
二、datanode下线
datanode下线过程中，由于需要快...]]></description><category></category></item><item><title><![CDATA[HBase region is not online]]></title><link>https://blog.youkuaiyun.com/yx_keith/article/details/89384399</link><guid>https://blog.youkuaiyun.com/yx_keith/article/details/89384399</guid><author>yx_keith</author><pubDate>Thu, 18 Apr 2019 17:52:03 +0800</pubDate><description><![CDATA[hbase集群加入一台异构机器后，跑任务报错：
org.apache.hadoop.hbase.NotServingRegionException: Region …  is not online on ${node}
使用命令检查和修复：
hbase hbck -details  ‘namespace:table’
显示hbase 集群inconsistency
然后修复之：
hbase hbc...]]></description><category></category></item><item><title><![CDATA[hdfs block]]></title><link>https://blog.youkuaiyun.com/yx_keith/article/details/89335309</link><guid>https://blog.youkuaiyun.com/yx_keith/article/details/89335309</guid><author>yx_keith</author><pubDate>Tue, 16 Apr 2019 15:57:20 +0800</pubDate><description><![CDATA[我认为原因有如下：
1.减少寻道时间，对于hdfs来讲，寻道是一个逻辑的概念，因为真正的寻道发生在磁盘，这里的寻道时间指的就是定位到块的时间。hdfs是存储大数据的，如果块设计的很小，一个文件就会由很多块组成，而HDFS上文件读写的最小单位是块，这样，寻找块的时间就会大大增加，降低得写效率。
2.减少任务数，一个map或者一个reduce都是以一个块为单位处理，如果块很小的话，mapreduce任...]]></description><category></category></item><item><title><![CDATA[redis 三种集群模式]]></title><link>https://blog.youkuaiyun.com/yx_keith/article/details/81670179</link><guid>https://blog.youkuaiyun.com/yx_keith/article/details/81670179</guid><author>yx_keith</author><pubDate>Tue, 14 Aug 2018 17:29:40 +0800</pubDate><description><![CDATA[一、主从模式，

1、工作原理：

slave节点启动并连接到master后，将主动发送一个SYNC命令。Master服务主节点收到同步命令后将启动后台存盘进程，同时接收客户端的命令，在后台进程执行完毕后，Master将传送整个数据文件同步到Slave，以完成一次完全同步。另外slave同步到master的过程是一个异步的过程，即使同步没有完成，master也可以接收客户端请求

 

2、搭建过...]]></description><category></category></item><item><title><![CDATA[聚簇索引和非聚簇索引]]></title><link>https://blog.youkuaiyun.com/yx_keith/article/details/81340942</link><guid>https://blog.youkuaiyun.com/yx_keith/article/details/81340942</guid><author>yx_keith</author><pubDate>Wed, 01 Aug 2018 18:48:34 +0800</pubDate><description><![CDATA[　本文转载自：https://www.cnblogs.com/auxg/p/Cluster-and-NonCluster-index.html

 

今天我们来聊一聊关于 聚簇索引和非聚簇索引的问题；
　　刚开始学数据库SQL的时候，就知道有主键啊(Primary-key)，外键啊(Foreign-key)啥的，连个表查询就已经不清楚是要on 那几个字段了，在数据量不太大的情况下，根本不会考虑索...]]></description><category></category></item><item><title><![CDATA[Java Map集合面试题汇总]]></title><link>https://blog.youkuaiyun.com/yx_keith/article/details/81329954</link><guid>https://blog.youkuaiyun.com/yx_keith/article/details/81329954</guid><author>yx_keith</author><pubDate>Wed, 01 Aug 2018 14:23:28 +0800</pubDate><description><![CDATA[转载自：https://www.jianshu.com/p/3dfabb977bf6

 

1、 你都知道哪些常用的Map集合?
HashMap、HashTable、LinkedHashMap、ConcurrentHashMap。

2、Collection集合接口和Map接口有什么关系？
没关系，Collection是List、Set父接口不是Map父接口。

3、HashMap是线程安全的吗...]]></description><category></category></item><item><title><![CDATA[ConcurrentHashMap vs Collections.synchronizedMap()不同]]></title><link>https://blog.youkuaiyun.com/yx_keith/article/details/81199772</link><guid>https://blog.youkuaiyun.com/yx_keith/article/details/81199772</guid><author>yx_keith</author><pubDate>Wed, 25 Jul 2018 11:43:21 +0800</pubDate><description><![CDATA[ConcurrentHashMap 和 Collections.synchronizedMap()的区别，看到一篇文章介绍的的很详细就转载了，原文地址：

https://www.cnblogs.com/draem0507/p/4670343.html

 

之前项目中,有用到过Collections.synchronizedMap(),后面发现当并发数很多的时候,出现其他请求等待情况,因为sy...]]></description><category></category></item><item><title><![CDATA[(spark问题一)scala开发spark遇到的奇怪bug]]></title><link>https://blog.youkuaiyun.com/yx_keith/article/details/81159497</link><guid>https://blog.youkuaiyun.com/yx_keith/article/details/81159497</guid><author>yx_keith</author><pubDate>Sun, 22 Jul 2018 21:56:35 +0800</pubDate><description><![CDATA[今天使用spark-mllib调用逻辑回归，运行代码报错如下：

Error:scalac: Error: object VolatileFloatRef does not have a member create
scala.reflect.internal.FatalError: object VolatileFloatRef does not have a member create

 
...]]></description><category></category></item><item><title><![CDATA[(hadoop运维四)cloudera manager安装hue]]></title><link>https://blog.youkuaiyun.com/yx_keith/article/details/81152520</link><guid>https://blog.youkuaiyun.com/yx_keith/article/details/81152520</guid><author>yx_keith</author><pubDate>Sun, 22 Jul 2018 11:01:09 +0800</pubDate><description><![CDATA[使用cloudera maneger安装hue服务时，建立数据库链接时报错，如下图所示



解决办法为：

1、查看cm server日志，显示报错：django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb module: libmysqlclient_r.so.16: cannot open shared object...]]></description><category></category></item><item><title><![CDATA[MySQL的InnoDB事务隔离级别]]></title><link>https://blog.youkuaiyun.com/yx_keith/article/details/80577785</link><guid>https://blog.youkuaiyun.com/yx_keith/article/details/80577785</guid><author>yx_keith</author><pubDate>Tue, 05 Jun 2018 10:35:24 +0800</pubDate><description><![CDATA[本文转自：http://blog.sina.com.cn/s/blog_499740cb0100ugs7.htmlMySQL InnoDB事务的隔离级别有四级，默认是“可重复读”（REPEATABLE READ）。未提交读（READ UNCOMMITTED）。另一个事务修改了数据，但尚未提交，而本事务中的SELECT会读到这些未被提交的数据（脏读）。提交读（READ COMMITTED）。本事务读...]]></description><category></category></item><item><title><![CDATA[java.sql.SQLException: ResultSet is closed]]></title><link>https://blog.youkuaiyun.com/yx_keith/article/details/80338809</link><guid>https://blog.youkuaiyun.com/yx_keith/article/details/80338809</guid><author>yx_keith</author><pubDate>Wed, 16 May 2018 16:33:49 +0800</pubDate><description><![CDATA[自定义连接池将mysql和spark-streaming进行集成，连接池JDBCWrapper类中的doQuery()方法如下：public ResultSet doQuery(String sqlText) {

    Connection conn = getConnection();
    PreparedStatement preparedStatement = null;
    /...]]></description><category></category></item><item><title><![CDATA[transient关键字]]></title><link>https://blog.youkuaiyun.com/yx_keith/article/details/80306071</link><guid>https://blog.youkuaiyun.com/yx_keith/article/details/80306071</guid><author>yx_keith</author><pubDate>Mon, 14 May 2018 10:09:58 +0800</pubDate><description><![CDATA[本文转自 https://www.cnblogs.com/lanxuezaipiao/p/3369962.html1. transient的作用及使用方法      我们都知道一个对象只要实现了Serilizable接口，这个对象就可以被序列化，java的这种序列化模式为开发者提供了很多便利，我们可以不必关系具体序列化的过程，只要这个类实现了Serilizable接口，这个类的所有属性和方法都会自...]]></description><category></category></item></channel></rss>