<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Super__Ren的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Super__Ren</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Super__Ren]]></copyright><item><title><![CDATA[在IDEA关联Spark源码包，idea不能修改Spark源码，idea点进源码file is read only]]></title><link>https://blog.youkuaiyun.com/Super__Ren/article/details/85007474</link><guid>https://blog.youkuaiyun.com/Super__Ren/article/details/85007474</guid><author>Super__Ren</author><pubDate>Fri, 14 Dec 2018 17:52:47 +0800</pubDate><description><![CDATA[在Spark开发学习中，我们需要有一套自己精心备注学习研究的Spark源代码，但是如果是通过maven自动导入Spark源码的话，我们是不可以对Spark源代码进行备注、注解等修改的操作的。

 

因此，我们可以到官网下载一套自己所需对应版本的Spark源码包，或者从git等库导入

 

下载Spark源码包，官网下载的话：选择SourceCode

 



下载完事以后解压（记住解压给文件...]]></description><category></category></item><item><title><![CDATA[Spark集群执行需求跑Job的结果保存到节点本地磁盘]]></title><link>https://blog.youkuaiyun.com/Super__Ren/article/details/83507233</link><guid>https://blog.youkuaiyun.com/Super__Ren/article/details/83507233</guid><author>Super__Ren</author><pubDate>Mon, 29 Oct 2018 16:12:52 +0800</pubDate><description><![CDATA[此次job的提交，具体命令：

1.如果Spark集群没有连接mysql的驱动jar包的话：需要自行提供驱动jar包


spark-submit --master spark://hdp-21:7077 --jars /root/mysql-connector-java-8.0.11.jar --class cn.edu360.day06.IPAdd6 wc.jar hdfs://hdp-21:...]]></description><category></category></item><item><title><![CDATA[浅谈大数据]]></title><link>https://blog.youkuaiyun.com/Super__Ren/article/details/83422386</link><guid>https://blog.youkuaiyun.com/Super__Ren/article/details/83422386</guid><author>Super__Ren</author><pubDate>Sat, 27 Oct 2018 00:03:03 +0800</pubDate><description><![CDATA[222]]></description><category></category></item><item><title><![CDATA[占位2]]></title><link>https://blog.youkuaiyun.com/Super__Ren/article/details/83422373</link><guid>https://blog.youkuaiyun.com/Super__Ren/article/details/83422373</guid><author>Super__Ren</author><pubDate>Sat, 27 Oct 2018 00:02:24 +0800</pubDate><description><![CDATA[谢谢您]]></description><category></category></item><item><title><![CDATA[占位]]></title><link>https://blog.youkuaiyun.com/Super__Ren/article/details/83389167</link><guid>https://blog.youkuaiyun.com/Super__Ren/article/details/83389167</guid><author>Super__Ren</author><pubDate>Fri, 26 Oct 2018 01:09:25 +0800</pubDate><description><![CDATA[谢谢您]]></description><category></category></item><item><title><![CDATA[The prefix "tx" for element "tx:advice" is not bound]]></title><link>https://blog.youkuaiyun.com/Super__Ren/article/details/82795618</link><guid>https://blog.youkuaiyun.com/Super__Ren/article/details/82795618</guid><author>Super__Ren</author><pubDate>Fri, 21 Sep 2018 00:58:41 +0800</pubDate><description><![CDATA[在Spring中使用事务管理时，配置了事务驱动各项属性，如图：


&amp;lt;!-- 定义事务通知 --&amp;gt;
	&amp;lt;tx:advice id=&quot;PersonAdvice&quot; transaction-manager=&quot;transactionManager&quot;&amp;gt;
		&amp;lt;!-- 定义方法对应的事务属性 --&amp;gt;
		&amp;lt;tx:attributes&amp;gt;
			&amp;lt;tx:met]]></description><category></category></item><item><title><![CDATA[SqlSessionFactory和SqlSession的生命周期以及实现]]></title><link>https://blog.youkuaiyun.com/Super__Ren/article/details/82747066</link><guid>https://blog.youkuaiyun.com/Super__Ren/article/details/82747066</guid><author>Super__Ren</author><pubDate>Mon, 17 Sep 2018 18:38:42 +0800</pubDate><description><![CDATA[SqlSessionFactory和SqlSession作为MyBatis技术部分的关键对象，他们的生命周期和实现到底是怎样的呢

 


	SqlSessionFactory
	
SqlSessionFactory一旦被创建，SqlSessionFactory应该在你的项目执行期间都存在。没有理由来处理或重新创建它，最简单的就是使用单例模式或者静态单例模式。最好使用框架，依赖注入容器，比如Goo...]]></description><category></category></item><item><title><![CDATA[Linux环境下清除CLASSPATH，CentOS系统清除CLASSPATH]]></title><link>https://blog.youkuaiyun.com/Super__Ren/article/details/82746832</link><guid>https://blog.youkuaiyun.com/Super__Ren/article/details/82746832</guid><author>Super__Ren</author><pubDate>Mon, 17 Sep 2018 18:23:45 +0800</pubDate><description><![CDATA[开发者可能在CentOS系统中/etc/profile中配置过JDK，当时配置过了CLASSPATH这一环境变量，

那么清除不再需要它时，进入到了该文件去删除了这一环境变量，保存退出，重新Source了该文件然而该环境变量仍然存在。

那么笔者认为可能只是个bug，source对CLASSPATH不管用。

那么，只需要重启你的虚拟机就OK了

如图：删除了CLASSPATH，保存退出，重新So...]]></description><category></category></item><item><title><![CDATA[winutils.exe下载，免费！hadoop2.8.0在windows下执行文件所需winutils.exe。适用hadoop2.8的所有版本]]></title><link>https://blog.youkuaiyun.com/Super__Ren/article/details/81584337</link><guid>https://blog.youkuaiyun.com/Super__Ren/article/details/81584337</guid><author>Super__Ren</author><pubDate>Sat, 11 Aug 2018 10:54:43 +0800</pubDate><description><![CDATA[
=========================免费分享！好用的话别忘了留言支持一下，谢谢！==============================




baidu网盘：链接：https://pan.baidu.com/s/1NEZYNj_lQXEkIKUBbPEuiA 密码：m1mo...]]></description><category></category></item><item><title><![CDATA[java.io.FileNotFoundException: Could not locate Hadoop executable由eclipse报错]]></title><link>https://blog.youkuaiyun.com/Super__Ren/article/details/81516491</link><guid>https://blog.youkuaiyun.com/Super__Ren/article/details/81516491</guid><author>Super__Ren</author><pubDate>Wed, 08 Aug 2018 22:14:48 +0800</pubDate><description><![CDATA[情景：在windows下使用eclipse开发hadoop，对hdfs执行操作时报错：

Failed to find winutils.exe
java.io.FileNotFoundException: Could not locate Hadoop executable: D:\Developer\hadoop-2.8.4\bin\winutils.exe -see https://wiki...]]></description><category></category></item><item><title><![CDATA[Error: JAVA_HOME is incorrectly.Please updata D：\Developer\hadoop-2.8.4\etc\hadoop\hadoop-env.sh]]></title><link>https://blog.youkuaiyun.com/Super__Ren/article/details/81516247</link><guid>https://blog.youkuaiyun.com/Super__Ren/article/details/81516247</guid><author>Super__Ren</author><pubDate>Wed, 08 Aug 2018 22:07:37 +0800</pubDate><description><![CDATA[情景：配置hadoop的环境变量时配置完成之后执行hadoop报该错，并且确定jdk和jdk的环境变量没有问题。hadoop的环境变量也

没问题，很简单的配置了HADOOP_HOME和PATH中添加了hadoop的bin目录，大家都很轻车熟路的了，但是就是报错：

cmd中执行hadoop报错：Error: JAVA_HOME is incorrectly.Please updata D：\De...]]></description><category></category></item><item><title><![CDATA[eclipse报错：HADOOP_HOME and hadoop.home.dir are unset.]]></title><link>https://blog.youkuaiyun.com/Super__Ren/article/details/81516146</link><guid>https://blog.youkuaiyun.com/Super__Ren/article/details/81516146</guid><author>Super__Ren</author><pubDate>Wed, 08 Aug 2018 21:47:25 +0800</pubDate><description><![CDATA[在windows下做hadoop的开发，比如从hdfs上传、下载、创建、删除目录等操作时，eclipse报错：HADOOP_HOME and hadoop.home.dir are unset.   如图：



其实呢很浅显的道理，你只需要为windows下的hadoop配置环境变量告诉系统你的hadoop在那就行了。

为HADOOP_HOME指定你的hadoop目录所在位置，为你的path添...]]></description><category></category></item><item><title><![CDATA[CentOS6安装Hadoop后运行hdfs警告Unable to load native-hadoop library for your platform... using builtin-java]]></title><link>https://blog.youkuaiyun.com/Super__Ren/article/details/81483724</link><guid>https://blog.youkuaiyun.com/Super__Ren/article/details/81483724</guid><author>Super__Ren</author><pubDate>Tue, 07 Aug 2018 16:38:41 +0800</pubDate><description><![CDATA[情景：安装hadoop后启动运行HDFS报错：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

其实hdfs正常运行，各节点namenode和datanode等都正常运行的。但是就是有警告...]]></description><category></category></item><item><title><![CDATA[service network restart报错:No suitable device found : no device found for connection 'System eth0'.]]></title><link>https://blog.youkuaiyun.com/Super__Ren/article/details/81474674</link><guid>https://blog.youkuaiyun.com/Super__Ren/article/details/81474674</guid><author>Super__Ren</author><pubDate>Tue, 07 Aug 2018 09:01:45 +0800</pubDate><description><![CDATA[虚拟机被玩崩了，hadoop重装过程中使用了多个虚拟机来模拟集群。只配置了主机的各项参数，其他的节点（主机）是克隆主机克隆粗来的。克隆完成打开以后，首先修改了其IP，然后网络服务重启（service network restart）就报错了：No suitable device found : no device found for connection 'System eth0'.如下图：


...]]></description><category></category></item><item><title><![CDATA[core-site.xml中配置的hadoop.tmp.dir的映射配置]]></title><link>https://blog.youkuaiyun.com/Super__Ren/article/details/81463412</link><guid>https://blog.youkuaiyun.com/Super__Ren/article/details/81463412</guid><author>Super__Ren</author><pubDate>Mon, 06 Aug 2018 23:40:23 +0800</pubDate><description><![CDATA[最近虚拟机崩了好多次，索性重装hadoop生态圈中所有的系统包括hadoop

之前有找过这个目录才发现之前自己没设置，干脆这次重装给指定一下。

这项配置不建议在开发过程中去配置，因为配置了该选项需要重新格式化hdfs系统（#bin/hadoop namenode -format）

意味着你的hdfs上存的所有的历史数据都会消失殆尽

 

因此，最好在重装hadoop时给配一下：

它配置在...]]></description><category></category></item><item><title><![CDATA[JUnit4 jar包下载]]></title><link>https://blog.youkuaiyun.com/Super__Ren/article/details/80404266</link><guid>https://blog.youkuaiyun.com/Super__Ren/article/details/80404266</guid><author>Super__Ren</author><pubDate>Tue, 22 May 2018 13:12:42 +0800</pubDate><description><![CDATA[JUnit4 jar包链接：https://pan.baidu.com/s/112B-PaQvlTAzEXxHcpC9Sw 密码：ktrn]]></description><category></category></item><item><title><![CDATA[properties中的load()和store()的区别以及使用注意事项]]></title><link>https://blog.youkuaiyun.com/Super__Ren/article/details/80387190</link><guid>https://blog.youkuaiyun.com/Super__Ren/article/details/80387190</guid><author>Super__Ren</author><pubDate>Mon, 21 May 2018 00:59:22 +0800</pubDate><description><![CDATA[

 

1.load

load(InputStream instream) 从输入流中读取属性列表（键和元素对）

load(Reader reader) 按简单的面向行的格式从输入字符流中读取属性列表（键和元素对）

load方法是加载输入流，“只有”加载输入流之后，“才”可以用一些读取该properties文件的方法

请注意这里的：&quot;只有&quot;,&quot;才&quot;

例如：


public stati...]]></description><category></category></item></channel></rss>