<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[H_hanwen的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/H_hanwen</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; H_hanwen]]></copyright><item><title><![CDATA[spark-shell与spark-sql的访问hive]]></title><link>https://blog.youkuaiyun.com/H_hanwen/article/details/84350916</link><guid>https://blog.youkuaiyun.com/H_hanwen/article/details/84350916</guid><author>H_hanwen</author><pubDate>Thu, 22 Nov 2018 23:44:10 +0800</pubDate><description><![CDATA[1.spark-shell的使用：

安装完spark之后，将spark/bin的路径配置到本地文件，即可不需要进入spark/bin目录下启动任务

1）直接打开，运行以下命令会发现无法访问hive表的数据：


spark-shell --master local[2]

spark.sql(&quot;show tables&quot;).show()



2）将hive/conf目录下的hive-site....]]></description><category></category></item><item><title><![CDATA[SparkSession的使用]]></title><link>https://blog.youkuaiyun.com/H_hanwen/article/details/84350737</link><guid>https://blog.youkuaiyun.com/H_hanwen/article/details/84350737</guid><author>H_hanwen</author><pubDate>Thu, 22 Nov 2018 23:16:17 +0800</pubDate><description><![CDATA[简单的来说，SparkSession是Spark2.0版本中SparkContext更好用的接口


package com.imooc.spark

import org.apache.spark.sql.SparkSession

/**
 * @author lihanwen
 * SparkSession是spark2.0之后才有的，可以用来替代SparkContext
 */
objec...]]></description><category></category></item><item><title><![CDATA[SparkContext任务本地开发与服务器运行]]></title><link>https://blog.youkuaiyun.com/H_hanwen/article/details/84310893</link><guid>https://blog.youkuaiyun.com/H_hanwen/article/details/84310893</guid><author>H_hanwen</author><pubDate>Tue, 20 Nov 2018 22:37:16 +0800</pubDate><description><![CDATA[正确启动spark的本地模式与standalone模式之后，我们进入spark项目的开发。

1.本地开发：

在IDEA中新建一个maven工程：

1）maven基础坐标如下：


  &amp;lt;groupId&amp;gt;com.imooc.spark&amp;lt;/groupId&amp;gt;
  &amp;lt;artifactId&amp;gt;sql&amp;lt;/artifactId&amp;gt;
  &amp;lt;version&amp;g...]]></description><category></category></item><item><title><![CDATA[hive中的map join]]></title><link>https://blog.youkuaiyun.com/H_hanwen/article/details/84206015</link><guid>https://blog.youkuaiyun.com/H_hanwen/article/details/84206015</guid><author>H_hanwen</author><pubDate>Sun, 18 Nov 2018 22:51:30 +0800</pubDate><description><![CDATA[本文主要讲述一下自己在hive中使用map join遇到的一些问题。语言过于直白，请谅解

1.什么是map join？

map join主要是在关联的时候使用，hive开启map join后可以将关联的小表放入内存中去执行，以此来提高脚本的运行速度

 

2.map join如何设置？


set hive.auto.convert.join=false;
     --false表示关闭m...]]></description><category></category></item><item><title><![CDATA[Spark基础之--启动local与standalone模式]]></title><link>https://blog.youkuaiyun.com/H_hanwen/article/details/83794958</link><guid>https://blog.youkuaiyun.com/H_hanwen/article/details/83794958</guid><author>H_hanwen</author><pubDate>Tue, 06 Nov 2018 22:20:51 +0800</pubDate><description><![CDATA[我们得到编译好的spark压缩包之后，进行解压；随后进入spark文件夹，获取到spark的路径：


/home/xxx/app/spark-2.1.0-bin-2.6.0-cdh5.7.0

为了后续使用方便，我建议将spark的路径添加到本地配置（~/.bash_profile）


export SPARK_HOME=/home/xxx/app/spark-2.1.0-bin-2.6.0-...]]></description><category></category></item><item><title><![CDATA[hive中max函数无法区分字符串类型的数字]]></title><link>https://blog.youkuaiyun.com/H_hanwen/article/details/83318015</link><guid>https://blog.youkuaiyun.com/H_hanwen/article/details/83318015</guid><author>H_hanwen</author><pubDate>Wed, 24 Oct 2018 01:42:14 +0800</pubDate><description><![CDATA[问题描述：需要针对版本号app_version如：6.14.2，6.7.1，10.2.1进行取最大值

 

原先方法：max(app_version)



 

结论：失败

原因：hive中使用max将会默认对两个字符串从左至右挨个进行比较，即进行第三位比较时发现：“1&amp;lt;7”,故6.14.2&amp;lt;6.7.1

 

解决方法：首先针对hive本身的函数max无法直接解决，则可以将数据...]]></description><category></category></item><item><title><![CDATA[CentOS 7下静态IP配置的一些坑]]></title><link>https://blog.youkuaiyun.com/H_hanwen/article/details/78357203</link><guid>https://blog.youkuaiyun.com/H_hanwen/article/details/78357203</guid><author>H_hanwen</author><pubDate>Thu, 26 Oct 2017 18:25:31 +0800</pubDate><description><![CDATA[写在前面：请大神绕道，本人菜鸡，要不是想尝鲜爽一爽7，根本不会遇到这些神坑。虽然不难，但菜鸡的我还是搞了一晚上……真的哭出声来……
1、创建虚拟机
这个地方我就不赘述了，要是不会……额，百度一波吧
2、配置静态IP：
7不同于6，图像化界面还是做得不错滴，下面请看图


然后进入点击右下角的小齿轮图标，进入设置
然后选择IPv4，进行设置，填写虚拟机的IP地址，以及子网掩码和DNS]]></description><category></category></item><item><title><![CDATA[集群时间点同步及完全分布式搭建]]></title><link>https://blog.youkuaiyun.com/H_hanwen/article/details/78254470</link><guid>https://blog.youkuaiyun.com/H_hanwen/article/details/78254470</guid><author>H_hanwen</author><pubDate>Mon, 16 Oct 2017 21:11:26 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[虚拟机克隆及联网]]></title><link>https://blog.youkuaiyun.com/H_hanwen/article/details/78219743</link><guid>https://blog.youkuaiyun.com/H_hanwen/article/details/78219743</guid><author>H_hanwen</author><pubDate>Thu, 12 Oct 2017 20:58:49 +0800</pubDate><description><![CDATA[]]></description><category></category></item></channel></rss>