RonieWhite的博客

Spark SQL支持从Hive存储中读写数据。然而，Hive存在很多的依赖，而这些依赖又不包含在默认的各类Spark发型版本中。如果将Hive的依赖放入classpath中，Spark将自动加载它们。值得注意的是，这些依赖必须在所有节点中都存在。因为他们需要通过Hive的序列化和反序列化库(SerDes)来访问存储在Hive中的数据。 在Spark中配置Hive，需要将hive-site.xml, core-site.xml, hdfs-site.xml放置到Spark的conf/目录下。 需要操作H

1、安装MySQL 查询以前安装的mysql相关包: rpm -qa | grep mysql 如果以前有安装，但已经不能正常使用或者想重新安装，则先卸载： 输入指令，逐个卸载： rpm -e mysql-community-client-5.6.41-2.el7.x86_64 --nodeps 然后进行安装： ...

1. 读配置文件的方式 根据官网相关章节的说明，为了使spark能够获取到hive, hadoop的相关配置，可将hive-site.xml, core-site.xml, hdfs-site.xml这三个配置文件放到集群的${SPARK_HOME}/conf之下，而我们在项目开发时，maven项目中，则需放到resources目录之下，方便SparkConf实例化对象取到值。由于spark是通过thrift协议连接到hive的metastore服务，因此，在hive-site.xml中应加入如下配置：

1.array 1.1 需装载的数据样例 此时一个编号对应了多个部门，那么这些部门可以存为一个array。 1.2 首先创建表 create table t_dept_info(num string,dept array<string>) row format delimited fields terminated by ',' collection items terminated by "|"; dept array<string> : 声明了dept字段，类型.