csdn_dengfan的博客

在练习hive分区时，上传数据到分区，出现以上错误。解决办法如下：1.mysql-connector-java这个jar包的版本不对，换个版本。我mysql5.7 ，mysql-connector8.0的，后来换成mysql-connector5.1的。2.hive默认编码utf-8，查看mysql编码：show variables like '%charac%';把编码要改成下图...

这里的乱码，不是指项目运行时的中文乱码，而是idea软件界面乱码，菜单乱码，即遍英文也是乱码的问题。这里不说版本，我从14一直安装2018，都是这个问题。应该和我的win7系统有关。没遇到最好，遇到了可以参考。1.安装idea，运行idea（如图所示连英文都是乱码），一直点下一步，随便建一个项目，点Next->点ok->点finish， 进入主界面（菜单...

Hadoop1.下载安装包，不赘述了。我解压路径为：E:\soft\hadoop-2.7.22.修改etc文件夹下的文件：core-site.xml：<configuration><!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 --><property><name>f...

目标：在idea中用scala编写简单代码，从本地hdfs中（或本地目录）读取文件，通过spark处理后，结果输出到本地dhfs或本地目录。然后修改代码，将项目打成jar包，上传到linux中，在spark集群上运行。环境：hadoop2.7.2 +spark2.2.3 +scala 2.11.8 +idea2018以上环境的具体安装配置和idea的基本操作分别见：win...