guoliduo的博客

Windows下启动idea项目报错 java.io.Exception:Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 原因：本地配置的hadoop文件bin目录下缺少winutils.exe 和hadoop.dll文件 解决办法：https://blog.youkuaiyun.com/guoliduo...

报错的原因是因为：没有找到Hadoop目录,需要配置Hadoop的环境变量，并在hadoop bin目录下添加winutils.exe 和hadoop.dll文件。 1.下载所需版本的hadoop文件 下载链接:https://archive.apache.org/dist/hadoop/common/ 2.配置环境变量(以windows10系统为例) (1) 先配置HADOOP_HOME...

SparkSession中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。 可以参考，Scala提供的DataFrame API。本文中的代码基于Spark-2.2的文档实现。 一、DataFrame对象的生成 　　Spark-SQL可以以其他RDD对象、parquet文件、json文件、Hive表，以及通过JDBC连接到其他关系型数据库作为数据源来生成DataFrame对象。本文将以MySQL数据库为数据源.

flatmap和map是Scala中常见的两种算子 未完待续...