balalaxstar的博客

可能是建表语句中TBLPROPERTIES (‘PARQUET.compression’=‘xxx’)建议填snappy gzip uncompressed。写入到hive中报错，编码器不可用。

操作snappy压缩的表时抛出:原因: 是由于没有在java.library.path上加上snappy库解决方法:修改spark-defauilt.conf配置文件加上: spark.executor.extraLibraryPath /ldata/Install/hadoop/lib/native或者spark.executor.extraJavaOptions -Djava.library.path=/data/Install/hadoop/lib/native如果是spark任务，则在spa

为了解决数据为空而引起的show()报错，在过滤时使用 !x.isNullAt(1) 判断是否为空，为空就丢弃//过滤 .getDouble(1) 1指第几个column，从0开始 df3.filter(x => !x.isNullAt(1) && x.getDouble(1) < 1995).show(10)...

遇见 null/hadoopbinary/wintils.exe 报错是因为windows缺少hadoopCommon包，需要下载并解压hadoop-common-2.2.0-bin-master包并在环境变量中设置环境变量，1、在用户变量中新建HADOOP_HOME变量名，变量值为common包的位置2、在系统变量Path中，添加%HADOOP_HOME%\bin;点击确定保存，并重启电脑即可...

一、接口错误spark连接HDFS时直接报错，可能是hadoop中core-site.xml配置的集群端口时9000，而spark写的是8020，改为9000即可。二、hdfs文件丢失当初次连接成功，并且获取表结构也成功，但是一获取表数据时就报错 拒绝连接 ，这时要到MySQL中查看该数据库或者该表的文件是否真的存在于指定位置，当文件丢失时也会报错。报错内容会显示文件端口丢失。...