板砖的豆沙包-优快云博客

原创 CDH 6.3.2集群运行碰到这个问题 hive execution version == hive metastore version.

Exception in thread "main" java.lang.IllegalArgumentException: Builtin jars can only be used when hive execution version == hive metastore version. Execution: 2.1 != Metastore: 1.2.1. Specify a valid path to the correct hive jars using spark.sql.hive.metas

2021-08-20 16:17:00 778

原创记一次CDH6.3.2 spark 执行出现错误，出现了java.lang.ExceptionInInitializerError: null

在进行saprk renwu 调度时候出现这个问题SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/hive-jdbc-2.1.1-cdh6.3.2-standalone.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF

2021-07-12 14:13:40 1132

原创 idea本地运行出现找不到了的问题 Exception in thread “main“java.lang.lassNotFoundException Create breakpoint

本地运行scala脚本出现这个问题先放一点设置这里【provided】指编译时期有，但不打参与打包这里是其中一下问题应该是程序运行时候找不到main 文件，在这里设置点击编辑设置这里，然后点击修改选项这个，找到提供这两个选项最后保存就可以运行了...

2021-07-10 14:43:39 2476

原创 .xxx is not a valid externa 问题

使用Spark 执行sql 命令 val schemas = StructType( List( // StructField("id",LongTypes, true), StructField("userid", LongTypes, true), StructField("xzqnumber", StringType, true), StructField("xzqname", StringType, tru

2021-05-25 19:14:48 415

原创 CDH 6.3.2 实战oozie+hue+sqoop+hive 应用碰到的问题（Class com.hadoop.compression.lzo.LzoCodec not found问题）

首先我先说一下采用尚硅谷数据导入要采用lzo 压缩的，直接走这篇文章去安装CDH安装LZO压缩方式获取到hadoop-lzo.jar /hadoop-lzo-0.4.15-cdh6.3.2.jar 之后上传到HDFS这个目录下hdfs dfs -put /opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/hadoop-lzo-0.4.15-cdh6.3.2.jar /user/oozie/share/lib/lib_20210429181138/sqoop/

2021-05-21 21:30:48 1294

原创 Fastjson出现这个问题com.alibaba.fastjson.JSONArray cannot be cast to com.alibaba.fastjson.JSONObject

本想用fastjson想对ES数据进行处理的时候发现提示这个问题代码截图如下：就是对json 字符串进行获取解析字段但出现了报错从传入数据分析会发现存在这个每条数据都是数组，并且用中括号括起来，结合提示，传入进来的是JSON的Array 数组，那么我应该是用JSAONArray 去接收，然后转进行转换整JSONObject 对象然后在进行提取信息；所以修改代码如下 val jsonDF: DataFrame = df.selectExpr("FJSON") jsonDF.m

2021-04-20 09:11:22 10058

原创求助下，这道题怎么做，要求用Hive SQL完成，营销数据

数据如下：t_sales.txt1,nike,20180901,201809052,nike,20180903,201809063,nike,20180909,201809154,oppo,20180804,201808055,oppo,20180804,201808156,vivo,20180815,201808217,vivo,20180902,20180912加载语句drop table t_sales;create table t_sales(

2021-02-28 01:00:30 218

原创 Apache POI 实战应用

直接上pom.xml <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>4.0.1</version> </dependency> <dependency> <

2021-02-22 20:05:23 533

原创 idea 连接Presto 操作，超详细操作！！！！

一、需要提前下载presto 的JDBC 的安装包https://prestodb.io/download.html二、按下面操作出现下面界面，然后去编辑自定义JDBC设置用URL ONLY 模式点击**+**号 ,如图操作选择自己下载的JDBC包，出现这样的提示就可以了，原来的红色的Apache的包删除即可，最好改个名字Name点击APPLY，然后点击箭头撤回原来界面启动hive 服务，前提yarn,hdfs 服务都打开start-all.shhive --servi

2021-01-07 16:58:50 1979

原创 Hive经典例题解析

1.第一题：sid name gender age academy dt chinese math english 95001 李勇男 20 CS 2017-08-31 56 28 6295002 刘晨女 19 IS 2017-08-31 84 22 3895003 王敏女 22 MA 2017-08-31 38 80 8295004 张立男 19 IS 2017-08-31 39 65 495005 刘刚男 18 MA 2018-08-31 18 28 7995006

2020-10-18 15:00:47 793

qq_40976830的博客