- 博客(15)
- 收藏
- 关注
RSS订阅原创 azkaban执行任务错误，修复MySQL表
问题描述：azkaban执行任务报错azkaban.executor.ExecutorManagerException: Error writing job offline-xxx-hdfs2hive-m5 at azkaban.executor.ExecutionJobDao.uploadExecutableNode(ExecutionJobDao.java:76) at azkaban.executor.JdbcExecutorLoader.uploadExecutableNode(...
2020-07-09 16:55:15
726
1
原创 hive 实践
创建hive分区表create table source(`date` bigint,event int,app string,domain string,rtype int,unique_name string,user_id string,host_name string,cluster_info string,client_isp string,isp string...
2020-04-02 16:10:12
2097
原创 spark textFile基本语法
val sparkConf = new SparkConf().setAppName("test")val sc = new SparkContext(sparkConf)val cacheRDD = sc.textFile(path,2)textFile(path,minPartitions)：path是String类型的一个URI，可以是HDFS和本地文件URI；minParti...
2020-01-07 17:06:49
609
原创 scala ---breakable
使用方法：1.需要导入scala.util.control.Breaks._这个包2.将需要通过breakable控制的代码放到breakable的大括号中例如val array = Array(1,2,4,6,29)//第一种：相当于break，跳出整个循环breakable({ for(i<- 0 until (array.length)){ ...
2019-12-30 18:11:56
317
原创 IDEA打包，运行等错误
解决方法：1.Maven内存2.排查是不是Schema结构太长可选择将schema拆分为一条一条3.pom文件<build> <sourceDirectory>src/main/scala</sourceDirectory> <!--The plugin below for those who build the...
2019-12-30 16:41:23
692
转载 Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.4.2:testCompile
修改一下版本号<groupId>net.alchim31.maven</groupId><artifactId>scala-maven-plugin</artifactId><!--<version>3.4.2</version>--><version>3.2.0</version&g...
2019-12-30 16:32:42
1190
原创 value '$' is not a member of StringContext
解决方案：在获取sparkSession之后，添加import spark.implicits._
2019-10-08 16:37:03
1666
原创 Kafka连接失败，Caused by: java.lang.ClassNotFoundException: kafka.DefaultSource
原因在于pom文件添加scope标签，作用：编译环境可用，运行时则不可用，主要是在 打包时不将这些依赖打进来，因为服务器上有，以免包过大将scope注释掉即可...
2019-10-08 14:37:07
1867
1
转载 python中matplotlib的颜色及线条控制[转载]
第二个参考网址给出了linestyle可选参数：'-' solid line style'--' dashed line style'-.' dash-dot line style':' dotted line style第二个参考网址给出了marker可选参数：'.' point marker',' ...
2019-04-24 21:32:06
177
转载 与python2.7冲突，yum install 失败
1.参考https://blog.youkuaiyun.com/m0_37082962/article/details/80757364重点首先在http://rpm.pbone.net/下载各种rpm2.清除原有RHEL的YUM及相关软件包。参考https://blog.youkuaiyun.com/zhaosenoo/article/details/70919881rpm -qa | grep yu...
2019-04-17 20:06:47
1077
原创 IDEA通过SparkSql访问hive报错：Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder
Exception in thread "main" java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder': at org.apache.spark.sql.SparkSession$.org$apache$spark...
2019-03-25 20:37:51
7103
转载 Error running 'x': Command line is too long. Shorten command line for x or also for Application ...
错误描述：Error running '类名': Command line is too long. Shorten command line for 类名 or also for Application default configuration.解决办法：转自https://cloud.tencent.com/developer/article/13330851.Run-->Ed...
2019-03-25 12:55:50
22108
3
原创 ipv4或ipv6没有访问权限的解决办法
1.Win+R输入gpedit.msc2.设置 - 关闭Windows网络连接状态指示器的活动测试3.勾选已启用选项4.重启电脑，成功连上网络
2019-03-19 10:57:55
60850
6
转载 kafka-console-consumer.bat 报错 zookeeper is not a recognized option
1.开启kafka的broker在kafka安装目录下启动cmd：.\bin\windows\kafka-server-start.bat .\config\server.properties2.生产者生成topic的数据3.消费者获取该topic的数据查看别人博客发现将命令改为下面写法，证实可行kafka-console-consumer.bat --bootst...
2018-11-26 17:54:20
4627
原创 搭建hive时遇到的错误及解决方案
在搭建hive集群时遇到如下错误，自己亲身实践有效解决后发帖。错误1：java.net.URISyntaxException:Relative path in absolute URI:${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D解决方案：1. 查看hive-site.xml配置 vi hive-site.xml进入vi模式 /${sy...
2018-03-16 21:24:45
486
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人