- 博客(16)
- 收藏
- 关注
RSS订阅原创 jave.io.IOException:No space left on device
jave.io.IOException:No space left on device集群服务器上执行spark-submit 命令报错：jave.io.IOException:No space left on device原因：SPARKHOME/work节点的目录空间满了解决方法：删除集群中所有节点SPARK_HOME/work 节点的目录空间满了解决方法：删除集群中所有节点SPARKHOME/work节点的目录空间满了解决方法：删除集群中所有节点SPARK_HOME/work 目录下的所有文
2021-05-09 17:27:19
713
原创 ORA-01861:literal does not match format string
通过spark将 数据写入oracle时报这个错，原因是因为要写入oracle中的表 有一个字段表示时间 “2020-10-20 12:39:42” 但是字段类型是字符串类型，但oracle中的表对应的这个字段是date类型，所以字段类型不匹配，报错。修改方法：df.withColumn(“TIME”,(to_timestamp(col(“TIME_”),“yyyy-MM-dd HH:mm:ss”)))PS.写入oracle的数据必须和oracle创建的表 字段类型能够对应上，否则就会报错（但mysq
2021-04-20 11:33:33
934
原创 es数据的的导入导出
记录从es导出数据命令：bin/linux64/esm -s http://192.168.1.111:9200 -y “op_log” -c 5000 -b 5 --refresh -i=op_log.bin-s:代表导出http://192.168.1.111:9200：es的地址op_log：要导出文件的索引名字5000：代表一次要导出的行数-i=op_log.bin:导出后文件的名字从es导入数据命令：bin/linux64/esm -d http://192.168.1.111:9
2021-04-19 14:15:20
5107
原创 ssh: connect to host hadoop-slave1 port 22: Connection refused
在docker内或者物理机上启动hadoop集群 出现如下错误ssh: connect to host hadoop-slave1 port 22: Connection refused原因是：1.salve1上免密登录没有设置；2.ssh服务没有启动启动ssh服务的方法：
2021-04-12 10:26:16
4665
原创 spark任务执行报错 |Resolved attribute(s) ***in operator ! spark-sql子查询的字段名在父查询中无法解析
spark-sql子查询的字段名在父查询中无法解析Resolved attribute(s) *** in operator ! Attribute(s) with the same name appear in the operation: devFp. Please check if the right attribute(s) are used.问题原因：sparksql解析器的一个bug解决方法1：https://blog.youkuaiyun.com/x950913/article/details/10
2020-10-29 17:53:49
2127
原创 idea打包时报错： Error:scalac: missing or invalid dependency detected while loading class file ‘Logging.cl
idea打包时报错：Error:scalac: missing or invalid dependency detected while loading class file ‘Logging.class’.Could not access type LazyLogging in value com.typesafe.slf4j,because it (or its dependencies) are missing. Check your build definition formissing o
2020-10-28 10:39:29
848
原创 2020-10-28
idea打包时报错：Error:scalac: missing or invalid dependency detected while loading class file ‘Logging.class’.Could not access type LazyLogging in value com.typesafe.slf4j,because it (or its dependencies) are missing. Check your build definition formissing o
2020-10-28 10:35:58
484
原创 spark任务执行报错 | java.lang.StackOverflowError
java.lang.StackOverflowError 指的是堆栈溢出，往往是我们在执行spark-submit 脚本时分配的driver-memory 资源不够，如果分配2g报堆栈溢出，那就给4g 或者更大，可以解决问题！
2020-07-03 14:30:02
615
原创 spark任务执行报错 | java.lang.ClassNotFoundException: com.trusfort.ipa.graph.allVerticesDataProcess
我遇到的这个问题产生原因有两种：1.jar包路径在spark-submit命令后面写错了（粗心导致）；2.在打jar包的时候依赖冲突，导致jar文件下的META-INF文件夹下多出.DSA文件和.SF文件（删除即可）删除后重新上传服务器，执行命令即可解决。...
2020-06-03 10:07:36
483
原创 机器学习算法提问：smote算法如何改进可以支持 boolean和oneHot向量化 后的数据？
机器学习算法提问：smote算法如何改进可以支持 boolean和oneHot向量化 后的数据？
2019-03-01 16:47:52
440
转载 SparkSQL 用户自定义函数（UDF、UDAF、开窗）
UDF： 操作单个数据行，产生单个数据行；UDAF： 操作多个数据行，产生一个数据行。UDTF： 操作一个数据行，产生多个数据行一个表作为输出。UDF函数通过spark.udf.register(“funcName”, func) 来进行注册使用：select funcName(name) from people 来直接使用开窗函数over（）开窗函数：在使用聚合函数后，会将多行变...
2018-11-05 14:45:18
1129
转载 **sparksql 中DataFrame 的函数**
Action 操作1、 collect() ,返回值是一个数组，返回dataframe集合所有的行2、 collectAsList() 返回值是一个java类型的数组，返回dataframe集合所有的行3、 count() 返回一个number类型的，返回dataframe集合的行数4、 describe(cols: String*) 返回一个通过数学计算的类表值(count, mean,...
2018-11-05 11:41:11
317
转载 **sparksql 中DataFrame 的函数**
Action 操作1、 collect() ,返回值是一个数组，返回dataframe集合所有的行2、 collectAsList() 返回值是一个java类型的数组，返回dataframe集合所有的行3、 count() 返回一个number类型的，返回dataframe集合的行数4、 describe(cols: String*) 返回一个通过数学计算的类表值(count, mean,...
2018-11-05 11:40:32
267
原创 Error:scalac:Error:org.jetbrains.jps.incremental.scala.remote.ServerException 如何解决，求大神指教！
jdk：1.8，scala：2.11.8， maven编译scala项目，sparkSQL取es数据。 运行时报错：Error:scalac:Error:org.jetbrains.jps.incremental.scala.remote.ServerExceptionjava.lang.StackOverflowError网上查的解决方案是jdk和scala版本不兼容，然后调整的s...
2018-08-28 18:30:28
1971
7
原创 Linux：idea创建的scala工程项目忽然变成文本格式了，怎么解决？
误删了idea的scala插件，之前编写的scala项目文件忽然变成文本格式了，且没有办法run原因很明显，因为idea没有了sdk，解决办法其实很简单，打开setting->Plugins，在搜索框中搜索scala，发现没有，点击蓝色字体：Search in repositories ，找到scala，点击右侧绿色按钮install。 但是有时会报错 网...
2018-08-27 21:49:44
637
原创 Ubuntu 虚拟机一直在登陆界面跳转
问题原因：1.环境变量有问题；2.内存给多了，都有可能产生以上问题！！解决方案： 1.针对环境变量问题： 由于最开始是 vim /etc/profile 来编辑环境变量的，这种方式会有问题 最佳的配置环境变量的方式是：在/etc/profile.d/目录下创建一个以.sh结尾的文件，将环境变量配置配置在这里 #仅仅是提示作用，也可以是别的颜色，调整31m，3...
2018-08-27 13:50:23
4315
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人