weixin_41660300的博客

java.lang.IllegalArgumentException: Comparison method violates its general contract!偷懒 直接复制粘贴代码到新的项目中，老项目没问题 ，新的起来确报这个错误，搜了一下资料 说是编译问题，赶紧查看自己的编译，果真有一个jdk1.5的编译，更改过来重新打包，更改路径如下另外注意还有一个地方 ，file-setting ->...

maven 工程中同时包含scala和java源文件的时候，尤其是当java文件中调用了scala中定义的class对象的时候，有时会报 scala文件中的class对象找不到。此时需要在pom文件中加入scala打包支持net.alchim31.mavenscala-maven-plugin3.2.0compile-scalaprocess-resourcesadd-sourcecompilescala-compile-firstcompileadd-sourcet

上异常（错误）java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class最近在跑一个比较老的项目的时候，怎么老呢 spark 还是用的1.6的版本。按部就班导入项目到idea 添加scala支持，奇怪的事情发生了，竟然报错也就是上边的错误 ，最后发现是我导入项目的时候添加scala library支持的时候加的2.11 ，虽然我的图计算的maven坐标是是<dependency>

硬菜博客关于不同Hadoop-hive的匹配问题https://blog.51cto.com/caiguangguang/1564601

题目是为了便于搜索，介意者请忽略。sqoop 从mysql 导入数据到hive 中 ，如果利用sqoop自动建表，那么mysql 中的decimal到底是对应hive中的double 类型还是string类型。首先，sqoop 能自动建表并且导入hive 的有两种数据格式 一种是 text file 一种是parquet ，不能自动建表的我们今天在这里不做讨论。如果是以text file导入hive 的话 ，那么decimal 就对应hive中的double对应的源码在此/** * Licens

idea 中同一个文件夹 下 运行不同的类，获取的classpath竟然不一样的问题

最近有要用到sqoop，但是不能以脚本的形式。研究了一下，中途有遇到一些坑，所幸最后成功，在这里记录一下，自己做个笔记，也希望能帮助到别人。首先说下我的集群环境以及mysql版本集群： hadoop 版本3.0MySQL 5.7sqoop 版本 maven坐标中显示的版本是1.4.6这里需要注意的是 maven中的jar是下载不下来的，我个人自作聪明的从maven 仓库手动下载，然后 自个 建立本地坐标（事实上这个是一个坑，我们稍后说明）maven 坐标为org.apache.sqoop

由于我的centos是6 的yum源已经不全，不能直接yum安装。于是选择了压缩包安装，现在记录一下压缩包安装步骤1 上传文件到服务器（你的虚拟机）的指定好的目录2 tar -xvf 刚才上传的文件夹 -C 指定存在解压后文件存放路径3 cd 进入mongo文件 ，vim mongo.conf添加一下配置信息dbpath=/mongo/datalogpath=/mongo/log/mongodb.logport=27017fork=truejournal=falsestorageEn

标题本文是在es6 centos环境下进行的操作启动时候报：[2020-01-07T13:13:55,343][WARN ][o.e.b.JNANatives ] unable to install syscall filter:java.lang.UnsupportedOperationException: seccomp unavailable: CONFIG_SECCOMP not compiled into kernel, CONFIG_SECCOMP and CONFIG_S

标题上来先展示异常信息## 标题java.sql.BatchUpdateException: 批次处理 0 Insert INTO bj_lianjia (id,url,timeinfo,region,totalprice,housetype,housearea,unitprice,direction,decoration,elevator,houseinfo,attention,visited,utime) VALUES (‘2587’,‘小樊’,‘2018-05-06 +08:00:00’,‘富力城B

安装好postgresql后，远程想连接上怎么搞？此时只需要打开刚才安装好的位置，找到data目录下pg_hba.conf ，比如我的安装目录在d盘 那么我就打开 D:\Program Files\PostgreSQL\9.6\data\pg_hba.conf修改如果此时还是访问不了，可以打开postgresql.conf 查看是不是监听所有地址，* 表示监听所有，localhost 表示监听本地，此时只需要将local host修改成* 即可...

centos 上传下载文件平时主机向主机传文件一般有下边几种 方式：1 共享文件2 filezilla 软件传输3 rz我个人最近一段时间比较喜欢rz上传下载文件要使用rz 需要安装1 yum install lrzsz2 上传文件 rz – 选择需要上传的文件 或者 直接拖动需要上传的文件到xshell 或者其他连接服务器的连接软件.3 下载服务器文件 sz + 需要下载的文件...

当构建到第三步分发时候 如出现连接异常 ip:端口 到 0.0.0.0:10020 此时查看是否启动了JobHistoryServer 正常是应该启动的 。进入hadoop的sbin下启动 历史任务服务器，然后 resume 立方体。...

先粘打印的日志（一部分日志未粘贴过来，望见谅）异常日志如下java.net.UnknownHostException: hadoop102:2181: 域名解析暂时失败2019-02-24 01:25:09,854 INFO [main] zookeeper.ZooKeeper:100 : Client environment:java.library.path=/opt/module/h...