
采坑记录
谭正强
一个不愿在枯燥的日子里自废武功,同时对技术有点追求的 Java、大数据程序员。永远对牛人心生敬仰,对自己不甘平庸。
人到中年,太多的无奈驱使我无法专心做技术,但是在这里我希望这颗心可以纯粹点,聊点对技术的热爱,反省下当下的人生。
展开
-
Spark写入非分区表Hive无法读取的问题
问题描述:Spark2.4写入的非分区表无法使用Hive2.1.1版本的引擎去读取,报错:`Failed with exception java.io.IOException:java.lang.ArrayIndexOutOfBoundsException: 6`原因分析:一、非分区表测试--1. 新建测试表create table tmp.orc(id int, name string) stored as orc;--2.sparksql写入insert into table t原创 2020-10-31 11:55:05 · 784 阅读 · 0 评论 -
IDEA包死活引入不进来的问题
问题描述有么有遇到这样的情况,Maven的依赖明明是OK,查看Maven Dependences的依赖也正常,但是咋代码中就是无法引入具体的类,简直要抓狂????的冲动有没有?别急,我已经踩过坑了,以下是一些解决方法。问题解决尝试使得缓存失效,具体File -> Invalidate Caches 重新加载尝试重新导入maven 依赖,Reimport All Maven Projects尝试删除项目中的 xxx.iml文件然后让idea自动生成最终删除iml文件我的问题得到解决,现原创 2020-08-14 20:42:53 · 6598 阅读 · 1 评论 -
记Datax3.0解决MySQL抽数到HDFSNULL变为空字符的问题
一、背景使用Datax3.0 地址:https://github.com/alibaba/DataX在HDFS读的时候开放了如下nullFormat选项:nullFormat 描述:文本文件中无法使用标准字符串定义null(空指针),DataX提供nullFormat定义哪些字符串可以表示为null。 例如如果用户配置: nullFormat:"\N",那么如果源头数据是...原创 2020-04-14 10:53:38 · 8561 阅读 · 0 评论 -
scala 版本不匹配的问题
通常版本不匹配报告如下问题:Exception in thread "main" java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V at akka.util.Timeout.<init>(Timeout.scala:13) at akka.actor.ActorSystem$Settings.&l...原创 2018-05-30 10:49:28 · 8707 阅读 · 0 评论 -
IDEA编码不一致的解决方案
遇到的问题:从github上拉下的代码不支持java高级版本的钻石语法,经过排查属于IDEA的编译器输出设置为1.5导致的,所以在遇到Map<String,String>map=new HashMap<>会报错,特此记录下解决办法。1、检查project级别设置source 语言级别设置:2、检查IDEA 编译的输出设置...原创 2019-03-15 11:00:34 · 1892 阅读 · 0 评论