解决问题
关注
分享
扫一扫
徴心
所谓文字，是承载语言的图像或符号。
展开
-
Maven 高版本 (3.8.1+) Blocked mirror for repositories
在maven高版本中如果配置了http的mirror地址如下那么maven是会抛出Blocked mirror错误,具体原因见这个链接https://maven.apache.org/docs/3.8.1/release-notes.html#cve-2021-26291不过也是有解决方法的,可以配置一个规则将对应的域名映射到实际的ip。原创 2022-09-21 19:37:15 · 1768 阅读 · 0 评论 -
Linux定位流量异常指南
记录一下如何查看某个网卡流量最多进程，用到几个命令dstatdstat 是一个用来替换vmstat、iostat、netstat、nfsstat和ifstat的全能系统信息统计工具,支持数据实时刷新，输出直观易懂。dstat 默认没有安装，安装命令为：yum install -y dstat。dstat -tnf 1 10 输出接下来10秒内每秒的网络数据：iftopiftop 是一款实时流量监控工具，可以查看每个连接的实时速率。iftop 来自EPEL软件库，安装命令是：yum inst原创 2022-05-27 16:29:49 · 1414 阅读 · 0 评论 -
Jar包冲突发现的几种方法
一般jar包冲突了都会得到类似的异常java.lang.NoSuchMethodError: com.google.common.collect.Sets.newConcurrentHashSet()总结了几种方式一、 mvn dependency:treemaven项目可以通过打印依赖树,定位具体的jar包二、 maven helper 插件intellij idea可以安装maven helper来查找本地工程的冲突三、通过this.getClass().getResource("/com/原创 2021-09-08 19:33:45 · 610 阅读 · 0 评论 -
Maven屏蔽Parent(Module)中的Plugin
今天研究关于Presto的SPI的开发,在写好Demo之后大包的过程中发现,如下报错INFO] ------------------------------------------------------------------------[INFO] BUILD FAILURE[INFO] --------------------------------------------------...原创 2018-11-08 16:48:55 · 7001 阅读 · 4 评论 -
Hive 关闭Local_Mr不生效
今天帮同事搭建Hadoop环境,在讲解Hive的时候演示Hive提交复杂查询时会提交到yarn上执行远程mr,但是写了好几个sql都未生效,并且也尝试用下面的命令SET hive.exec.mode.local.auto=falseSET hive.exec.mode.local.auto.inputbytes.max=1SET hive.exec.mode.local.auto.input...原创 2019-03-29 19:13:25 · 733 阅读 · 0 评论 -
记一次Druid 提取Hadoop Parquet 多值字段配置({\"element\"问题)
最近公司的技术机构有了一些改变,OLAP层采用了Druid,之前的使用过程中一直没有问题,但是最近有需求,需要使用Multi-value类型的查询,如果在hive中我们是可以使用array_contains(Array<T>, value)函数来处理,但是将数据推送到Druid中后并不知道是否可以多值filter.后来查询Druid文档发现是可以的。Multi-value dimen...原创 2019-04-01 14:08:07 · 944 阅读 · 0 评论 -
Zeppelin0.7.0配置Hive Jdbc interpreter Kerberos 认证方式 登录过期问题解决
前两周在公司的zeppelin上配置了一个interpreter用来解决在zeppelin中直接查询hive,便于测试同学的使用,还有结果的查看。(毕竟在beeline中查起来挺麻烦的)配置过后我只是简单使用一下就没有理会,这两天有同学反馈在使用一段时间会报一个错误java.sql.SQLException: Could not open client transport with JDBC U...原创 2019-05-16 18:57:52 · 1354 阅读 · 0 评论 -
Windows下执行org.apache.hadoop.util.Shell$ShellCommandExecutor.execute抛NullPointerException
今天打算从hive-0.14.0中剥离出一个miniHS2,但是在剥离的过程中抛出了一个NullPointerException,记一下排查问题的过程下面是报错,几年前在写Mapreduce的时候,喷到过**Could not locate executable null\bin\winutils.exe in the Hadoop binaries.**这个错误,只需要配置一个winutils...原创 2019-07-12 11:02:34 · 1220 阅读 · 0 评论 -
scala.reflect.internal.MissingRequirementError: object scala.runtime in compiler mirror not found
Maven 编译scala.reflect.internal.MissingRequirementError: object scala.runtime in compiler mirror not found.今天做了系统,重新下载了项目,在执行的时候突然项目不能编译了,百度,Google一波,未果,那么自己分析一下mvn clean -U package appassembler:asse...原创 2019-08-06 20:06:50 · 10165 阅读 · 2 评论 -
一次VirtualBox下Ubuntu16.4虚拟机下升级内核导致系统黑屏的经历
问题来源,今天发现Ubuntu虚拟机与物理机不能进行文本的双向拷贝了,百度查一下原因,有个帖子提示要将系统中的软件更新,那么执行了下面的命令sudo apt-get updatesudo apt-get upgradesudo reboot然后就悲剧了,启动后发现系统闪了几次,然后就没有了结果,一直黑屏,然后尝试用之前保存的客户端登录了一下,可以登录,然后就开始百度。 下面描述一下...原创 2018-07-17 15:07:04 · 1451 阅读 · 0 评论 -
Presto 行转列 列转行
PIVOT This SQL transforms rows into columns by map_agg function.SELECT uid, kv['c1'] AS c1, kv['c2'] AS c2, kv['c3'] AS c3FROM ( SELECT uid, map_agg(key, value) kv FROM vtable GROUP BY转载 2018-04-04 17:49:26 · 10997 阅读 · 0 评论 -
Flume Error must not generate more than one output value per record field解决
今天在写一个Flume的程序,在经过一系列的配置之后发现抛出下面异常,造成Flume启动宕了 must not generate more than one output value per record field 在网上搜索了一下这个问题,只有网友粘的一些官网上的说明,但是并没有太理解是什么问题。 下面是官网的morphlineInterceptor的说明,大概意思就是morphlin原创 2016-12-12 18:41:14 · 890 阅读 · 0 评论 -
解决Linux下Scp命令免密码远程复制
今天需要备份Solr中的一张大表的Shard(估计几百G)到一块硬盘里,一共11个节点,如果挨个备份那就需要一定时间了,第一时间想到的办法是,用nohup后台Scp过去下面是命令nohup scp -r /solr/tableName* root@192.168.*.*:/mnt/usb1 > /dev/null &可是在节点上执行出现了问题,看日志应该是*号匹配到的文件每个都需要输入一次密码.唉这原创 2017-01-07 23:43:01 · 3318 阅读 · 0 评论 -
html2canvas.js网页截图功能(解决截图不全问题)
今天来了一个新需求,需要在用户查询过后提供结果集截图功能,百度发现html2canvas.js+jquery可以解决网页截图的问题。 话不多说上代码,以下为主要功能方法 html2canvas.html<html xmlns="http://www.w3.org/1999/xhtml"><head><script type="text/javascript"src="jquery-1.7.2原创 2017-01-12 14:13:23 · 31462 阅读 · 13 评论 -
org.springframework.core.task.TaskRejectedException:Executor[]did not accept task异常解决
今天有个需求是优化查询时的效率(使用的hbase无法做关联查询,需要在结果查出来之后组合),结果就遇到了如题的异常。 那么通过查询源码发现问题,上代码 org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor.java@Override public void execute(Runnable task) {原创 2017-03-04 10:31:24 · 26809 阅读 · 0 评论 -
jasig.cas客户端认证成功后ConnectionTimedout
今天需要在新的机器上搭建CAS环境,搭建完成后cas端与客户端单独启动都可以访问,但客户端在配置CAS filter并且进行认证登陆成功后,跳转到客户端时抛出了如下异常java.net.ConnectException: Connection timed out at java.net.PlainSocketImpl.socketConnect(Native Method) at j原创 2017-04-12 15:43:07 · 4276 阅读 · 4 评论 -
PrestoException：Error{message='Duplicate entry '2017-01-01' for key date异常解决记录
今天在用Presto执行Sql语句时,报出了PrestoException：Error{message='Duplicate entry '2017-01-01' for key date异常 刚开始看到这个异常,肯定都会去查看是不是唯一索引冲突了,那么博主就先检查Sql是否有问题(Sql几百行压根无头绪),没有发现问题,后来猜测是不是Presto数据量太大引起的,那么楼主就将Sql中的筛选条件由原创 2017-06-29 18:07:11 · 1109 阅读 · 0 评论 -
Sublime Text3 安装插件出错 There are no packages available for installation
最近换了新公司,之前的开发环境肯定是没了,那么今天在配置环境的时候,当安装Sublime的时候想使用install package的时候,Sublime报出了There are no packages available for installation。记得之前解决过这个问题,但是忘记了,后来翻了一下是因为有一个channel_v3.json因为GFW的关系下不到,那么自然就找不到包了。 下面把原创 2017-07-04 11:21:26 · 841 阅读 · 0 评论 -
Spark 启动java.lang.NoClassDefFoundError: com/fasterxml/jackson/databind/Module 报错
之前一直没有搞过Spark,这阵有时间,今天在搭建的过程中在启动Spark的时候发现了报错,之前以为是不是有什么配置自己没有搞清楚,最后搜索半天还是没有找到,自己试着找了一下包,Ok成功启动,在这里记下,避免其他人在这块费时间 下面是异常信息,很明显是缺少类,之前一直以为是自己没有配置清楚,没有想到是缺包,博主的是在装的伪分布版本如下 hadoop-2.6.0-cdh5.12.1.tar.gz原创 2017-09-18 19:04:59 · 11319 阅读 · 7 评论 -
Hbase 启动报org.apache.hadoop.hbase.TableExistsException: hbase:namespace
今天原有的集群有问题,将集群重新format后,启动hadoop集群正常,但之后启动Hbase集群,发现Hmaster启不起来,查看日志发现抛出以下异常org.apache.hadoop.hbase.TableExistsException: hbase:namespace解决方案 在zookeeper节点上执行 1. .zkCli.sh 2. ls / \\发现有叫hbase的zno原创 2016-10-09 13:32:10 · 769 阅读 · 0 评论