- 博客(7)
- 收藏
- 关注
RSS订阅原创 impala-kudu 使用
impala-kudu 安装 1、下载rpm。bigtop-utils-0.7.0+cdh5.16.1+0-1.cdh5.16.1.p0.3.el6.noarch.rpm impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm impala-kudu-catalog-2.7.0+cdh5.9.0+0-1.cdh5.9...
2019-01-16 11:35:39
1428
原创 Java通过MongoClientURI连接mongoDB时，Java.lang.nosuchmethoderror:ACKNOWLEDGED
使用MongoClientURI,MongoClient连接MongoDB时，出现ACKNOWLEGED异常！原因： mongo-Java-driver jar包冲突，或者版本号过低。解决办法： 升级jar包版本，保留唯一版本，其他版本删除。...
2018-06-04 11:01:14
4088
原创 关于Spark工作总结--读取数据库注意事项（解决占用连接多，耗内存，速度慢等问题）
问题解决背景： 避免尽量少的使用hiveContext.read.jdbc(url,sql,prop)来读取数据库 ①：其中sql语句不要用通配符 *，是关于解析引擎耗时的解决办法，使用全字段代替select *; ②：在查询时加索引，在你之前的字段上加自增长主键Id字段，查出来快的不是一点半点。 终极大招： 1...
2018-05-18 11:50:17
1985
原创 写sql语句 来获取时间格式yyyymmdd的昨天数据
select * from table where create_time<DATE_FORMAT(NOW(),'%Y%m%d')and create_time>DATE_FORMAT(NOW(),'%Y%m%d')-1上边的格式不能很好的处理月底最后一天数据更正为下：select * from table where create_time< DATE_FORMAT(DATE_...
2018-04-26 09:34:30
8987
原创 Spark hiveContext jdbc连接Mysql，在运行程序的过程中丢失会话：Communication link failure
问题概述： 1：如果程序在报错之前有关于连接数据库并读取或者其他操作能够正常进行运行，不用管它；、 2：查看在程序的数据库操作中的异常是否统一出现在某个模块，比如：将结果再写回到数据库 在写回数据库的连接中这样做： 简而言之就是哪儿出错了在哪儿加！jdbc:mysql://127.0.0.1:3306/mydb?autoReconnect=true ...
2018-04-25 16:18:27
919
原创 Spark中Java.io.Exception_Failed to delete /tmp/spark-....临时文件
Spark频繁提交任务导致崩盘 1：问题描述：Java.IO.Exception Failedto delete /temp/spark-----删除临时文件失败 2：问题原因： 提交spark任务太过频繁，临时文件产生太多，导致磁盘溢出； 3：问题概述： ...
2018-04-03 10:41:50
2749
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人