- 博客(23)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 reduceByKey提示Cannot resolve overloaded method ‘reduceByKey‘
reduceByKey提示Cannot resolve overloaded method 'reduceByKey'
2022-03-12 12:14:21
3310
原创 ““+null =“null“
背景：写代码时候 想让一个空值 变为一个空字符串代码 结果 @Testpublic void nullAddEmtyString() { String empty = null; if (StringUtils.isEmpty(empty)) System.out.println("空值判断通过"); if(StringUtils.isEmpty(empty+"")) System.out.println("空值加空字.
2021-05-29 19:58:10
590
原创 2021-01-25 LocalDateTime与fastJson,jackson
字符串转对象时:在"yyyy-MM-dd hh:mm:ss"格式下fastJson 可以自动解析LocaclDateTimeJackson 不可以自动解析LocaclDateTime需要@JsonFormat(pattern = "yyyy-MM-dd HH:mm:ss")以及 @com.fasterxml.jackson.databind.annotation.JsonDeserialize(using=MyJsonDeserialize.class)在时间戳格式下:fastJson
2021-01-25 22:00:34
1054
1
原创 clickhouse打开文件数过多
某一台服务器 clickhouse启动时 最大打开文件为1024，导致群里经常报错errno: 24, strerror: Too many open files修改 ulimit 值后，需要重启clickhouse服务命令 备注 sudo supervisorctl restart clickhouse_exporter 定期抓取ClickHouse（https://clickhouse.yandex/）统计信息，并通过HTTP导出它们，以用于Promet...
2020-09-21 18:39:05
2541
翻译 Hive3.1.1 特性简述
AbstractApache Hadoop 是使用通常由商品硬件组成的计算机集群对大型数据集进行分布式处理的框架。在过去的几年中，Apache Hadoop 已经成为使用商品硬件进行分布式数据处理的事实平台。 Apache Hive 是使用 Apache Hadoop 进行数据处理的流行 SQL 接口。Hive 将用户提交的 SQL 查询转换为物理运算符树，该树经过优化并转换为 Tez Jobs，然后在 Hadoop 集群上执行。在处理中间结果集方面，Hadoop 中的分布式 SQL 查询处理与传统
2020-09-18 10:09:06
1159
1
转载 Linux 字符串切分
假设有变量 var=http://www.aaa.com/123.htm1. # 号截取，删除左边字符，保留右边字符。echo ${var#*//}其中 var 是变量名，# 号是运算符，*// 表示从左边开始删除第一个 // 号及左边的所有字符即删除 http://结果是 ：www.aaa.com/123.htm2. ## 号截取，删除左边字符，保留右边字符。echo ${var##*/}##*/ 表示从左边开始删除最后（最右边）一个 / 号及左边的所有字符即删除
2020-08-25 15:26:51
868
原创 hive 文章总览
整理下写的比较全的hive文章，往后不用到处乱找https://gaofeng.blog.youkuaiyun.com/article/details/106891688 《Hive动态分区和分桶》https://gaofeng.blog.youkuaiyun.com/article/details/106861350 《Hive基本SQL操作(图文并茂）》https://gaofeng.blog.youkuaiyun.com/article/details/106891276 《Hive参数设置和运行方式汇总》https://...
2020-06-22 14:21:01
521
原创 获取YARN中实际执行的sql文本
笔者在此之前一直想找到contains中运行的sql命令，相信有不少小伙伴和笔者有着相同的疑惑。偶然间发现了这个参数，可以借助此参数快速找到sql文件。命令如下: hdfs dfs -cat /ats/XXX/application_156000000000_0000*/*/* \|grep mapreduce.workflow.name \|awk 'BEGIN{RS="\",\""}{$1=$1;print $0}' \|grep mapreduce.workflow.name \
2020-05-08 18:12:41
1393
原创 superset安装采坑
为了写毕业设计安装spuerset 弄到半夜一点多，才算勉强弄好。记录一下就去睡觉。首先在阿里云ecs下尝试安装，阿里云比较坑的一点是他默认给你安装了python2.7，并且有些linux基础组件还必须基于python2.7。要用python3的东西就很不方便 。指路在阿里云CentOS服务器上安装Python3.7并设置为默认Python此时你已经很好的做到python3和pyth...
2020-04-19 03:21:07
1153
1
原创 linux bashrc设置别名,优化长命令输入
工作中有很多经常使用到的命令，扩展开就是一大串。用函数式缩写的形式可以完成快速开发（偷懒）。#hive search 注意 有参数时候必须有路径!hs(){ # ${!#} 获取最后一个参数 output="$*" # 去除最后一个参数 nfdown=`echo $output | awk '{for(i=1;i<=NF-1;i++) printf $i" "......
2020-04-18 19:30:04
518
原创 Unrecognized option: --Xmx5120m
Container exited with a non-zero exit code 1. Error file: prelaunch.err.Last 4096 bytes of prelaunch.err :Last 4096 bytes of stderr :Unrecognized option: --Xmx5120mError: Could not create the Jav...
2020-03-17 12:17:47
1888
原创 jdk1.8 函数式编程与scala函数式编程区别
今天和同事的一番对话,引起了我对java函数式编程和scala函数式编程的思考。我: java （x,y）->（x+y） x,y，的类型必须提前定义好吗？不能说我（int x,long y）->x+y同事：如果你说的是函数式编程在java中的使用 则（x,y）->（x+y）必然是一个函数式接口的唯一的一个抽象方法 那此时x，y的类型一...
2020-01-07 18:59:20
508
转载 Hive 通过关闭CBO (Cost based Optimizer) 来优化特定的SQL执行
Hive 自0.14.0开始，加入了一项”Cost based Optimizer”来对HQL执行计划进行优化，这个功能通过”hive.cbo.enable”来开启。在Hive 1.1.0之后，这个feature是默认开启的,它可以自动优化HQL中多个JOIN的顺序，并选择合适的JOIN算法 Join reordering and join algorithm selection are ...
2019-12-27 10:49:25
746
原创 记一次hadoop增加数据磁盘的过程
前段时间业务老是执行失败，检查资源使用情况后决定在两台节点上启动datandoe。节点配置: 2core, 4G memory,2T（空磁盘） 使用ambari操作服务启动datanode服务时候，启动不起来，排查问题发现是不满足hadoop节点最低要求(注: 与ambari中配置有关！)给节点升配，节点配置 4core ,16G memory ,2T ，ambari中datanode...
2019-12-18 21:20:50
401
原创 hadoop高可用集群实际修复经验，为你的简历添砖加瓦
背景12月03号 梳理集群中的log，并处理相应的ERROR ，完成修改操作后重启集群。重启失败2019-12-04 00:23:30,522 - call['ambari-sudo.sh su hdfs -l -s /bin/bash -c 'curl -s '"'"'http://hostname:50070/jmx?qry=Hadoop:service=NameNode,name...
2019-12-06 10:14:17
541
1
原创 服务正常启动， ambari显示服务 stop
背景：hadoop集群启动后，ambari 显示 spark01 的 hiveserver2 状态为stop排错http://hostname:10002/jmxspark01的hiveserver2正常运行。网上大多数说的是ambari监控时没有服务(如hiveserver2)对应pid文件权限导致访问失败[因为启动时候使用手动启动，用户不同，产生...
2019-12-06 10:05:36
986
转载 hive sql 底层语法解析-格式化
原文章http://whatua.com/2018/12/02/hive-sql-format-with-antlr/当前比较好的sql格式化工具以下在网上搜集了一些比较好的sql格式化工具，各有利弊。但对hive sql 来说目前还没有比较好的工具可以直接拿过来用。1. ApexSQL Refactor SQL formatter https://www.ape...
2019-11-05 19:41:04
2583
原创 BindingException: Parameter 'dataBase' not found. Available parameters are [arg1, arg0, param1, par
这个问题很多人都说: 1参数没写@Param注释 2字段名写错这里添加一个最简单的：看看导包是不是导错了
2019-11-05 15:40:15
726
原创 安装mysql 报错Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)
安装mysql时候报错：Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)网上给的修改方法已经够多了，记得查看你是不是在root用户下进行的操作，如果不是，恭喜找到这篇文章。先切换root再执行操作，一切正常...
2018-05-27 15:30:40
543
原创 hive2.x 安装时候报错org/apache/hadoop/crypto/key/KeyProvider
来历就是自己在用hadoop2.4安装hive2.2的时候，抛出的初始化错误。自己百度了两天的这个异常当然改不掉。然后往下往异常下边找java.lang.RuntimeException: java.lang.NoClassDefFoundError: org/apache/hadoop/crypto/key/KeyProvider这个类不存在，然后就贴到网上搜，搜到这篇文章https://blo...
2018-05-17 20:29:40
6819
2
原创 FileInputFormat.setInputPaths多路径读取规则
FileInputFormat.setInputPaths(job, input1, input2);在读取文件时候，默认先读单个大文件所在的路径（一次性读清该文件下所有文件），后读小文件所在路径。写协同过滤时候，想让setInputPaths方法先读第一个输入路径input1，再读第二个输出路径input2就算把文件位置交换，读取的顺序还是错误public static class myMapp...
2018-05-15 13:33:11
5355
3
hadoop集群以及插件安装
2018-10-15
hadoop3.1配置
2018-10-15
Dev_Cpp_5.11_TDM_GCC_4.9.2_Setup
2018-10-08
hadoop搭建配置文件
2018-10-08
hadoop2.4-bin-winutils
2018-10-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人