erainm

最近在写sql，经常会使用到hive的这些时间计算函数，记录下来，方便以后大家使用

问题描述：StructedStreaming消费Kafka数据存储到HDFS中，以前正常存储，突然就存储不进去了，可以新建文件夹，但是数据写入不进去了。分析：通过流写出到控制台，能消费数据，说明消费正常，但是就是写不进HDFS中，说明写时不能触发HDFS保存。/*** 消费数据，写到控制台*/val query = spark.sql(sql) .writeStream .format("console") .outputMode("append") .start

实际项目自定义权限管理；项目中对角色及url的控制，查询数据库完成权限控制 public_home.html 每个模块都有data-prevID=”“,都定义好的<div class="crm-top t_top"> <div class="ctop-left"><img src="../img/t_logo.png" /></div> <div

执行hive sql时遇到问题：FAILED:Execution Error,return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask这个其实一般是个hive内部错误，处理这个问题就需要找日志了；找日志hive.log(比较简略)hive.log ===> 缺省情况下 /tmp/root/hive.log (不然就在你hive-site.conf配置的日志路径里)我这里在/tmp/root目录下去里面看了日志，没

1. 什么是数据倾斜2. 数据倾斜是如何造成的？3. 发生数据倾斜以后的现象4. 定位数据倾斜出现的原因与出现问题的位置5. 解决方案总体原理说明6. 具体解决方案 6.1 聚合源数据以及过滤导致倾斜的key 6.2 提高shuffle操作reduce并行度 6.3 使用随机key实现双重聚合 6.4 将reduce join转换为map join 6.5 sample采样倾斜key单独进行join 6.6 使用随机数以及扩容表进行join

sudo vim /Library/Preferences/VMware\ Fusion/networking“vmnet8默认网关”配置文件sudo vim /Library/Preferences/VMware\ Fusion/vmnet8/nat.confcentos6配置vi /etc/udev/rules.d/70-persistent-net.rules,删除eth0有关内容，修改eth1为eth0, vim /etc/sysconfig/network-scripts/ifc

配置以下环境变量HADOOP_HOME=< your local hadoop-ver folder >在PATH环境变量中添加：%HADOOP_HOME%\bin将winutils-master\hadoop-3.2.1\bin中的所有内容复制到HADOOP_HOME\bin目录中 可以从cdarlint下载，GitHub中重启IDEA，重新运行MapReduce程序引用https://github.com/cdarlint/winutils...