大数据、数据仓库、数据治理、数据开发、数据库等相关数据方面经验分享~

本文主要是以MySQL数据库为例，介绍SQL语句执行顺序及其实际案例，为平时编写SQL时，会遇到的比较迷惑的问题，寻找底层思路。

表取最新用户组织关系，本身是个简单的逻辑，但是当数据量大到一定程度的时候，简单的关联已经太耗费资源，且不能满足执行速度的要求，我们可以通过拆分变化和不变的用户来优化。

scala-tools 打包出错问题

insert overwrite自我覆盖的spark替代语法1. 问题背景：当我们使用spark-sql的时候, 使用 insert overwrite table A select * from A 会报错2.解决办法：可以通过临时表的方式解决问题create temporary view TEMP_A asselect * from A;insert overwrite table Aselect * from TEMP_A; ...

因为Spark是线程不安全的，所以如果UDF使用了非线程安全的操作，那么就会导致不可预测行为，Hive是每个UDF在单独的JVM里执行，就会好很多。

spark中大表关联小表hint和explain的使用1. 问题背景：在工作中中遇到个问题，那就是一个 大表A left join 一个很小的表 B查询速度总是很慢， 就想着怎么去优化，于是就查了些资料，得到可以通过设置 broadcastjoin的方式来优化，但是呢，这种方法很多都是使用scala的语法去写dataframe的方式实现，但是这太大费周章了，于是找到了hint的方法2. spark关联方式的知识(broadcast join、shuffle hash join和sort merg

大数据平台小文件解决办法1. 背景平时只是在大数据平台上写 sparksql 不关注大数据平台文件，今天看了下，发现每个表对应hdfs上的文件数量很对，而且大小不一我们知道这有两个影响：文件数量越多，查询扫描的效率越低文件大小不一，会导致数据倾斜，降低查询效率所以小文件越来越多的问题，急需解决2.解决办法由于我是采用写sparksql的方式生成这些表数据的，所以解决办法也是针对sql脚本的，如果是spark程序也是类似针对两个影响1）第一拳，减少小文件数量set spark.sql.

SparkSQL与Hive查询不一致问题

超大数据量UV类PV类问题解决方案背景技术使用：基于大数据平台的 spark-sql,有基础能力去处理百亿级数据表问题背景：随着大数据平台和数仓的建设,以及业务极大增加和日常积累,会让单表达到百亿级别这时候就会出现两个典型的场景,就是标题所说的UV场景和PV场景名词解释UV类问题UV 英文就是Unique visitor 即这个网站有多少个访问者,这里就有个用户去重的问题,多次访问需要去重拓展一下就是针对数据表维度进行 count(distinct ) 计算的一类场景,不只是限制在用

本文概述了Hive自定义函数的简介及实践，阐述了自定义函数的功能与重要性。通过介绍UDF、UDAF和UDTF三种函数类型，并详细说明了它们的使用方式及作用。

hive 内部表和外部表的区别内部表没有external 关键字内部表可以不指定 location关键字，当然hivesql执行外部表是也可以不指定，但是一般不这么用，sparksql，执行时不指定会报错内部表删除表时，直接删除元数据以及实际数据，外部表则只会删除元数据，hdfs上保留数据，这一条会衍生一些东西如果建立临时表，一般使用内部表，这样可以直接删除数据，不至于导致数据多余删除外部表时，再create table ，然后insert overwrite 时，会使数据重复一倍