日常分享数据分析开发、编程语言内容

用户自定义函数（尤其是用 Python 或 C 编写的外部 UDF）会显著降低性能，尽量用内置函数替代。

Clickhouse常用函数总结

ClickHouse的架构与基本概念

Hive的空值判断函数

数据仓库与数据湖的联系与区别

数据仓库的架构以及传统数据库与数据仓库的区别

数据库、数据仓库与数据湖的概念与基本特点

Hive与Hbase的区别与联系

比较hive数据库与mysql数据库

Hive 的数据存储单元结构

Hive字符串查找函数

DBeaver的安装与配置使用

Hive字符串函数-空格处理

Hive正则表达式

数据库事务

数据库的约束

字符串截取函数：left()、right()、substr()、substring_index() 函数

Excel中text函数5中常用方法

SQL 中delete与truncate的区别

Hive SQL开发中10个特殊日期获取方法

Hive中的in、exists和left semi join

Hive中not in的正确使用

hive数据库日期格式化

Hive中 NTILE(n) 函数的使用

SQL实现将多行记录合并成一行

sqoop的导入导出以及where条件过滤数据导出

SQL查询结果按照指定内容排序

hive内部表与外部表的区别以及使用场景

hive、Oracle和MySQL数据库时间的获取与时间计算

文章主要内容为表结构的变化，包括表名修改、字段的新增、删除和修改

数据仓库建设中的维度建模设计过程，以及事实表与维度表的基本概念

数据质量与数据治理相关内容汇总整理

hive数据库操作、Impala操作、sqoop数据同步 面试心经

1，MapReduce的工作流程（1）input：输入文件（2）split：客户端将每个block块切片（逻辑切分），每个切片都对应一个map任务，默认一个block块对应一个切片和一个map任务，split包含的信息：分片的元数据信息，包含起始位置，长度，和所在节点列表等；每一片都由一个MapTask来处理。（3）map：按行读取切片数据，组成键值对，key为当前行在源文件中的字节偏移量，value为读到的字符串；map函数对键值对进行计算，输出<key,value,partition（分区号

1，DATEDIFF函数语法：DATEDIFF（开始时间，结束时间）释义：DATEDIFF可以计算开始时间与结束时间的时间差，结果是天数栗子：2，TIMESTAMPDIFF函数语法：TIMESTAMPDIFF（时间粒度，开始时间，结束时间）释义：（1）时间粒度参数： 2/SECOND--秒：计算开始时间与结束时间相差的秒数。 4/MINUTE--分：计算开始时间与结束时间相差多少分钟。 ...

instr函数是字符串检索函数格式：（1）instr( 源字符串, 目标字符串)含义：检索目标字符串在源字符串中是否存在，并且返回目标字符串在源字符串中第一次出现的位置。例如：select instr('helloworld','l') from dual; --返回结果：3 默认第一次出现“l”的位置（2）instr(源字符串, 目标字符串, 起始位置, 匹配序号)含义：检索目标字符串在源字符串中，从 起始位置 开始匹配，第 匹配序号 次出现...

开窗函数也属于分析函数，与聚合函数的不同之处是：对于每个组返回多行，而聚合函数对于每个组只返回一行。格式：函数名（列）over（选项）OVER 关键字表示把函数当成开窗函数而不是聚合函数。SQL 标准允许将所有聚合函数用做开窗函数，使用 OVER 关键字来区分这两种用法。OVER 关键字后的括号中还经常添加选项用以改变进行聚合运算的窗口范围。如果 OVER 关键字后的括号中的选项为空，则开窗函数会对结果集中的所有行进行聚合运算。PARTITION BY 子句：开窗函数的 OVER 关键字

一．数据库开发1．Oracle数据库，视图与表的区别？ 表是作为oracle数据库存储数据的一种数据结构，视图是从已存在表上抽出逻辑相关的数据集合，其本身和表的区别不大，都是对数据一种存储，只不过我们可以在已有表的基础上抽取一部分我们想要的数据，视图是已经编译好的sql语句。 表有实际的物理记录，视图没有，表只用物理空间而视图不占用物理空间，视图只是逻辑概念的存在，表可以及时对它进行修改，但视图只能有创建的语句来修改，表是内模式，视图是外模式，视图是查看数据表的一种方法，...