qq_42844410的博客

转载 事实表（基础表）、维表、大宽表概念

以下几个概念取自SQL Server联机丛书。星型架构一种关系数据库结构，该结构中在位于架构中心的单个事实数据表中维护数据，其它维度数据存储在维度表中。每个维度表与事实数据表直接相关，且通常通过一个键列联接到事实数据表。星型架构用在数据仓库中。事实数据表数据仓库架构中的中央表，它包含联系事实与维度表的数字度量值和键。事实数据表包含描述业务（如银行事务或产品销售）内特定事件的数据。维度表数据仓库中的表，其条目描述事实数据表中的数据。维度表包含创建维度所基于的数据。再举个实际的例子。银行对存款记账

原创 永久表、临时表、虚拟表（视图）概念

永久表就是建立之后始终存在的表，用来长期保存数据。临时表有两种，一种是和永久表一样，建立后始终存在，但只保存临时数据，数据使用后就删除或不再使用，另一种是只在使用时临时创建，使用完后就删除该表。虚拟表就是是视图，本质上就是一条检索SQL文，数据可能来自多张表，可以有过滤条件。其中永久表和临时表是存储在磁盘的，所以从中拿数据相对从内存拿数据要慢很多，而视图（虚拟表）是放在内存中的。...

原创 Xshell和Xftp安装失败，提示“产品运行所需的信息检索失败。请重新安装Xshell”

解决方案，找到安装路径中的！绿化.bat，双击运行，重新开启Xshell/Xftp就行了

转载 HDFS读写流程（史上最精炼详细）

概述开始之前先看看其基本属性，HDFS（Hadoop Distributed File System）是GFS的开源实现。特点如下：能够运行在廉价机器上，硬件出错常态，需要具备高容错性流式数据访问，而不是随机读写面向大规模数据集，能够进行批处理、能够横向扩展简单一致性模型，假定文件是一次写入、多次读取缺点：不支持低延迟数据访问不适合大量小文件存储（因为每条元数据占用空间是一定的）不支持并发写入，一个文件只能有一个写入者不支持文件随机修改，仅支持追加写入HDFS中的block、pack

原创 Linux中find与grep区别

grep可以根据文件名模糊查找某个文件eg:ls -l | grep 文件名的某部分find可以查找出相应目录下的所有文件find /usr/scr

原创 DBeaver连接MySQL报Public Key Retrieval is not allowed错误

将这个改成True就行了

原创 Idea常用快捷键总结

1、idea自动生成构造方法等快捷键（alt+insert）2、idea自动生成Override Methods快捷键（ctrl+o）3、格式化代码（ctrl+alt+l）4、全局搜索替换（ctrl+shift+r）5、万能搜索（shift+shift）6、主要对类的搜索（可以不用快捷键）7、Ctrl+Alt+T，可以把代码包在一个块内，例如：try/catch...

原创 正则表达式中(.+)与(.+?)的区别

原创 Big Data Tools中Zeppelin connection新建文件夹

一定要注意加上 斜杠 /斜杠前为文件夹名字，斜杠/后为文件名字

原创 更改Java语言level的几个位置

1、settings中2、Project Structure

原创 如何解决idea中zeppelin不提示

第一步:在maven的pom.xml中手动添加依赖 org.scala-lang scala-library 2.11.12 org.apache.spark spark-core_2.11 2.4.5 org.apache.spark spa

原创 如何在Zeppelin中使用hive

如何在Zeppelin中使用hive1、创建一个新的note2、interpreter binding3、interpreter4、create56配置7依赖