- 博客(15)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 数仓拉链表
拉链表一丶什么是拉链表拉链表是一种数据模型，主要是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。拉链表可以避免按每一天存储所有记录造成的海量存储问题，同时也是处理缓慢变化数据的一种常见方式。百度百科的解释：拉链表是维护历史状态，以及最新状态数据的一种表，拉链表根据拉链粒度的不同，实际上相当于快照，只不过做了优化，去除了一部分不变的记录，通过拉链表可以很方便的还原出拉链时点的客户记录。二丶拉链表的产生背景在数据仓库的
2021-12-10 13:52:21
2272
原创 2021-09-07
<?xml version="1.0" encoding="UTF-8"?>4.0.0<groupId>com.atguigu</groupId><artifactId>FlinkTutorial</artifactId><version>1.0-SNAPSHOT</version><dependencies> <dependency> <groupId>
2021-09-07 15:26:32
179
原创 Spark SQL的自定义udaf函数
自定义udaf函数，首先我们要继承UserDefinedAggregateFunction 来实现自定义聚合函数。首先我们先来看下看下改类的一些基本信息。java .add("LongType",LongType)那么该udaf就只会识别，这种类型的输入的数据。 def inputSchema: StructType 该StructType代表aggregation buffer的类型参数。例如，一个udaf的buffer有 两个值，类型分别是DoubleType和LongT
2020-07-03 01:08:42
445
6
原创 启动Hadoop时，DataNode启动后一会儿自动关闭的原因和解决办法
查看datanode节点的$HADOOP_HOME/logs/hadoop-xxxx-datanode-xxxx.hadoop.log，发现java.io.IOException: Incompatible clusterIDs in /home/hadoop/cloud/hadoop-2.7.3/tmp/dfs/data: namenode clusterID = CID-faa1bd...
2019-08-31 15:07:42
3300
原创 HDFS- windows向远程服务器写文件出现org.apache.hadoop.security.AccessControlException异常
向HDFS目录中写入文件是有权限控制的，从异常中可以看到，写入需要时root用户，而因为使用windows向远程发起写入请求，用户为xxx，和root用户不符合，所以出现该异常。解决办法:在调用FileSystem.get(conf)方法之前，调用 System.setProperty("HADOOP_USER_NAME","root");...
2019-08-20 00:09:12
327
原创 IDEA中Tomcat部署时war和war exploded区别
原理说明war模式：将WEB工程以包的形式上传到服务器 ；war exploded模式：将WEB工程以当前文件夹的位置关系上传到服务器；含义解释war模式这种可以称之为是发布模式，看名字也知道，这是先打成war包，再发布； war exploded模式是直接把文件夹、jsp页面 、classes等等移到Tomcat 部署文件夹里面，进行加载部署。因此这种方式支持热部署，一般在开...
2019-08-12 17:00:38
379
原创 如何干净的卸载Mysql
停止MySQL1添加删除程序中卸载MySQL2到安装目录删除MySQL3丶按下图步骤显示隐藏的文件和文件夹, 找到C:\Documents and Settings\All Users\Application Data\MySQLC:\ProgramData\MySQL把这两个删掉4丶windows+R运行“regedit”文件，打开注册表5丶...
2019-08-12 00:41:02
182
原创 @ResponseBody 和 @RequestBody 注解的区别
@Responsebody 注解表示该方法的返回的结果直接写入 HTTP 响应正文（ResponseBody）中，一般在异步获取数据时使用；在使用 @RequestMapping 后，返回值通常解析为跳转路径，加上 @Responsebody 后返回结果不会被解析为跳转路径，而是直接写入HTTP 响应正文中。例如，异步获取 json 数据，加上 @Responsebody 注解后，就会直接...
2019-08-11 22:46:23
152
原创 maven依赖中的<scope>provided</scope>使用
今天开发web的时候，需要用到servlet-api，于是在pom.xml中添加依赖<dependency> <groupId>javax.servlet</groupId> <artifactId>servlet-api</artifactId> <ve...
2019-08-10 14:49:15
324
转载 findBugs中的错误信息代表的含义
常见的错误信息Bad practice 代码中的一些坏习惯Class names should start with an upper case letter 主要包括类名的命名，以大写字母开头Method names should start with a lower case letter 方法名以小写字母开头Field names should start with a lo...
2019-08-04 16:16:25
703
原创 Respone响应和request接收表单中文乱码问题
1.1.1Response向页面响应中文1.1.1.1使用字节流响应中文l编写代码****使用上述代码向页面输出中文是否会有乱码？l不一定n其实这个乱码的产生与中文转成字节数组及浏览器打开方式（打开的时候采用的默认字符集）有关l解决：n将中文转成字节数组的时候和浏览器默认打开的时候采用的字符集一致即可。1.1.1.2使用字符流...
2019-07-15 22:59:51
150
原创 js常用动作标签
一丶JSP的动作标签:常用的动作标签<jsp:forward/> ：请求转发。 <jsp:include/>：包含（动态包含）。 <jsp:param/>：传递参数。...
2019-07-15 00:34:30
262
原创 JSP的四个作用范围
JSP的四个作用范围概述PageScope ：页面范围。 页面范围指的是在当前的页面内有效，出了这个页面，用pageContext保存的数据就无效了。 RequestScope ：请求范围。 从客户端向服务器发送一次请求，服务器对这次请求作出了响应之后，用request保存的数据就无效了。 SessionScope ：会话范围。 每个浏览器向服务器发送请求（多次请求...
2019-07-15 00:26:48
512
原创 jsp&EL&JSTL
一丶JSPJSP的指令-page指令 Page指令 Page指令简介 写法： <%@ page 属性名=属性值%> Page指令用来定义JSP文件的全局属性。 这些属性可以单独使用，也可以几个或多个同时使用。 在JSP页面中，只有import属性可以出现多次，其他属性都只能出现一次。 Page指令属性 l...
2019-07-15 00:23:12
67
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人