- 博客(56)
- 收藏
- 关注
RSS订阅原创 ANOMALY TRANSFORMER: TIME SERIES ANOMALY DETECTION WITH ASSOCIATION DISCREPANCY
本文试图从一个全新的视角去分析时序异常检测。不同于之前的逐点建模的方式，我们想通过建模每个时刻与其他点的关系来作为每个时刻的特征，这样更具信息量，也就对应更方便进行检测。
2024-03-19 21:55:31
1342
1
原创 MEMTO: Memory-guided Transformer for Multivariate Time Series Anomaly Detection
提出了 MEMTO，一种使用基于重构的方法的内存引导变压器。它被设计成包含一个新的存储模块，可以学习每个存储项应该在何种程度上更新以响应输入数据。为了稳定训练过程，我们采用了两阶段的训练模式，其中包括使用 K平均算法来初始化记忆项目。此外，我们还引入了一个基于二维偏差的检测准则，该准则同时考虑了输入空间和潜在空间，计算异常分数。
2024-03-10 15:59:48
1513
原创 conda pack环境迁移并下载安装离线包
训练服务器为了安全起见，限制不能联网，无法直接创建虚拟环境及安装模型的依赖库，所以需要把另一台测试服务器已经部署好的虚拟环境迁移到训练服务器上，并在不能联网的情况下安装一些离线包。过程记录如下记录。
2024-03-10 15:45:41
1911
3
原创 alias取别名后，另一个shell中和shell脚本中不生效的问题以及crontab执行docker失败问题
alias取别名后，另一个shell中和shell脚本中不生效的问题以及crontab执行docker失败问题
2023-07-24 17:07:15
1830
原创 DVA环境配置时出错： SQLite does not support JSONFields以及vue和vue-template-compiler版本不匹配的错误
SQLite does not support JSONFields以及vue和vue-template-compiler版本不匹配
2022-11-15 10:55:58
1098
原创 vue3+ElementPlus使用 lang=“ts“报Unexpected token错误
vue3+ElementPlus使用 lang=“ts“报Unexpected token错误
2022-09-24 11:12:13
8886
5
原创 python程序在pycharm正常运行，但在命令行就报错：ModuleNotFoundError: No module named ‘xxx‘
python运行报错：ModuleNotFoundError: No module named ‘xxx‘
2022-06-29 09:33:00
4763
3
原创 二叉树之求解树宽度类
以此树为例：求解二叉树宽度主要采用层次遍历的思想，每遍历一层，记录一层的宽度，最后取宽度最大值int getMaxWidth(BiTree* T) { if (T == NULL) { return 0; } //层次遍历队列 BiTree* Q[100]; //记录宽度 int width = 1, temp = 0; //队列头尾指针 int front = -1, rear = -1; //记录每一层结束的标记 int last = 0; BiTree* p;
2022-04-17 20:55:00
979
原创 二叉树之求解树高度类算法归纳
二叉树求解树高度类一、求二叉树的最大深度二、求二叉树的最小深度三、结果展示以此树为例：一、求二叉树的最大深度int getMaxDepth(BiTree* T) { if (T == NULL) { return 0; } //递归求左子树的高度 int ldep = getMaxDepth(T->lchild) ; //递归求右子树的高度 int rdep = getMaxDepth(T->rchild) ; //返回最大深度 return max(ldep, r
2022-04-15 17:43:35
1566
原创 二叉树之求解节点个数类算法归纳
二叉树求解节点个数类一、求二叉树中节点总数二、求二叉树中度为0的节点个数三、求二叉树中度为1的节点个数四、求二叉树中度为2的节点个数五、求二叉树第k层节点个数六、结果展示以此树为例：一、求二叉树中节点总数int getNodeNumRec(BiTree* T) { if (T == NULL) { return 0; } else { return getNodeNumRec(T->lchild) + getNodeNumRec(T->rchild) + 1 ; }
2022-04-14 19:38:56
5469
原创 flink消费kafka时topic partitions 和并行度间的分配源码详解
引言当我们消费kafka的一个topic时，我们知道kafka partition 是和我们设置的并行度是一一对应的；也就是说，假如我们的topic有12个分区，那我们就设置12个并行度，这样每个并行度都能接收到数据且数据均匀；那如果我们设置了15个并行度，那么就会有3个并行度是收不到数据的；这可以在web ui上，点开source operate 查看SubTasks的Bytes Sent，就可以发现，有三个SubTasks的Bytes Sent始终为0。当我们消费kafka多个topic的时候，
2020-12-23 17:27:16
3894
1
原创 记一次集群节点因oom挂掉的问题解决
前言最近我们为了节省开支，大数据集群下了几个节点，结果没运行两天，就出现了掉节点的情况；问题排查经排查，发现节点并没有问题，可以正常登陆，排除节点、硬件故障；去对应节点查看datanode.out日志，发现报错信息得知：节点挂掉原因是因为oom；解决方案定位到hadoop-env.sh文件中的hadoop_datanode_heapsize参数，现在我们集群的堆内存参数是3G，但是我们因为之前下了几个节点，导致我们每个节点的块数量有将近700万块；正常情况下，100万块对应1G左右的内存，我
2020-12-11 12:01:05
608
原创 Flink入门之对checkpoint和Flink内部精确一次性消费的理解
Flink--Checkpoint机制原理前言一、如何理解flink中state(状态)Ⅰ、state理解Ⅱ、案例理解stateⅢ、为什么需要state管理Ⅳ、理想中的state管理二、如何理解flink中checkpoint(检查点)Ⅰ、执行流程Ⅱ、ck保存了什么Ⅲ、单分区单并行度执行流程详解Ⅳ、多分区多并行度执行流程详解三、如何理解Flink内部精确一次消费Ⅰ、barrier对齐Ⅱ、barrier不对齐Ⅲ、barrier对齐与不对齐的影响参考博客前言最近有个项目涉及到要用RocksDB做增量Chec
2020-12-10 17:44:25
2423
原创 flink任务挂掉后从ck自动重启
问题描述我们的flink程序往往是7*24小时在运行的，当任务挂掉后，我们虽然可以通过监控报警等，第一时间知道程序挂掉，但是如果我们电脑不在旁边或者我们在休假，这种情况，往往不能够及时的重启任务。需求想实现一个脚本，能够在规定的时间范围内监测到任务已经停止，然后自动运行重启命令，重启任务；如果任务是存有中间状态的，那么还需要在自动重启时获取到任务的checkpoint路径实现思路关于监测任务是否挂掉我们可以利用yarn的命令配合Linux的命令行来找到你提交的命令，例如：yarn app
2020-11-13 17:49:09
3173
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人