- 博客(52)
- 收藏
- 关注
RSS订阅原创 2014.ICDE.Discriminative features for identifying and interpreting outliers
pdfWe propose an algorithm that uncovers outliers in subspaces of reduced dimensionality in which they are well discriminated from regular objects while at the same time retaining the natural local structure of the original data to ensure the quality of ou
2024-10-05 21:38:37
407
原创 2013.ECML PKDD.Local Outlier Detection with Interpretation
pdfIn LODI, we develop an approach that explores the quadratic entropy to adaptively select a set of neighboring instances, and a learning method to seek an optimal subspace in which an outlier is maximally separated from its neighbors.We show that this l
2024-10-05 21:06:01
749
原创 2019.TKDD.Sequential feature explanations for anomaly detection
pdfAn SFE of an anomaly is a sequence of features, which are presented to the analyst one at a time (in order) until the information contained in the highlighted features is enough for the analyst to make a confident judgement about the anomaly.1、 introduc
2024-10-05 17:18:02
844
原创 2018.WACV.Anomaly explanation using metadata
pdfAnomaly detection is first performed using Principal Component Analysis (PCA). After the identification of anomalies, tags are generated for each picture in the data set; every tag is a word describing the picture, and these tags constitute its metadata
2024-10-05 00:09:04
368
原创 2020.ICDM.LP-Explain: Local Pictorial Explanation for Outliers
pdftries to identify the set of best Local Pictorial explanations (defined as the scatter plots in the 2-D space of the feature pairs) that can Explain the behavior for cluster of outliers.Different from lookout in：lookout chose top subspaces represent a
2024-10-04 23:50:23
691
原创 2013.ICDM.Explaining outliers by subspace separability
explain a given anomaly by identifying the subspace of features that best separates that outlier from the rest of the dataset.The outlier detection problem is converted into a two-class classification problem. Then, to find the most suitable subspace, the
2024-10-04 22:54:06
373
原创 1999.VLDB.Finding intensional knowledge of distance-based outliers
outliers。
2024-10-04 18:31:08
756
原创 2022.DKE.Anomaly explanation: A review
pdfto explain that anomaly to the user, we can just say that attribute f1 contributed to the abnormality of the square data point.what is the difference between anomalies and regular data points.x1 and x2 are anomalies for the cluster of round instances a
2024-10-04 17:10:41
719
1
原创 2019.ECML PKDD.Beyond outlier detection: lookout for pictorial explanation
焦点图是二维的，每个维度对应的一个特征，也就是每个焦点图对应一组特征对。对于d维特征的数据，要从ldd−12l2dd−1个不同组合中，选出b个最好的特征对。
2024-09-05 14:48:51
892
原创 anomaly detection
2012.ICDM.Outlier Detection in Arbitrarily Oriented Subspaces[pdf]2013.CIKM.Flexible and adaptive subspace search for outlier analysis [pdf]2013.CIKM.Flexible and adaptive subspace search for outlier analysis [pdf]2019.ECML PKDD.Beyond outlier detection: l
2024-09-02 16:09:34
191
1
原创 2013.CIKM.Flexible and adaptive subspace search for outlier analysis
通俗的说，一个10维的异常A，如果是d1，d2维度导致的异常，那么在S维，S包含{d1,d2}上能检测出异常，否则不能，且检测的异常分数类似于下图。关键思想是基于这样的观察，即传统的异常值检测方法（应用于子空间）确实捕获了异常值的小偏差，即使包含了一些不相关的属性。利用随机子空间中异常值得分的差异来对相关子空间组合进行细化。
2024-09-02 16:07:26
1036
原创 非平衡数据的处理
算法层面代价敏感学习核心思想：少数类样本更高代价代表做法：代价矩阵集成学习核心思想：集成多个弱分类器代表算法：BoostingBaggingAdaBoost：迭代过程中更新样本权重，增加错分样本权重EasyEnsemble：多数类样本划分成子集，每个子集分别训练BalanceCascade：建立在EasyEnsemble基础上，迭代过程中删除被分类正确的多数类样本PCBoost单类学习核心思想：只对一个类进行学习代表算法：SVDD数据层面过采样核心思想：
2021-06-23 17:10:48
409
原创 因果推断简介
因果推断简介Yule-Simpson ParadoxRubin Causal Model（RCM）和随机化实验Yule-Simpson Paradox???? 和 ???? 边缘上正相关，但是给定另外一个变量 ???? 后，在 ???? 的每一个水平上，???? 和 ???? 可能负相关。由此可知，相关与因果不同。吸烟是否导致肺癌：吸烟与肺癌正相关，但不能断言“吸烟导致肺癌”。这是因为可能存在一些未观测的因素，同时影响个体是否吸烟和是否得癌症。比如，某些基因可能使得人更容易吸烟， 同时容易得肺癌;存
2021-05-13 10:43:55
490
原创 弱监督学习——A brief introduction to weakly supervised learning
A brief introduction to weakly supervised learning分类应用常用方法incomplete supervisionactive learningsemi-supervised learning二者的区别inexact supervisionmulti-instance learninginaccurate supervisionlearning with label noise参考分类incomplete supervision：只有一部分子集给出标签；
2021-04-23 17:30:35
1010
原创 视频异常检测——Appearance-Motion Memory Consistency Network for Video Anomaly Detection
Appearance-Motion Memory Consistency Network for Video Anomaly Detection 文章资源问题描述思想做法算法结果存在的问题思考文章2021.AAAI.Appearance-Motion Memory Consistency Network for Video Anomaly Detection资源问题描述现有方法只单独使用外观或运动信息，没有做融合思想融合外观和运动信息，捕捉他们的一致性做法网络输入是视频序列和光溜信息，然
2021-04-19 18:12:01
1055
原创 视频异常检测——Anomaly Detection in Video via Self-Supervised and Multi-Task Learning
Anomaly Detection in Video via Self-Supervised and Multi-Task Learning文章资源问题描述思想做法网络结果存在的问题思考文章2021.CVPR.Anomaly Detection in Video via Self-Supervised and Multi-Task Learning资源问题描述以往的方法都是单独考虑单个任务，在某些场景下不好：如，车突然停了，但是重构预测都很好，就是因为没有考虑上下文。思想同时完成四项任务：
2021-04-19 16:02:36
2093
1
原创 视频异常检测——Learning Memory-guided Normality for Anomaly Detection
Learning Memory-guided Normality for Anomaly Detection文章资源问题描述思想贡献做法存在的问题思考文章2020.CVPR.Learning Memory-guided Normality for Anomaly Detection.pdf资源githubhomepage问题描述基于reconstruction的问题：1、 do not consider the diversity of normal patterns explicitly,
2020-11-10 15:38:38
1090
原创 autoencoder入门
autoencoder应用autoencoder结构约束数学表达式网络优缺点主要变体sparse autoencoder思想约束数学表达式网络优缺点Denoising AutoEncoder思想网络Variational AutoEncoder思想约束网络优缺点U-net网络其他autoencoderContrative AutoEncoder（CAE）Stacked AutoEncoder（SAE）其他应用于有监督参考资料应用Dimensionality ReductionInformation
2020-09-03 22:09:20
2015
原创 视频异常检测——Robust Anomaly Detection in Videos Using Multilevel Representations
文章Robust Anomaly Detection in Videos Using Multilevel Representations,AAAI,2019资源githubvideo问题描述底层次的特征存在问题思想用高层次的特征和低层次的特征结合，提高鲁棒性，解决低层次特征的问题贡献提出了MLAD（multi-level anomaly detection）利用DA...
2020-03-28 18:18:48
1399
3
原创 非平衡学习资料
入门博客：learning imbalanced classes介绍的非常详细，适合零基础同学阅读代码：imbalanced-algorithms提供了以下算法的实现：Undersampling：Random Majority Undersampling with/without ReplacementOversampling：SMOTE - Synthetic Min...
2020-03-26 15:08:34
330
原创 行人异常行为检测
行人异常行为检测什么是行人异常检测异常行为意义分类按行为定义的方法基于定义规则的方法基于概率的统计学方法学习正常模型学习所有数据基于机器学习的方式无监督有监督半监督基于选择的特征局部运动特征轨迹数据集参考待调研什么是行人异常检测异常行为在某一场景中不寻常的位置或不寻常的时刻发生的动作在某一场景中正常位置、正常时刻发生的不寻常动作意义分析视频监控，提高安保人员效率分类按行为定义的方法...
2020-03-09 02:01:22
13755
原创 异常检测——应用调研
金融金融犯罪侦破：分析异常行为模式电信盗用行为分析：分析异常模式，如转换、路由阻塞、占线、周期性呼叫证券风险分析：分析证券经营过程中的不正常行为领域标题发表地年份链接金融A survey of anomaly detection techniques in financial domainFuture Gener Comput Syst2016PDF...
2020-03-09 01:27:37
530
原创 异常检测——集成学习
Ensembles for Unsupervised Outlier Detection: Challenges and Research Questions首先，知道一个模型好不好（精确不）外部指标aucroctop-k正确率但是这些都是有监督的????内部指标目前暂无其次，提高不同模型的多样性多样性的意义图中红色的一个点代表一个模型的结果，绿圈代表groundtruth，蓝色代表...
2020-03-02 02:58:10
1003
原创 微小物体+异常检测——初步调研
什么是微小物体当目标距离成像系统较远时，目标的像只占场景图像中单个或几个像素，这类微小尺寸目标的形态特征就近似与一个点目标。微小物体检测的难点1、小目标的尺度过小，基于手工特征提取的算法大多利用目标周围的邻域信息表达目标2、小目标本身的特征不够明显，容易受图像噪声的干扰而最终导致无检测和漏检测。现有方法1、使用高分辨率摄像头较少成像过程中的干扰和噪声2、提取识别算法方面，有两大假设：...
2020-02-23 00:18:00
2383
原创 parallels desktop 中ubuntu忘记密码
解决方法：ubuntu 16.04忘记登录密码的解决办法注意事项：1、一定要重启的一开始就按shift2、选择有recovery mode的选项，然后按e进入（千万不能使用enter键）3、结束后shutdown不了虚拟机的话，可以右上角的快捷键（ctrl+alt+delete）...
2020-02-17 17:13:32
3743
2
原创 数据增强——时间序列
数据增强——时间序列基于变换的方法WS（窗口切片）WW（窗口弯曲）基于平均的方法AA（全平均法）AS（平均选择法）ASD（距离平均选择法）基于变换的方法WS（窗口切片）对原始时间序列按一定长度切片，并在切片层次上进行训练及预测。WW（窗口弯曲）在原始时间序列上随机选择一定长度切片，然后对切片进行加速或减速（沿时间轴伸缩），最后使用WS以保证所有得到的时间序列都有相同的长度。基于平均的方...
2019-11-01 17:56:53
11176
4
原创 异常检测——研究方向
异常检测——研究方向时间序列中的异常检测异常检测中的特征选择高维&子空间异常检测利用集成方法进行异常检测在变化的数据中进行异常检测异常检测中的表示学习异常检测的可解释性利用神经网络进行异常检测主动异常检测交互异常检测其他领域的异常检测文字异常检测异常检测的应用安全金融社交媒体机器失败时间序列中的异常检测异常检测中的特征选择高维&子空间异常检测利用集成方法进行异常检测在变化...
2019-10-28 10:19:50
1027
原创 异常检测——孤立森林
异常检测——孤立森林基础思想算法训练阶段评估阶段参考基础1）异常数据只占少量；（2）异常数据特征值和正常数据差别很大。思想基于随机森林思想，但是更为简单假设数据集有N条数据，构建一颗iTree时，从N条数据中均匀抽样(一般是无放回抽样)出ψ个样本出来，作为这颗树的训练样本。在样本中，随机选一个特征，并在这个特征的所有值范围内(最小值与最大值之间)随机选一个值，对样本进行二叉划分，将样本中...
2019-10-27 22:40:42
1028
原创 异常检测——ABOD（angle-based outlier detection）
论文：Angle-Based Outlier Detection in High-dimensional Data，kdd2008问题高维度情况下，距离同质化。基础：1、在高维空间中角度比距离更稳定[1]2、如果其他大部分的点都在相似的方向上，那么点O是个离群点3、如果许多其他的点在不同的方向上，那么点O不是离群点。方法对于一个给定的点P，它与任意其他点x，y之间的角度构成一个...
2019-10-13 22:14:04
18075
原创 异常检测3——常见方法分类
异常检测3——常见方法分类基于统计学极值分析对数据分布进行假设基于线性分析基于时空空间关系造成的异常时间序列上的异常基于相似性分析建立在距离度量上的异常检测建立在密度分析上的异常检测基于聚类的异常检测基于偏差高维方法其他集成异常检测监督异常检测，半监督异常检测，主动学习图中的异常检测、网络中的异常检测基于统计学极值分析往往只对单独纬度进行研究，使用上有很大的局限性【1】对数据分布进行假设...
2019-10-12 15:18:59
2357
原创 异常检测——拓扑异常检测（TAD）
分类是一种基于密度的outlier detection思想它不使用局部密度，而是利用近邻将数据构造成图。与其他KNN方法不同的是，它不用设定K作为参数，而是设定一个maximal inter-observation distance（被称为图resolution）的参数。在算法中，如果两个点之间的距离小与图resolution，就在他们之间加一个边。当整张图构建完成以后，通过设定一个阈值P...
2019-10-11 18:04:43
1512
原创 异常检测资料
异常点检测算法综述异常点检测算法（一）异常点检测算法（一）异常值检测算法（二）异常点检测算法（三）awesome-anomaly-detectionanomaly-detection-resources代码示例ad_examples...
2019-10-10 17:00:27
224
原创 李宏毅——transformer
李宏毅——transformer导读self-attentionmulti-head self-attention顺序问题seq2seq with attentiontransformer网络架构attention visualization例子导读什么是transformer：对于序列，常用的是RNNRNN的问题，不容易并行处理。所以有人提出了，用CNN来替代RNN。图中每一个三角...
2019-10-09 22:12:29
1773
原创 李宏毅——Flow-based Generative Model
李宏毅——Flow-based Generative Model导语已经介绍的生成模型数学背景jacobian MatrixDeterminantchange of Variable Theoremflow-based generative model导语已经介绍的生成模型之前的生成模型的问题component-by-component问题：什么是最好的顺序；生成的慢VAE问题：优化的...
2019-10-09 20:16:24
4344
原创 李宏毅——GAN
李宏毅——GANGAN的类型标准GAN条件GANunsupervised conditional ganGAN的类型标准GAN基本的GAN：以二次元任务为例，输入vector，输出高纬度的vector在训练的过程中，不仅有generator，还有discriminator，判断生成的东西是不是真的。算法：第一步，固定G，训练D。第二步：固定D，训练G。但是GAN是很难训...
2019-10-09 16:37:16
320
原创 李宏毅——元学习meta learning1
李宏毅——元学习meta learning1导语meta-learningmeta-learning的步骤什么叫一组learning algorithm如何评价一个F的好坏meta learning vs machine learning怎么找最好的learning algorithmbenchmarkomniglot如何使用当前的方法MAML算法例子toy examleomniglot&...
2019-10-08 23:52:40
2433
1
原创 异常检测1
异常检测1介绍anamoly定义：应用示例：两种方式监督非监督Motivations of comparative studiesanomalies的定义基于距离或密度的定义：基于独立性的定义：Zero++:介绍anamoly定义：“Something that deviates from what is standard,normal, or expected” Oxford Dicti...
2019-09-30 17:42:39
562
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人