Outlier Detection Based on Fuzzy Rough Granules in Mixed Attribute Data论文精读

已于 2022-01-23 22:37:07 修改
阅读量1.2k 收藏 1
点赞数 3
分类专栏： 论文精读 文章标签： 数据挖掘 聚类 机器学习
于 2022-01-23 22:36:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_51128278/article/details/122612580
版权
本文介绍了基于模糊粗糙颗粒（FRG）的离群点检测方法，针对混合属性数据。传统方法侧重于分类或数值属性，而FRG允许直接处理数值数据，无需离散化，保持数据的完整信息。通过定义颗粒离群度（GOD）和离群因子（FRGOF），构建了广义离群点检测模型，展示了在16个真实数据集上的有效性，证明了对数值、分类和混合属性数据的适用性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Outlier Detection Based on Fuzzy Rough Granules in Mixed Attribute Data

邻域系统中基于多粒度相对熵的混合属性离群点检测

Abstract

离群点检测是数据挖掘的重要研究方向之一。然而，目前的研究大多集中在分类或数值属性数据的离群点检测上。关于混合属性数据离群点检测的研究很少。在本文中，我们引入模糊粗糙集（FRS）来处理混合属性数据中的离群点检测问题。由于经典粗糙集的离群点检测模型仅适用于分类属性数据，因此我们使用FRS对离群点检测模型进行了推广，构建了基于模糊粗糙粒的广义离群点检测模型。首先，定义颗粒离群度（GOD），利用模糊逼近精度表征模糊粗糙颗粒的离群度。然后，通过将GOD和相应的权重相结合，构造基于模糊粗糙粒子的离群因子来表征对象的离群程度。此外，还设计了相应的基于模糊粗糙粒子的离群点检测（FRGOD）算法。通过对16个真实数据集的实验，评估了FRGOD算法的有效性。实验结果表明，该算法对异常值的检测更加

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Multigranulation Relative Entropy-Based Mixed Attribute Outlier Detection in Neighborhood Systems论文精
weixin_51128278的博客
01-19 1051
Multigranulation Relative Entropy-Based Mixed Attribute Outlier Detection in Neighborhood Systems 邻域系统中基于多粒度相对熵的混合属性离群点检测Multigranulation Relative Entropy-Based Mixed Attribute Outlier Detection in Neighborhood SystemsAbstractI. INTRODUCTION相关研究本文方法、主要贡献、本
关于《Robust outlier detection based on the changing rate of directed density ratio》的阅读笔记
shoudun5914的博客
09-07 897
关于《Robust outlier detection based on the changing rate of directed density ratio》的阅读笔记
模糊粗糙集及数据降维
StarWork_Xc的博客
03-04 7258
选自《Computational Intelligence and Feature Selection》 经典集合 → 模糊集 → 模糊粗糙集 → 数据降维
Oracle12c版本中未归档隐藏参数
热门推荐
数据库生态圈（RDB & NoSQL & Bigdata）——专注于关系库优化（Oracle&Mysql&PG&SQL Server ）
11-13 1万+
查阅资料时，看到该文档，认为有较大参考价值，记录于此，供同行及自己研究参考使用。
论文研究-An Optimization Model for Outlier Detection in Categorical Data.pdf
08-23
An Optimization Model for Outlier Detection in Categorical Data，何增友，，The task of outlier detection is to find small groups of data objects that are exceptional when compared with rest large ...
Distance-based Outlier Detection in Data Streams.pdf
07-07
距离型异常检测在数据流中的应用和研究是数据分析领域中的一个重要话题。异常检测是指从数据集中识别出不符合预期行为模式的数据点，这些数据点通常对应于噪声或异常现象。在数据流环境中，数据对象以流的形式不断...
拆解实战案例：电商ERP管理系统从需求到原型全流程设计
Lemonliyi的博客
06-05 1222
本文结合一个实战原型案例，完整复盘电商ERP管理系统的产品设计过程，从需求分析到流程图梳理，再到原型图绘制，帮助产品经理理解ERP产品从0到1的设计思路。
day 18进行聚类，进而推断出每个簇的实际含义
weixin_61905403的博客
06-08 468
对聚类的结果根据具体的特征进行解释，进而推断出每个簇的实际含义两种思路：你最开始聚类的时候，就选择了你想最后用来确定簇含义的特征，最开始用全部特征来聚类，把其余特征作为 x，聚类得到的簇类别作为标签构建监督模型，进而根据重要性筛选特征，来确定要根据哪些特征赋予含义。下面使用第二种方法，先计算再分析先分析出和聚类有关的几个重要特征再根据不同的簇对应的特征与簇的大小进行分析，从而最后将结果进行总结。
机器学习用于算法交易（Matlab实现）
机器学习之心的博客，关注并私信文章链接，获取对应文章源码和数据。
06-08 1024
机器学习用于算法交易（Matlab实现）
机器学习 [白板推导]（四）[降维]
weixin_53196770的博客
06-08 882
​  通常模型通过训练集数据进行训练，若其测试集的效果明显低于训练集，这是一种不理想的效果，称为过拟合。   过拟合常采用三种方法应对：  从几何角度，若一组数据的特征维度是2，假设两个特征的值都是有上界的，则其构成的样本空间近似一个正方（长）形，数据在这个样本空间中分布。   现在要对这组数据进行分类任务，模型映射到样本空间中变成了一条分隔线，将两个类别的样本分隔到了线的两边。   为了便于从几何角度直观理解维数灾难，我们假设现在的模型分割线是一个圆，则这个分类模型的示意图如下：   将两个特征归一化，
【机器学习-线性回归-7】中心极限定理在机器学习线性回归中的重要性
weixin_39033358的博客
06-11 585
摘要：中心极限定理(CLT)是线性回归的重要理论基础，它表明大量独立随机变量的均值会趋近正态分布。文章解析了CLT如何支持线性回归的参数估计正态性、误差项合理性和统计量分布，并探讨了实际应用中的样本量要求与诊断方法。通过Python代码展示了即使误差非正态，斜率估计仍呈正态分布的现象。同时指出CLT的局限性及应对方法，强调理解该定理对正确使用线性回归的重要性。
使用Python和Scikit-Learn实现机器学习模型调优
qq_74383080的博客
06-07 682
在机器学习项目中，模型的性能往往取决于多个因素，其中模型的超参数（hyperparameters）起着关键作用。超参数是模型在训练之前需要设置的参数，例如决策树的深度、KNN的邻居数等。合理地选择超参数可以显著提升模型的性能。Scikit-Learn是一个功能强大的机器学习库，它提供了多种工具来帮助我们进行模型调优。本文将通过一个具体的例子，介绍如何使用Scikit-Learn进行模型调优。
机器学习+城市规划第十三期：XGBoost的地理加权改进，利用树模型实现更精准的地理加权回归
weixin_68198036的博客
06-07 1000
在这一小节中，我们使用SHAP值来分析Wind speed特征对模型预测的贡献，并通过散点图进行可视化。通过结合 SHAP 值与地理位置，我们能够深入理解每个特征在不同地区对预测结果的影响，从而为城市规划提供更具解释力的决策依据。
机器学习KNN算法全解析：从原理到实战
qiutesting的博客
06-06 1464
KNN（K-Nearest Neighbors，K最近邻）是​​最直观的机器学习算法之一​​，核心思想就是​一个样本的类别由其最近的K个邻居决定。比如要判断新同学是“学霸”还是“学渣”，只需看他最常一起玩的K个朋友属于哪类。​​算距离​​：计算测试样本与所有训练样本的距离（常用欧氏距离📏）；​​找邻居​​：选取距离最小的K个样本；​​数票数​​：统计K个邻居中各类别的数量；​​做决策​​：将测试样本归为​​票数最多​​的类别（分类）或邻居的​​平均值​​（回归）💡。
《机器学习》（周志华）第一章 绪论
2402_86344613的博客
06-07 877
其所研究的主要内容，是关于在计算机上从数据中产生“模型”(model)的算法，即“学习算法”(learning algorithm)。分类中又可分为二分类与多分类任务，二分类顾名思义，只需分2类，一般分别称为“正类”与“反类”，且一般正类用“1”表示，反类用“0”表示。信息，计算机需要自行寻找特征，将这些数据分为几个簇，然后将陌生的数据分到计算机自己划分的几个簇中的过程。信息，计算机通过学习这些训练数据，将未出现在训练样本中的陌生的数据分到已有的类别中的过程。一批关于某种事物的数据的集合称为一个。
基于 TensorFlow 2 的 WGAN来生成表格数据、数值数据和序列数据。 WGAN生成对抗网络。代码仅供参考
QQ67658008的博客
06-05 619
摘要：本文介绍如何配置Python环境并实现基于TensorFlow 2的WGAN模型用于生成表格/数值/序列数据。环境配置需安装tensorflow、numpy等库。代码包含四个核心部分：1) 数据加载与标准化预处理；2) 构建带梯度惩罚的WGAN模型，包括生成器、判别器网络和Wasserstein损失函数；3) 训练过程实现，采用随机采样和梯度惩罚机制；4) 提供数据生成接口。该模板支持自定义数据维度和类型，用户需替换数据路径并调整网络参数以适应具体任务，注意代码需根据实际数据特征修改输入输出维度。
基于生成对抗网络（GAN）的图像生成与编辑：原理、应用与实践
最新发布
qq_74383080的博客
06-11 666
生成对抗网络（GAN）是一种通过生成器与判别器对抗训练生成高质量图像的深度学习技术。本文详细介绍了GAN的基本原理、训练过程及损失函数，并探讨其在图像生成、风格转换、图像修复等领域的应用。通过PyTorch实现的GAN模型案例展示了人脸图像的生成过程，并以艺术工作室应用为例，说明如何利用GAN生成梵高风格的绘画作品。研究表明，GAN技术为图像生成与编辑提供了强大支持，未来将在计算机视觉和艺术创作等领域持续发挥重要作用。
机器学习期末复习
weixin_66454750的博客
06-07 673
PCA是无监督学习 LDA是有监督学习 降维是根据某种规则对高纬度数据进行维度约减的过程 实际应用中降维和回归 分类 聚类算法 联合使用 算法有：主成分分析PCA（无监督学习）线性判别分析LDA（有监督学习）有监督学习 标签为离散值 利用训练集来判断新数据点的类别的过程 是机器学习和模式识别领域最常见的任务 算法有：支持向量机 决策树 逻辑回归 贝叶斯分类 神经网络。：有监督学习 标签为连续值 估计多个变量之间关系的一个统计过程，回归广泛应用于预测和预报，算法有：线性回归 决策树 支持向量回归。
机器学习框架PyTorch
hixiaoyang的博客
06-06 967
如何使用sklearn對train data做outlier detection
04-01
Sklearn提供了多種outlier detection的方法，以下是一些常用的方法： 1. Isolation Forest： Isolation Forest是一種基於樹的outlier detection方法，它通過將數據隨機分割成子集，然後在每個子集中建立一個二叉搜索樹，來標識outlier。使用方法如下： ``` from sklearn.ensemble import IsolationForest # 創建IsolationForest對象 clf = IsolationForest(random_state=42) # 訓練模型 clf.fit(X_train) # 預測 y_pred = clf.predict(X_test) ``` 其中，X_train是train data的特徵，X_test是test data的特徵，y_pred是預測結果，-1表示outlier，1表示正常。 2. Local Outlier Factor： Local Outlier Factor（LOF）是一種基於密度的outlier detection方法，它通過計算每個數據點的局部密度來標識outlier。使用方法如下： ``` from sklearn.neighbors import LocalOutlierFactor # 創建LocalOutlierFactor對象 clf = LocalOutlierFactor(n_neighbors=20, contamination=0.1) # 訓練模型 y_pred = clf.fit_predict(X_train) # 預測 y_pred = clf.predict(X_test) ``` 其中，n_neighbors是指定每個數據點的k值，contamination是指定outlier的比例。 3. One-class SVM： One-class SVM是一種基於支持向量機（SVM）的outlier detection方法，它通過將數據映射到高維空間中，然後在這個空間中找到一個超平面，來標識outlier。使用方法如下： ``` from sklearn.svm import OneClassSVM # 創建OneClassSVM對象 clf = OneClassSVM(nu=0.1) # 訓練模型 clf.fit(X_train) # 預測 y_pred = clf.predict(X_test) ``` 其中，nu是指定outlier的比例。 4. Elliptic Envelope： Elliptic Envelope是一種基於高斯分佈的outlier detection方法，它通過擬合一個高斯分佈模型，然後找到一個橢圓形，來標識outlier。使用方法如下： ``` from sklearn.covariance import EllipticEnvelope # 創建EllipticEnvelope對象 clf = EllipticEnvelope(contamination=0.1) # 訓練模型 clf.fit(X_train) # 預測 y_pred = clf.predict(X_test) ``` 其中，contamination是指定outlier的比例。 以上是一些常用的outlier detection方法，使用方法大致相同，可以根據實際情況選擇合適的方法。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值