【PaperReading】An improved incremental algorithm for mining weighted class-association rules

改进的加权类关联规则增量挖掘算法
已于 2023-03-07 16:55:24 修改
阅读量487 收藏
点赞数
分类专栏： PaperReading 文章标签： 关联规则 加权关联规则 数据挖掘 频繁项 增量算法
于 2019-01-24 18:09:27 首次发布
本文提出了一种新的增量算法，用于高效挖掘加权类关联规则（WCAR）。该算法利用哈希结构存储加权频繁项，并通过对象标识符差异计算支持度，以解决现有算法执行时间长和内存消耗高的问题。通过使用pre-large概念减少数据库重新扫描，适配动态实时数据库。实验结果显示，该算法在UCI数据集上的表现优于现有算法。

An improved incremental algorithm for mining weighted class-association rules

挖掘加权类关联规则的一种改进增量算法

B. Subbulakshmi Related information

1Department of Computer Science and Engineering, Thiagarajar College of Engineering, Madurai, India

, C. Deisy 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
北斗导航 | 基于GPS/BDS多星座加权因子图优化的行人智能手机导航
尘世冰封的专栏
09-13 1217
基于智能手机的全球导航卫星系统（GNSS）的便携性研究较为广泛。然而，复杂的城市环境，如城市峡谷和隧道，很容易干扰GNSS信号的质量。目前使用GNSS信号的基于智能手机的定位技术仍然面临着巨大的挑战。自北斗导航系统（BDS）的最后一颗卫星于2020年6月23日成功发射以来，可以使用低成本的Android设备实现基于BDS信号的定位。本研究主要研究基于GPS/BDS多星座系统的户外行人导航。为了提高定位精度，我们提出了加权因子图优化定位模型（W-FGO）。
计算机视觉、机器学习相关领域论文和源代码集合
松子茶的专栏
01-18 3214
偶尔在网上看到此篇文章，收集CV、ML相关领域论文和源代码集合不错，转载过来共勉。 特征提取Feature Extraction ·         SIFT [1] [Demo program][SIFT Library] [VLFeat] ·         PCA-SIFT [2] [Project] ·         Affine-SIFT [3] [Pr
An incremental_search algorithm
valeeraswift的博客
08-03 273
"""An incremental search algorithm""" import numpy as np def incremental_search(f,a,b,dx): """ f:the function to sovle a:the left boundary x-axis value b:the right boundary x-axis value dx:the invreamental value in searching return:
incremental-reading:Anki附加组件提供增量阅读功能
05-09
2021年项目状态：积极的开发工作将于2月27日（星期六）恢复。 Anki的增量阅读 注意：附加组件的版本4仅适用于Anki 2.1+。 早期版本中将缺少某些功能。 介绍 这是对的重写，该旨在提供支持Anki中增量阅读的功能。 在空格重复程序中使用长格式内容的想法似乎起源于SuperMemo，SuperMemo提供了对该技术的精心实现（有关更多信息，请参见其）。 Anki的此附加组件是比较简单的工具，它提供了最少的一组工具来迭代长文本并从现有文本中创建新的抽认卡。 有关这些功能的概述，请参见下文。 版本4： ，， 版本3： 版本2： ， ， 主要特点 从Web提要（RSS / Atom），网页或Pocket导入内容（仅v4 ） 通过按x将所选文本提取到新卡中 通过按h突出显示选定的文本 按下z即可删除所选文字 通过按u撤消对文本的更改 阅读时套用RTF格式 创建自定义快捷方
CG-Introduction
Joselynzhao
03-13 700
Introduction 文章目录Introduction课程介绍Look up the nearest public phoneShort ConnectionOverlaying maps计算结合的各个应用领域1.1 an example:Convex HullsConcept of Convex凸包的计算Algorithm SLOWCONVEXHULL(P)Degenerate case: ...
算法基础二：渐增型算法---插入排序
weixin_45807596的博客
09-16 95
算法基础二：渐增型算法---插入排序 一、渐增型算法是什么 ​ 渐增型算法(incremental algorithms)指的是算法使得标识问题的解从较小的部分渐渐扩张，最终成长为完整解。渐增型算法有一个共同的特征：构成算法的主体是一个循环结构，它逐步将部分解扩张成一个完整解。该循环将遵循一个始终不变的原则：每次重复之初，总维持着问题的一个部分解。我们将此特征称为算法的循环不变量(loop in...
SVM中的训练算法：序列最小最优化算法SMO的读书笔记
wolf963的博客
11-27 7110
最近重看李航的统计学习方法，看SVM这章，细细的对了一下其中将SMO的这一张，记得去年这会儿看这本书的SMO这章还有点懵懵懂懂，并在书上写了自己一些疑问的笔记，今年重新看发现之前的疑问不再是疑问了，于是做个笔记总结一下，总结一下。 首先线性可分支持向量机的构建条件是需要线性可分的。与感知机不同的是，SVM还加了一个约束：最大间隔。因此与感知机只考虑误分类点的损失函数不同，SVM是唯一存在的。而感
计算机视觉论文-2021-09-15
中科院AI算法工程师的博客
09-15 1427
本专栏是计算机视觉方向论文收集积累，时间：2021年9月15日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:MindCraft: Theory of Mind Modeling for Situated Dialogue in Collaborative Tasks AUTHORS: Cristian-Paul Bara ; Sky CH...
24、Dijkstra‘s Algorithm: Finding the Shortest Path in Weighted Graphs
u5v6w7的博客
05-29 115
本博客深入解析了Dijkstra算法的原理、实现步骤及其在加权图中寻找最短路径的应用。从基础概念到详细执行过程，再到C语言代码实现，内容涵盖算法步骤、可视化流程、性能分析、优化策略以及实际应用场景如网络路由和交通导航系统。此外，还比较了Dijkstra与其他最短路径算法（如Bellman-Ford、Floyd-Warshall和A*），并讨论了其局限性和处理特殊情况的方法。适用于希望掌握图论算法及其实战应用的开发者和技术爱好者。
CCF A类会议或期刊----近两年聚类相关论文
Thincor的博客
03-21 6624
会议/期刊 论文 sigmod2021 Fast Density-Peaks Clustering: Multicore-based Parallelization Approach. sigmod2021 SharPer: Sharding Permissioned Blockchains Over Network Clusters. sigmod2021 Dynamic Structural Clustering on Graphs. sigmod2021 On Saving....
（8-2）基于A*算法变种的动态规划算法：Incremental A*算法
码农三叔
03-06 1945
Incremental A* 算法是基于 A* 算法的一种变体，该算法的背景与发展历程可以概括如下。A*算法：A*算法是一种基于启发式搜索的路径规划算法，由 Peter Hart、Nils Nilsson 和 Bertram Raphael 在 1968 年提出。A*算法在搜索过程中通过启发式估计函数（heuristic function）来评估每个节点的潜在成本，并选择最有希望的节点进行探索，以最大程度地减少搜索空间。
关联规则（Association Rules）python实现
silhouette
10-30 5614
前言 试着用python实现关联规则（Apriori算法），代码问题不少。转专业的一只小菜鸡，初学代码，写的很简陋，希望各位大牛能指出不足之处。 代码 输入是num个随机长度、随机字母组合的列表。 通过字典输出Frequent itemsets和Association rules，字典的键分别是是itemset和rule，值是分别是出现的次数和confidence。 import ra...
关联规则（Association Rules）
chaojianmo的博客
10-17 3457
1 前言 关联规则反映一个事物与其他事物之间的相互依存性和关联性，是数据挖掘的一个重要技术，用于从大量数据中挖掘出有价值的数据项之间的相关关系。本篇的Apriori算法主要是基于频繁集的关联分析。其主要目的就是为了寻找强关联规则。 常见的购物篮分析 通过观察顾客放人其购物篮中的不同商品之间的联系，分析顾客的购买习惯，了解哪些商品频繁地被顾客同时购买，这种关联的发现可以帮助零售商制定营销策略...
大数据分析学习笔记（Z检验，分类器以及Association Rule）
weixin_39831037的博客
10-18 1728
大数据分析学习笔记（Z检验，分类器以及Association Rule） Task 1 – Hypothesis Testing To improve student learning performance, a teacher developed two new learning approaches, called “approach1” and “approach2” in short. ...
深度学习在教育数据挖掘（EDM）中的方法体系：从任务建模到算法范式的理论梳理与总结
nmdbbzcl的博客
12-06 593
教育场景的任务看似众多，但在工程上，常被归并到若干“可监督/可排序/可决策”的问题模版中。为了避免概念漂浮，可先把四类主线场景用统一结构描述：数据从哪里来、核心要预测什么、特征长什么样、常用技术是什么。下表给出一份面向落地的“场景—用户行为—关键特征—技术主线”对应关系（译写自一份公开梳理的汇总表）。场景用户典型行为常见关键特征（示例）主要技术主线（示例）知识追踪（Knowledge Tracing）做题、作业、测验、练习题目/知识点 ID，答题正确性，时间间隔，题目难度，学习时长等。
基于改进YOLOv8算法实现高精度实时安全带使用状态智能监测与预警的深度学习目标检测系统源码及完整项目实践指南_包含2300张高质量标注图像的安全带专用数据集YOLOv8目标检测.zip
最新发布
12-06
基于改进YOLOv8算法实现高精度实时安全带使用状态智能监测与预警的深度学习目标检测系统源码及完整项目实践指南_包含2300张高质量标注图像的安全带专用数据集YOLOv8目标检测.zip
MiniBtMaster_minibt_16940_1764966207180.zip
12-06
MiniBtMaster_minibt_16940_1764966207180.zip
本项目是一个专为Linux系统设计的自动化安装与回滚管理工具集_它包含针对MySQL数据库Redis缓存服务器以及NginxWeb服务器的一键部署脚本_通过参数化命令实现快速安装与.zip
12-06
本项目是一个专为Linux系统设计的自动化安装与回滚管理工具集_它包含针对MySQL数据库Redis缓存服务器以及NginxWeb服务器的一键部署脚本_通过参数化命令实现快速安装与.zip
无线传感器网络（WSN）中的节能睡眠调度和基于树状的集群路由协议.zip
12-06
1.版本：matlab2014a/2019b/2024b 2.附赠案例数据可直接运行。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
An Improved Algorithm for Neural Network Classification ofAn Improved Algorithm for Neural Network Classification ofImbalanced Training SetsImbalanced Training Sets
05-13
<think>嗯，用户现在在问如何改进神经网络分类算法来处理不平衡训练集的问题。首先，我需要回忆一下处理类别不平衡的常用方法。常见的有数据层面的方法，比如过采样和欠采样，还有算法层面的调整，比如损失函数的加权，或者集成学习的方法。不过用户特别提到的是改进神经网络，所以可能需要更深入的调整神经网络的结构或训练方式。 首先，数据层面的话，SMOTE是一个经典的过采样技术，不过它可能生成不太真实的样本。后来有人改进成ADASYN，根据样本的密度来调整生成数量。另外，数据增强在图像处理里常用，但在文本或其他领域可能需要不同的增强方法，比如回译或者替换同义词。 然后是损失函数的调整，比如加权交叉熵，给少数类更高的权重。焦点损失（Focal Loss）也是解决类别不平衡的，通过减少易分类样本的损失贡献，让模型更关注难样本。这个在目标检测中用的比较多，比如RetinaNet。 接下来是模型结构上的改进，比如双阶段训练，先正常训练，再在少数类上微调。或者设计自定义层，比如类别平衡层，在最后一层调整输出，考虑类别权重。 集成学习方面，可以结合过采样和欠采样，训练多个模型然后集成。比如EasyEnsemble用多个欠采样子集训练分类器，然后组合结果。或者使用混合采样方法，同时过采样少数类和欠采样多数类。 评估指标方面，用户可能需要注意不要只看准确率，而是用F1-score、AUC-ROC、G-mean等更适合不平衡数据的指标。混淆矩阵也能帮助分析各个类别的表现。 再想想有没有其他方法，比如迁移学习，用预训练模型的特征提取能力，然后在目标数据集上微调，可能对少数类有帮助。或者使用自监督学习先进行预训练，增强模型的泛化能力。 另外，异常检测的方法也可能有用，把少数类视为异常，用如单类SVM或者自动编码器来检测，但可能不太适合神经网络分类。 还有，动态采样方法，根据训练过程中的表现调整采样比例，比如在训练初期多关注多数类，后期逐渐增加少数类的样本。或者课程学习（Curriculum Learning），逐步增加难度，先学简单的样本，再学难的，可能对不平衡数据有帮助。 然后，需要考虑用户的具体应用场景，是图像、文本还是其他类型的数据。比如文本分类中，数据增强的方法可能包括同义词替换、随机插入、删除等，而图像中则是旋转、裁剪、加噪声等。不过用户之前的问题里引用的是文本分类的文献，可能当前问题也是文本相关，但不确定，所以需要保持方法的一般性。 最后，要确保提到的每种方法都有一定的理论基础，并且在实际中有应用案例。比如焦点损失确实被证明有效，SMOTE也有许多变种。需要避免推荐未经充分验证的方法。 现在需要组织这些思路，分点回答，结构清晰，先概述问题，再分数据、损失函数、模型结构、集成学习、评估指标等方面详细说明，最后总结。同时生成相关问题，引导用户深入思考。</think>### 改进神经网络分类算法处理不平衡训练集的方法 处理不平衡训练集是分类任务中的常见挑战。以下是针对神经网络的具体改进方法，结合数据、算法和训练策略的优化： --- #### 一、数据层面的改进 1. **重采样技术** - **过采样（Oversampling）**：对少数类样本进行复制或生成新样本。 - *经典方法*：SMOTE（Synthetic Minority Over-sampling Technique）通过插值生成合成样本，但可能引入噪声[^1]。 - *改进方法*：ADASYN（Adaptive Synthetic Sampling）根据样本密度动态调整生成数量。 - **欠采样（Undersampling）**：减少多数类样本，如使用Tomek Links删除边界模糊样本。 - *代码示例*（SMOTE + CNN）： ```python from imblearn.over_sampling import SMOTE smote = SMOTE() X_resampled, y_resampled = smote.fit_resample(X_train, y_train) ``` 2. **数据增强（Data Augmentation）** - 针对图像：旋转、裁剪、添加噪声等。 - 针对文本：同义词替换、随机删除或插入词。 --- #### 二、损失函数优化 1. **加权交叉熵（Weighted Cross-Entropy）** 为不同类别分配权重，少数类权重更高： $$ \text{Loss} = -\frac{1}{N} \sum_{i=1}^N w_{y_i} \cdot \left[ y_i \log p_i + (1-y_i) \log (1-p_i) \right] $$ - *实现代码*： ```python class_weights = {0: 1.0, 1: 5.0} # 假设类别1是少数类 model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'], weighted_metrics=[]) ``` 2. **焦点损失（Focal Loss）**[^2] 通过调节参数 $\gamma$ 降低易分类样本的权重，聚焦难样本： $$ \text{FL}(p_t) = -\alpha (1-p_t)^\gamma \log(p_t) $$ - $\alpha$ 平衡类别，$\gamma$ 控制难样本权重（通常 $\gamma=2$）。 --- #### 三、模型结构优化 1. **双阶段训练（Two-Phase Training）** - **阶段1**：正常训练模型，学习整体特征。 - **阶段2**：冻结部分层，在重采样后的数据上微调分类层。 2. **自定义输出层（Class-Balanced Layer）** 在最后一层引入类别权重： $$ \text{Output} = \text{Softmax}(W \cdot h + b + \log \beta) $$ - $\beta$ 为类别频率的倒数，用于平衡logits。 --- #### 四、集成学习与混合策略 1. **集成重采样（Ensemble Resampling）** - 训练多个模型，每个模型使用不同的重采样子集（如Bagging + SMOTE）。 - *改进方法*：EasyEnsemble 使用多个欠采样子集训练基分类器[^1]。 2. **混合采样（Hybrid Sampling）** 同时过采样少数类和欠采样多数类，平衡类别分布。 --- #### 五、评估指标调整 避免使用准确率（Accuracy），改用： - **F1-Score**：平衡精确率与召回率。 - **AUC-ROC**：评估整体排序能力。 - **混淆矩阵**：分析每个类别的分类效果。 --- ### 总结 改进方向需根据数据特性选择： - 小规模数据：优先使用SMOTE + 加权损失。 - 大规模数据：焦点损失 + 双阶段训练。 - 高维复杂数据：自定义平衡层 + 数据增强。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值