2017年KDD时间检验奖

Python解析CIC-IDS-2017数据集:从特征提取到入侵检测模型实战 入侵检测系统是网络安全的核心防线,其原理是通过分析网络流量特征识别恶意行为。机器学习技术为自动化威胁检测提供了强大支持,而高质量数据集是模型训练的基础。CIC-IDS-2017作为网络安全领域的基准数据集,包含了真实环境采集的多样化攻击流量,为模型训练提供了贴近实战的场景。本文聚焦于该数据集的特征解析与处理,详细介绍了使用Python进行高效数据清洗、特征工程和内存优化的完整流程。通过构建从原始CSV到特征矩阵的解析流水线,并结合随机森林模型实现入侵检测,为网络安全实践者提供了可复现的工程方案。掌握这一数据 阅读详情

时间检验奖

SIGKDD 每年都会奖励一篇论文,这篇论文要在过去十年间对研究,方法论以及实践产生重大影响,这就是所谓的时间检验奖。
这次授予是为了表彰Thorsten的论文《线性时间内训练线性支持向量机》。
这次的时间检验奖就是奖励他如何把支持向量机的训练达到线性复杂度,从而使支持向量机在大规模数据上的应用成为可能。

贡献

贡献一贡献一贡献一:他致力于把支持向量机的基本算法,也就是仅仅支持分类问题和回归问题的算法,应用到更加复杂的有结构的输出结果上,俗称结构化的支持向量机算法。
因此,支持向量机可以对信息检索中很多复杂的,非二分的评估指标进行直接优化,如F1值,平均精度均值,从而让支持向量机的应用变得更加广阔。

贡献二贡献二贡献二:在让支持向量机能够顺利应用到信息检索的过程中,Thorsten 还发现了另外一个问题,那就是如何利用搜索引擎的间接用户反馈(Implicit Feedback)来训练排序算法(经常是一个结构化的支持向量机模型)。具体来说,传统的搜索系统和信息检索系统主要是依靠人工标注的训练数据来进行优化和评估。这里所说的人工标注训练数据,主要是指人为地评价目标查询关键字和所对应的网页是否相关。

早期大家发现,虽然搜索引擎可以利用这样的数据来优化排序算法,但是搜索引擎在使用过程中会产生很多用户数据。这些数据可以是用户点击搜索页面结果产生的信息,也可以是其他的信息(比如用户在搜索页面的驻留时间等等)。早期这些信息并没有用于优化搜索引擎。以 Thorsten 为主的一批学者意识到点击信息的重要性,然后开始利用这些数据来训练和评估排序算法。

贡献三贡献三贡献三:把**因果推论(Causal Inference)**和机器学习相结合,从而能够更加无偏差地训练模型。可以说这部分工作开创了一个新领域。

长期以来,如何有效地应用用户产生的交互数据来进行模型训练,都是大规模机器学习特别是工业界机器学习的难点。一方面,工业系统能够产生很多用户数据;另一方面,这些用户数据又受到当前部署系统的影响,一般都有一定的偏差。

因此工业级机器学习系统面临一个长期挑战,那就是,如何能够在评估模型以及训练模型的时候考虑到这样的偏差,从而去除这样的偏差。

Thorsten 利用因果推论中的倾向评分(Propensity Scoring)技术以及多臂赌博机(Multi-armed Bandit)思想,把这样的方法成功地引入到机器学习中,使得无偏差地训练模型成为可能。目前,这方面的新研究和新思想正在机器学习以及应用界产生越来越多的共鸣。

线性大规模支持向量机

回到这篇时间检验奖的论文,它解决的是大规模优化支持向量机的问题,特别是线性支持向量机。这篇文章第一次提出了简单易行的线性支持向量机实现,包括对**有序回归(Ordinal Regression)**的支持。算法对于分类问题达到了 O(sn)(其中 s 是非 0 的特征数目而 n 是数据点的个数),也就是实现了线性复杂度,而对有序回归的问题达到了 O(snlog(n)) 的复杂度。算法本身简单、高效、易于实现,并且理论上可以扩展到核函数(Kernel)的情况。

在此之前,很多线性支持向量机的实现都无法达到线性复杂度 。比如当时的 LibSVM(台湾国立大学的学者发明)、SVM-Torch、以及早期的 SVM-Light 中采用的分解算法(Decomposition Method)都只能比较有效地处理大规模的特征。而对于大规模的数据 (n),则是超线性(Super-Linear)的复杂度。

另外的一些方法,能够训练复杂度线性地随着训练数据的增长而增长,但是却对于特征数 N 呈现了二次方 的复杂度。因此之前的这些方法无法应用到大规模的数据上。这样的情况对于有序回归支持向量机更加麻烦。从德国学者拉尔夫·赫布里希(Ralf Herbrich)提出有序回归支持向量机以来,一直需要通过转化为普通的支持向量机的分类问题而求解。这个转换过程需要产生 O(n^2) 的训练数据,使得整个问题的求解也在这个量级的复杂度。

这篇文章里,Thorsten 首先做的是对普通的支持向量机算法的模型形式(Formalism)进行了变形。他把传统的分类支持向量机(Classification SVM)写成了结构化分类支持向量机(Structural Classification SVM),并且提供了一个定理来证明两者之间的等价性。粗一看,这个等价的结构化分类支持向量机并没有提供更多有价值的信息。然而这个新的优化目标函数的对偶(Dual)形式,由于它特殊的稀疏性,使它能够被用来进行大规模训练。紧接着,Thorsten 又把传统的有序回归支持向量机的优化函数,写成了结构化支持向量机的形式,并且证明了两者的等价性。

把两种模型表达成结构化向量机的特例之后,Thorsten 开始把解决结构化向量机的一种算法——切割平面算法(Cutting-Plane),以下称 CP 算法,运用到了这两种特例上。首先,他展示了 CP 算法在分类问题上的应用。简单说来,这个算法就是保持一个工作集合(Working Set),来存放当前循环时依然被违反的约束条件(Constraints),然后在下一轮中集中优化这部分工作集合的约束条件。

整个流程开始于一个空的工作集合,每一轮优化的是一个基于当前工作集合的支持向量机子问题,算法直到所有的约束条件的误差小于一个全局的参数误差为止。Thorsten 在文章中详细证明了这个算法的有效性和时间复杂度。相同的方法也使得有序回归支持向量机的算法能够转换成为更加计算有效的优化过程。

Thorsten 在文章中做了详尽的实验来展现新算法的有效性。从数据的角度,他使用了 5 个不同的数据集,分别是路透社 RCV1 数据集的好几个子集。数据的大小从 6 万多数据点到 80 多万数据点不等,特征数也从几十到四万多特征不等,这几种不同的数据集还是比较有代表性的。从方法的比较上来说,Thorsten 主要比较了传统的分解方法。

有两个方面是重点比较的,第一就是训练时间。在所有的数据集上,这篇文章提出的算法都比传统算法快几个数量级,提速达到近 100 倍。而有序回归的例子中,传统算法在所有数据集上都无法得到最后结果。Thorsten 进一步展示了训练时间和数据集大小的线性关系,从而验证了提出算法在真实数据上的表现。

第二个重要的比较指标是算法的准确度是否有所牺牲。因为有时候算法的提速是在牺牲算法精度的基础上做到的,因此验证算法的准确度就很有意义。在这篇文章里,Thorsten 展示,提出的算法精度,也就是分类准确度并没有统计意义上的区分度,也让这个算法的有效性有了保证。

Thorsten 在他的软件包 SVM-Perf 中实现了这个算法。这个软件包一度成了支持向量机研究和开发的标准工具。

问题

在什么应用场景下,线性大规模支持向量机可以有比较好的效果?

暂时无好的答案,日后补充

3、机器学习入侵检测与学校学业失败研究综合解析 本文综合探讨了机器学习在网络安全入侵检测系统(NIDS)中的多种应用方法,包括改进K-Means与SVM、ELM结合、SCC与OCSVM结合、四种无监督算法及集成学习策略,并对比分析了各自在不同数据集上的性能表现。同时,文章深入研究了摩洛哥Ouezzane省初中科学学科的学业失败问题,基于心理医学、社会病理学和惯习三种理论框架,结合实际数据揭示了学习环境、基础设施、班级规模和性别差异对学业成功率的影响。研究表明,改善教学条件、控制班额、优化教学策略是提升学生学业表现的关键。最后,文章展望了未来在网络安全与教 阅读详情

相关推荐

机器学习实战:基于NSL-KDD的网络入侵检测系统设计

机器学习技术正在重塑网络安全防护的范式,在流量识别与异常检测场景中,传统基于规则的入侵检测系统难以应对不断演变的攻击变种,而监督学习通过从标注数据中自动提取攻击模式,提供了更泛化的检测能力。以NSL-KDD为基准数据集,需要完成标签映射、字符编码、特征缩放与特征选择等关键预处理,避免数据泄漏对模型评估的影响。工程实践中,随机森林因对非线性关系建模能力强、自带特征重要性分析,在逻辑回归、KNN、决策树等候选模型中表现最佳。通过精确率、召回率与F1分数综合评估,并借助Pipeline将预处理与模型封装,可快速构

weixin_29038537的博客 292

数据挖掘领域重要会议与期刊

一.会议 超档: 1.KDD(CFFA类):ACMKnowledge Discovery and Data Mining 数据挖掘的最高会议,每年开 SIGKDD是美国计算机学会ACM旗下数据挖掘和知识发现的专业组织,KDD的英文全称就是KnowledgeDiscovery and Data Mining。SIGKDD每年主办的KDD大会,是该领域的最高学术会议。 第一档: 2.ICDM(CFFB...

weixin_42844368的博客 1万+

NSL-KDD入侵检测数据集完整使用指南:从解压到模型评估

网络入侵检测是网络安全领域的核心任务,机器学习模型需要高质量的数据集来训练和评估。NSL-KDD作为经典的入侵检测基准数据集,通过去除冗余样本和难度分级,有效解决了KDD Cup 99中模型“背样本”导致的评估失真问题,被广泛用于异常检测算法的对比研究。本文从数据集背景出发,详细解析其41维特征的四大分类——TCP连接基本特征、内容特征、基于时间与基于主机的统计特征,并给出标签映射、One-Hot编码、标准化以及测试集隔离等预处理关键步骤。在此基础上,以随机森林为例演示模型训练与评估流程,分析特征重要性及二

weixin_30888413的博客 415

CCF-A类SIGKDD’24 2月8日截稿!大年三十也要奋战!

聚焦于挖掘大规模数据集中蕴含的知识、模式和趋势,为学术界和工业界的研究者提供了一个深入讨论最新研究成果和技术创新的平台。距离截稿日期仅剩3天,恰逢中国大年三十这一重要的传统节日,想象一下,在这个春节夜晚,研究者们都在电脑前为自己的研究灯火辉煌,点亮了这个学术盛宴的夜空!期待着在这个春节之际迎来一波精彩的学术投稿!此外,SIGKDD同时期待关于新兴主题的具有远见的论文,以及那些在应用领域做出创新技术贡献的研究。对于需要投稿SIGKDD会议的学者们来说,这不仅是一份重要的参考资料,更是一座启发和灵感的宝库!

ConferenceEye的博客 3337

KDD2017最佳论文&最佳学生论文奖:Accelerating Innovation Through Analogy Mining

大型概念资源库(如美国专利数据库)可以向人们提供类似问题的解决方案的灵感,从而加速创新和发现。然而在这些庞大而凌乱的资源库中发现有用的信息,对于人类或自动化技术来说仍是一个挑战。传统的解决方法有,具有高度关系结构(如谓词演算表征)但非常稀疏,且成本很高的人工创建的数据库。更为简单的机器学习/信息检索相似性度量可以扩展到大型的自然语言数据集,但很难解释结构相似性,而这又是类比的核心。这篇论文探讨了学习更简单的结构表征的可行性和价值,特别是“问题模式”,它规定了产品的目的,以及实现该目的的机制。论文中的方法结合众包和CNN,提取产品描述中的目的和机制向量表示。论文表明,这些学习到的向量能比传统的信息检索方法,以更高精度和更快速度找到类比。在一个思想实验中,模型检索的类比能力提升了产生创意的可能性。研究结果表明,学习和利用较弱的结构表征,是大规模计算类比的有效方法。

ROS2前置基础教程 | 使用CMakeLists.txt编译ROS2节点

答案是有的,那就是cmake工具。cmake通过调用CMakeLists.txt直接生成Makefile。 2.新建CMakeLists.txt 在新建,输入下面内容。 3.编译代码 我们一般会创建一个新的目录,运行cmake并进行编译,这样的好处是不会显得那么乱。 创建好文件夹,接着运行cmake指令,代表到上级目录找。 运行完cmake你应该可以在build目录下看到cmake自动生成的Makefile了,接着就可以运行make指令进行编译 运行完上面的指令,就可以在build目录下发现节点了。ROS2

生活不止眼前的苟且 1万+

SIGKDD国际会议简介(未完待续)

1、SIGKDD的前身    KDD(Knowledge Discovery and Data Mining,知识发现与数据挖掘)一词首次出现在1989年8月举行的第11届国际联合人工智能学术会议(IJCAI)上,由Piatetsky- sharpiro正式提出;1989-1994年间美国人工智能协会共举办了4届KDD国际专题讨论会(89、91、93、94)。1995年,国际KDD组委把专题讨

PeacefulBY的专栏 4213

Excel数据清洗实战:8个必学函数搞定90%的脏数据问题(附案例)

本文通过一个完整的销售数据清洗案例,详细讲解了如何组合使用TRIM、CLEAN、SUBSTITUTE等8个核心Excel函数,构建自动化清洗流水线,高效解决日常办公中90%的脏数据问题,从而将时间留给更有价值的分析工作。

weixin_29215391的博客 586

【Call for papers】SIGKDD-2023(CCF-A/数据挖掘/2023年2月2日截稿)

第29届acm sigkdd知识发现和数据挖掘会议。

计算机科研杂货铺 4741

H3C无线控制器二层注册实战:从零配置到AP上线全流程(附常见问题排查)

本文详细解析了H3C无线控制器二层注册的全流程,从网络基础准备、AC核心配置到AP上线,重点阐述了CAPWAP隧道建立的关键步骤。文章提供了清晰的典型配置示例,并针对AP无法上线、状态异常等常见问题,给出了六种典型故障现象的排查思路与解决命令,帮助网络工程师快速定位并解决问题。

weixin_29214199的博客 548

从ESP/ABS选型看轮速传感器:为什么你的车用了AK+PWM+7/14mA三种协议?

本文深入解析了汽车轮速传感器的三种主流协议(7/14mA电流型、PWM型和AK协议型)及其混合应用场景。通过对比不同协议的技术特点、成本效益和工程挑战,揭示了现代车辆采用多种传感器协议背后的设计逻辑,包括成本控制、性能平衡和冗余设计等关键因素。

weixin_29266679的博客 536

ACM SIGKDD (ACM conference on Knowledge Discovery and Data Mining)近十年研究热点追踪

ACM SIGKDD (ACM conference on Knowledge Discovery and Data Mining)近十年研究热点追踪

weixin_42155685的博客 803

Qt C++:跨平台开发利器

摘要: Qt C++是基于C++的跨平台开发框架,通过元对象系统、信号槽机制及模块化架构实现"一次编写,多端部署"。核心特性包括: 跨平台能力:覆盖桌面(Windows/macOS/Linux)、移动端(iOS/Android)、嵌入式及WebAssembly; 信号与槽:替代传统回调,实现对象间高效通信; UI组件库:200+预制组件支持QSS样式定制; 工具链:Qt Creator集成开发环境提供可视化设计、调试及多平台编译。 广泛应用于工业控制、车载系统、医疗设备及跨平台应用开发,

2202_75382767的博客 1687

001 | 聊聊2017年KDD大会的时间检验奖

国际数据挖掘与知识发现大会ACM SIGKDD(ACM SIGKDD Conference on Knowledge Discovery and Data Mining),简称KDD,是由美国计算机协会ACM(The Association for Computing Machinery)的数据挖掘与知识发现专委会SIGKDD(Special Interest Group on Knowledge...

优快云学习 385

WRF所需气象数据的下载方法

#数据下载是个大问题,巧妇难为无米之炊,没有数据就无法模拟啦,疫情期间国外服务器响应慢,打开网页慢都很正常啦~ WRF数据所需要的外部数据分为两种:静态地理数据,grib格式的气象数据(NAM、GFS、RUC、AGRMET等)。静态地理数据可以从WRF官网获得,比较简单,这里不做介绍。所以这篇日志重点介绍的是气象数据的获取。 提前说明,WRF官网不提供气象数据,但WRF官网提供各类气象数据的下载网址链接,所以我们下载一般还是从WRF官网开始。首先进入WRF官网,然后点击WRF ARW Uusres’ .

六出的博客 1万+

Android 9.0 延时开机动画解决首次开机黑屏和去掉android正在启动的提示框

在9.0的系统产品rom定制化开发中,在一些产品中会出现在首次开机的时候,由于在开机动画播放完以后会出现几秒短暂的黑屏情况,然后进入默认Launcher,这在产品体验上 也是感觉到有点差,所以会要求在去掉这个首次开机黑屏的效果,和在启动过程中的 android is starting这个提示框的这些效果优化,接下来就分析下相关功能, 然后实现这个功能的开发

安卓兼职framework和app工程师的博客 3247

AI技术内参001-聊聊2017年KDD大会的时间检验奖

国际数据挖掘与知识发现大会(ACM SIGKDD Conference on Knowledge Discovery and Data Mining),简称,是由美国计算机协会(The Association for Computing Machinery)的数据挖掘与知识发现专委会(Special Interest Group on Knowledge Discovery and Data Mining)主办,堪称数据挖掘研究领域的顶级会议。

sucaiwa的博客 416

上线之前多一道闸:业务审核系统的接入定义、双轨状态机与可靠生效闭环

运营后台“保存即生效”,让价格、库存、人群等配置每次修改都相当于一次无评审的上线。本文以至尊会员降价活动为例,系统拆解业务审核系统:用带业务语义的操作编码、规则化审核人与候选人快照、完整的生效回调契约做好接入定义;把业务改造为提交待生效,以不可变快照、字段级差异和唯一约束加幂等号防误配防重复;用审批轨与执行轨双轨状态机、链路式重新提交和以事件为准的审核链路理清状态;最后以发件箱、幂等键、超时先查后试、乐观锁与对账闭合生效环节,并结合两个可运行的Java程序,给出五种生效策略的事故率实测对比。

曾经“等你生日那天”都遥远得像未来,如今却可欢愉的挥手说“下个十年见” 6万+

线性时间内训练线性 SVM:KDD 2017 时间检验奖论文解读

Thorsten 是 ACM 和 AAAI 双料院士,总引用超 4 万次,曾获多项重要奖项。

zzm628的专栏 233

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

KDD 2021多个奖项出炉:斯坦福博士摘得学位论文奖,北航校友胡侠获新星奖

在KDD 2021 线上开幕之前,多个奖项已正式公布。斯坦福博士 Aditya Grover 获得了学位论文奖,北航校友 Xia “Ben” Hu 获得了新星奖,字节跳动 AML 研究团...

深度学习技术前沿 697

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

002 | 精读2017年KDD最佳研究论文

前面我们介绍过KDD大会的时间检验奖,每年大会的另外一个亮点奖项就是最佳论文奖,有两类,一类是最佳研究论文,一类是最佳应用数据科学论文。今天我就先来说说前者。 大会每年都会在众多的学术研究论文中,选择最有新意和价值的研究论文,评选出最佳研究论文的第一名和第二名。从过去十多年的经验来看,KDD历年的最佳研究论文,都会对之后很多领域的研究有开创性的影响。因此,不论是从阅读经典文献的角度,还是从学习最新...

优快云学习 461

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

KDD 2017奖项全公布,华人成最大赢家

雷锋网按:本文由雷锋网作者奕欣、岑峰、张驰、三川联合编辑。 北京时间8月15日,在经过两天的Tutorial和Workshops后,KDD 2017于今天下午正式开幕。 开场,KDD 2017大会主席Stan Matwin向我们展示了一组数据:本次KDD共有来自51个国家1656名注册参会人员,是美国之外注册人数最多的一届,参会人数最多的五个国家依...

weixin_34179762的博客 223

AI技术内参002-精读2017年KDD最佳研究论文

第一作者汤姆·霍普(Tom Hope)来自耶路撒冷的希伯来大学(The Hebrew University of Jerusalem),计算机博士,在读第三年。同时,他还是英特尔以色列的资深数据科学员,对深度学习的很多方面都有研究。目前他正在写一本基于TensorFlow的深度学习简明技术书籍。第四作者达夫娜·沙哈夫(Dafna Shahaf)是霍普的博士导师,目前在希伯来大学计算机系任助理教授。达夫娜于2012年从卡内基梅隆大学博士毕业。她曾经在微软研究院以及富士通公司实习,并在斯坦福大学攻读博士后。

sucaiwa的博客 216

京东金融与KDD2018:如何针对性解决城市计算痛点

7 月 21 日、22 日,由 KDD China 主办,西南交通大学和京东金融承办的 KDD Summer School 暨 KDD Pre-Conference,「交通大数据智能」论坛在成都举行,多位知名数据挖掘领域专家以及 KDD 2018 国际会议录用论文的作者介绍了自己的工作以及各自领域的进展。 ...

机器之心 2万+

CNCC | 第二届大模型与科学计算论坛:大模型开启科学计算新篇章

CNCC2024论坛简介:第二届大模型与科学计算论坛:大模型开启科学计算新篇章举办时间:10月26日13:30-17:30地点:秋苑-含晖楼二楼注:如有变动,请以官网(https://ccf.org.cn/cncc2024)最终信息为准随着人工智能技术的快速发展,特别是大规模预训练模型的应用,科学计算正迎来一场深刻变革。科学计算涉及数值模拟、数据分析和数学建模等多个领域,是现代科学研究和工程开发的...

开放知识图谱 657
上一篇: 计算机网络的体系结构
下一篇: 动态规划从入门到放弃(一)
GhostintheCode
博客等级 码龄8年 53粉丝 105原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值