KDD2012参会小结

KDD Cup2012简单回顾 经过2个月辛苦的拼搏,我们最终获得了KDD Cup 2012比赛的亚军(track1)! 能赢得数据挖掘界这个著名赛事的好名次,我认为靠的是 实力+运气+坚持到底的意志 比赛使用的算法,整理成论文后,会发表在今年SIGKDD workshop上 最终的Leaderboard截图如下,以资留念,我们的队名是Shanda Innovations,最终分数是0.41874 整 阅读详情

KDD的全称为ACM SIGKDD conference on Knowledge Discovery and Data Mining,今年的会期是8.12-8.16,在北京的国家会议中心。这是KDD第一次在亚洲举办,机会难得;加之我们组幸运的被邀请在KDDCUP的workshop上做一个报告,我们5位同学就欢快地从上海赶赴北京学习、腐败了。


今年参会人数有1000多人,虽然不能跟SIGGRAPH这种万人级别的盛会相比,但也创造了KDD的历史记录。

一方面KDD跟工业界结合非常紧密,随着互联网产业的快速发展和大数据的处理及挖掘越来越受重视,会场上随处可见各大互联网公司的算法工程师。百度、腾讯、淘宝、点评等好多团队负责人都露面了。另一方面,KDD委员会也刻意地在强化与工业界的联系,今年除了Industry/Govt Track之外,还新增了Industry practice expo invited talks,甚至要邀请了百度老大李彦宏等大佬来演讲,介绍工业界最近遇到的挑战。会场中还有各大赞助公司的展览,实际上就是一个招聘意向会。当然,长长的赞助商列表和滚滚而来的赞助费肯定也让KDD委员会的腰板硬了不少。


这次北京之行的收获,除了主要目的-KDDCUP的报告,就是见到了各路牛人,包括Robin Li、Jiawei Han、Michael Jordan等大佬,Steffen Rendle、Ben Hammer等通过Kaggle比赛认识的同行,中科院的同学们,以及听了多场精彩的演讲。当然,这次还顺路去了清华和天安门,吃到了新疆办、川办、水晶烤肉以及驴肉火烧这样的美味,还去MIX high了一下。。。


言归正传,总结一下听的几场演讲的收获。

1. KDDCUP workshop

主要内容是今年kddcup的各个获奖团队的报告,和今年主办方腾讯的演讲。今年kddcup的题目有2个,track1是关于weibo推荐,track2是搜索广告ctr预估。track1的获奖者包括上交的ACM班、我们、德国Kanstanz大学的Steffen Rendle、以及美国的Xing Zhao;track2的获奖者包括台湾国立大学、opera solutions、巴西人、以及中科院的同仁。

大家的算法各异,但主要还是SVD、LR、tree based methods、SVM、linear methods等,这里就不一一介绍了,可以参考这个页面。后来Kaggle的Ben Hammer做了一个数据挖掘竞赛的数据分布的统计分析,slides中的各个图表都非常有意思。

2. Learning to Rank

主讲人是MSRA的刘铁岩,讲得真心不错。先是对Learning to rank做了一些科普性的介绍,像是MAP、NDCG等,然后讲了一些具体的模型,例如RankSVM、SVM-MAP、ListNet等。可惜后来我逐渐听不懂了,听到一半就放弃了。

Learning to rank是个很有价值的方向,在web search、advertising、recommendation等领域用的很多。最近中科院计算所的一篇相关paper还得了SIGIR的best student paper,引用一下兰艳艳的话:ranking已成为一个基本问题,与其他application结合的趋势越来越明显,例如recommendation,query suggestion等。

3. Factorization Models for Recommender Systems

主讲人分别是MyMediaLite的作者之一德国hildesheim大学的Lars Schmidt-Thieme和LibFM的作者Steffen Rendle。主要侧重于对FM的介绍和一些改进方法。FM是推荐系统中最常用的方法之一,尤其是比赛利器。在FM相关的开源软件中,LibFM非常易用,效果也非常棒,值得推荐。

4. KDD开幕式

各种颁奖。亮点是Innovation Award获奖者的演说,今年的获奖者是Minnesota大学的Vipin Kumar教授。他做了很多全球变暖的数据挖掘和分析,很有意思。

5. Nine Real Problems we'd like you to solve

演讲者是百度的Robin Li,他从工业界,尤其是国内搜索引擎行业的需求谈了当前学术界的挑战。

第一点是复杂背景下的OCR问题。

第二点是复杂背景下的语音识别。

第三点是基于内容的图像检索。Robin提到百度图像搜索的流量已经超过网页搜索了,还提到qzone每天的图片上传量超过3个亿。

然后是社交网络中垃圾内容的识别和过滤(anti-spam in social),主要是广告帖的识别,因为现在广告帖伪装的越来越高明了。

接下来是百度强调多年的框计算,包括:open data, open app, open publishing。当中提到百度open data已经覆盖了17%的搜索需求。

当然还有个性化。

最后是社交网络如何变现-money in social。

听下来Robin最感兴趣的还是3个点:框计算、社交网络、图像搜索。框计算可以极大地巩固百度的行业地位,而图像的语义搜索一直是搜索行业的瓶颈。

后来是提问环节,问题也很有意思。

第一个问题是关于百度的优势和劣势。Robin的回答在强调百度的创新:帖吧、知道等。

第二个和第三个问题都是关于移动互联网。Robin提到了图像搜索在mobile上需求很明显;还有app搜索,因为app取代了pc web上网站的入口地位;还有context信息、social需求等等。

接下来是open platform 和 semantic web的对比。Robin的回答则更多的在强调推荐系统的作用和前景。

然后是box computing中如何识别高质量的user generated content。

然后是百度知道和帖吧怎么赚钱?

最后是搜索引擎如何对框计算的结果和高质量的网页结果做选择和平衡。

6. Mobile Application Recommendation

演讲者是Getjar公司的Kent,主要任务是预测用户的app的使用情况,来做app推荐。

Kent比较了传统的CF、pure SVD、SVD++、eigenAPP等算法的效果。评价指标是accuracy, popularity和variety。其中多样性通过entropy来度量。svd的效果很差,cf的精确性不错但偏向与热门结果,eigenapp的精确性和多样性最好,具体做法是首先做PCA,用eigen vector来计算app的相似性。

后来跟Kent聊了下,他们的线下数据集是10万user,7000item,数据稀疏性是0.25%。他的观点是多样性很重要,推太热门的大家都知道的应用没啥价值。不过他也没有线上测试的情况,比较遗憾。

7. Mining Heterogeneous Information Networks

Jiawei Han老师算是数据挖掘行业的开山祖师爷,是张三丰等级的人物了。我自己虽然对异构网络不太感兴趣,但还是早起去听了一会儿。因为我没听多久就可耻地进入梦乡了,听过的也不怎么明白,就不赘述了。

8. Semantic Search and a New Moore's Law Effect in Knowledge Engineering

主讲人是MSRA的Wei-Ying Ma。马维英是亚研的副院长,讲话很有气势。主要是围绕着一个新的摩尔定律:Big Data, Crow Sourcing 和 Machine Learning三者间的相互促进和循环。

semantic search的过程是 signals(web, image, video, book, answer)-> query -> ranking。具体思路是,第一步需要deep mining of better results,这又包括 intent识别和knowledge挖掘2部分,第二步是结果的组织,最好能做到像杂志一样,有条理、图文并茂。

intent识别主要是靠query分析,计算p(concept | short text),用到的技术包括 query segmentation, labeling, intent detection等。

knowledge挖掘的流程可以归纳为:n-gram分词->co-occurrence of phrases->relations->empowered search。

9. Key Lessions Learned Building Reommender Systems for Large-Scale Social Networks

演讲者是LinkedIn的首席数据科学家Christian Poss。Poss年纪不小了,语速很快,但思路很清楚。sclides的信息量很大,Poss也以超高的语速讲了大半个小时,结束后还被人团团围住,然后又滔滔不绝的在讲。。。太佩服了。

LinkedIn有1.75亿用户,其中62%是非美国用户。网站超过50%的friend、job、group相关的操作是来自于推荐系统,可见其推荐效果的过人之处。

LinkedIn的推荐系统要平衡buyer(job seeker)和seller(job poster)的利益,侧重于long term value of actions,因此主要以点击率和活跃度作为指标,不会直接考察推荐系统带来的直接收益。

演讲从以下几个方面考察了一个良好设计的推荐系统需要兼顾的方面:

user intent, user flow, locations of modules, right expection(You may ...), explanation, interact, social referral。

10. Divide and Conquer

演讲者又是一位开山祖师级的人物,graphical models的权威、很多机器学习领域大牛的导师Michael Jordan。话说我的英文名也叫Michael,部分原因就是这个Michael大神的影响。

这次演讲主要是关于一个新方法:bag of little bootstraps。主要思路是对数据抽样多分,同时训练多个小的不完整的模型,再将它们进行合并。虽然这个方法不能取得更好的效果,但是大大改善了时间效率。

 

鉴于我们的时间比较紧,没有参加完kdd的正会。有几个关于推荐系统和个性化的session都没来得及听。不过已经收获很大了。尤其是吃到这么多好吃的,还跟Jiawei Han老师合了个影,哈哈。

综述类_网络入侵检测技术综述 文章目录网络入侵检测技术综述大纲一、入侵检测系统分类1.基于数据来源划分2.基于检测技术划分二、基于传统机器学习的入侵检测1.入侵数据处理2.监督机器学习技术3.无监督机器学习技术4.小结三、基于深度学习的入侵检测1.生成方法 网络入侵检测技术综述 链接:百度网盘链接 提取码:tktt 大纲 1:入侵检测系统的详细分类 2:传统机器学习技术在入侵检测领域的应用现状 3:深度学习方法在入侵检测领域的应用情况 4:强化学习方法 5:对可视化分析技术在入侵检测的应用进行阐述 6:总结 一、入侵检测系统分类 1. 阅读详情

相关推荐

【研究】人大赵鑫老师报告:如何以初学者角度写好一篇国际学术论文?

转载 目录 1 引文是论文的“门面” 大框架 1)交代研究任务举例 ​2)阐述研究现状和不足举例​ ​3)提出新的解决思路举例 4)总结论文贡献和实验结论举例 注意点 常见错误逻辑 ​包装适度 ​引文6句框架总结(!!!) 过渡词推荐 引文目的 2 相关工作要尽可能写的全面 常见错误 3 定义介绍要清晰 4 模型写作逻辑很重要 5 实验介绍要用对比 大框架 数据集+base模型 ​主干实验 case实验 实验分析是在呼应引文 6 摘要、结论最后写 写论文..

图挖掘领域,新晋砖家 ☞ 未来可期,欢迎和静静一起学习交流吖 808

数据挖掘领域重要会议与期刊

一.会议 超档: 1.KDD(CFFA类):ACMKnowledge Discovery and Data Mining 数据挖掘的最高会议,每年开 SIGKDD是美国计算机学会ACM旗下数据挖掘和知识发现的专业组织,KDD的英文全称就是KnowledgeDiscovery and Data Mining。SIGKDD每年主办的KDD大会,是该领域的最高学术会议。 第一档: 2.ICDM(CFFB...

weixin_42844368的博客 1万+

KDD Cup 2012微博推荐系统数据集实战解析

协同过滤是推荐系统的基础,其变体如User-CF、Item-CF、SVD等各有适用场景。随着数据规模扩大,矩阵分解类方法在处理稀疏评分数据上表现出更强的泛化能力。

weixin_35749545的博客 1114

KDD CUP2012任务1

今年的KDD CUP由腾讯公司赞助。在活跃用户数量方面(截至2012年1月,共有7亿用户),腾讯是中国最大的互联网公司。腾讯公司在中国拥有各种流行的产品,包括实时消息、邮件、新闻门户、搜索引擎、在线游戏、博客、微博等,这为建立用户模型以实现高效的用户意图预测和结果推荐提供了丰富的机会。今年的KDD CUP包括两个独立的任务。 任务1. 微博上的社会网络挖掘 腾讯微博(http://t.qq.c...

云计算? 290

基于Simulink的魔术公式轮胎动力学仿真

本篇博文主要用来记录汽车系统动力学课程的学习,仅供课程阶段参考,与实际工程应用还有较大距离。基于Simulink的魔术公式轮胎动力学仿真本实例主要有以下任务。1.建立魔术公式轮胎动力学仿真模型。2.绘制不同载荷下的轮胎纵向力—滑动率关系曲线。3.绘制不同载荷下的轮胎侧向力—侧偏角关系曲线。4.绘制不同载荷下的轮胎回正力矩—侧偏角关系曲线。提示:以下是本篇文章正文内容,下面案例可供参考。

shy_201992的博客 6941

【STM32】CubeMx系列教程之移植FreeRTOS

本文详细介绍了在STM32F429上通过CubeMX工具移植FreeRTOS的方法。主要内容包括:1)配置系统时钟源,将TIM1替换SysTick作为时钟基准;2)FreeRTOS的创建与配置,包括任务创建、堆栈大小设置等;3)关键配置参数说明,如堆大小建议设为RAM的50%-70%;4)常用函数如堆栈监控、任务挂起/恢复等。文章提供了从基础配置到深入优化的完整移植指南,适合STM32开发者参考使用。

JackieJin123的博客 788

KDD2012会议小结

KDD的全称为ACM SIGKDD conference on Knowledge Discovery and Data Mining,今年的会期是8.12-8.16,在北京的国家会议中心。这是KDD第一次在亚洲举办,机会难得;加之我们组幸运的被邀请在KDDCUP的workshop上做一个报告,我们5位同学就欢快地从上海赶赴北京学习、腐败了。 今年参会人数有1000多人,虽然不能

bestlinjialyin的专栏 1392

Frida+Objection保姆级教程:从环境搭建到实战Hook(含Wallbreaker插件使用)

本文提供了一份从零开始的Frida与Objection移动安全动态分析实战指南。详细讲解了Python环境配置、Frida-Server部署、Objection核心命令使用以及Wallbreaker插件安装与应用。通过实战案例演示如何Hook网络请求(如HttpURLConnection和OkHttp3),帮助安全研究人员快速掌握应用运行时行为分析与漏洞挖掘技能。

weixin_28318011的博客 107

文献笔记02 网络入侵检测技术综述(信息安全学报)

文章目录 网络入侵检测技术综述大纲一、入侵检测系统分类1.基于数据来源划分2.基于检测技术划分 二、基于传统机器学习的入侵检测1.入侵数据处理2.监督机器学习技术3.无监督机器学习技术4.小结 三、基于深度学习的入侵检测1.生成方法2.判别方法3.生成对抗网络4....

qq_40982287的博客 2595

ArcGIS:根据DEM数据提取区域水系

利用DEM数据提取区域水系是常见的水文分析应用,为了获取区域的矢量水系数据,我们可以通过ArcGIS对高程DEM数据进行水文分析,为地表水流建立模型,进而获取到该地的水系数据,DEM数据精度越高,获取到的水系数据精度也就越高。以下介绍如何用ArcGIS提供的工具提取水系。

Oruizn的博客 9112

Spark 大数据环境搭建( Linux 系统安装和配置)

(1)选择典型安装(2)选择“安装程序光盘映像文件(iso)”,点击右侧的浏览按钮, 找到下载好的iso 文件,然后点击下一步。(3)将全名、用户名、密码、确认等几项均设为“spark”, 方便后面使用,然后点击下一步。(4)在命名虚拟机的窗体中,可以设定一下虚拟机名称或直接按默认,然后点击下一步。(5)在指定磁盘容量的窗体中,设定虚拟机使用的最大磁盘大小为60GB,虚拟机文件尺 寸是在使用过程中按需增长的,最大限制为 60GB。

2301_80186825的博客 1607

Michael Jordan在“21世纪的计算大会”上的主题演讲:大数据的分治和统计推断

Michael Jordan在“21世纪的计算大会”上的主题演讲:大数据的分治和统计推断2012年12月18日 12:44:00 演讲人:Michael Jordan博士 美国加州大学伯克利分校电气工程与计算机系、统计学系教授      美国科学院(NAS)、美国工程院(NAE)、美国文理科学院(AAAS)院士 演讲标题:Divide-and-Conquer and

Cloud-Datacenter-Renewable Energy-Big Data-Model 890

078、镜头阴影校正:LSC算法原理与标定优化

文章摘要 镜头阴影校正(LSC)是手机影像系统中的关键技术,用于解决镜头渐晕效应导致的画面边缘暗角问题。本文详细分析了LSC算法的核心原理,包括非均匀网格划分、双线性插值等关键技术点,并揭示了标定流程中的常见陷阱(光源均匀性、灰卡反射特性、温度漂移)。文章还深入探讨了增益计算的工程实现细节,以及实际调优中的关键考量因素(色差校正、动态场景适应等)。作者结合15年经验,给出了包括验证方法、网格参数设计、产线标定等实用性建议,强调LSC算法应与光学设计协同优化,才能达到最佳效果。

sundong_81的博客 43

CCF-A类SIGKDD’24 2月8日截稿!大年三十也要奋战!

聚焦于挖掘大规模数据集中蕴含的知识、模式和趋势,为学术界和工业界的研究者提供了一个深入讨论最新研究成果和技术创新的平台。距离截稿日期仅剩3天,恰逢中国大年三十这一重要的传统节日,想象一下,在这个春节夜晚,研究者们都在电脑前为自己的研究灯火辉煌,点亮了这个学术盛宴的夜空!期待着在这个春节之际迎来一波精彩的学术投稿!此外,SIGKDD同时期待关于新兴主题的具有远见的论文,以及那些在应用领域做出创新技术贡献的研究。对于需要投稿SIGKDD会议的学者们来说,这不仅是一份重要的参考资料,更是一座启发和灵感的宝库!

ConferenceEye的博客 3337

RT-Thread Studio 使用笔记(七)| 配合STM32CubeMX添加裸机驱动(以ADC为例)

1. 配置STM32CubeMX 2. 复制stm32xxxx_hal_msp.c文件 将 CubeMx 生成的代码 stm32f7xx_hal_msp.c 函数复制到 RT-Thread Studio 生成的工程中,并参与工程编译: 由于我们并没有使用 CubeMx 生成的工程,所以这里需要将 stm32f7xx_hal_msp.c 文件中 #include “main.h” 替换为 #i...

Mculover666的博客(嵌入式) 9629

python中有趣的库 freegames 的详细使用

freegames 是一个包含多个简单 Python 游戏的开源库,适合初学者学习 Python 编程和游戏开发。以下是 freegames 的详细介绍和用法示例。

数据知道的博客 3万+

2024年人工智能顶级会议投稿信息汇总(数据挖掘领域)

本文对数据挖掘领域内的顶级会议进行了介绍,以便读者了解会议的截稿日期、举办时间和地点以及相关关键信息。最后,还将这些信息以表格的形式呈现,为读者提供了便利。

audyxiao001的博客 1万+

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

【Call for papers】SIGKDD-2023(CCF-A/数据挖掘/2023年2月2日截稿)

第29届acm sigkdd知识发现和数据挖掘会议。

计算机科研杂货铺 4741

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

与Bootstrap有关的几种处理大数据的方法

简述了关于bootstrap处理大数据的几种方法的特点。

P_Y_L_U的博客 807

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

模型选择的一些基本思想和方法

0. 引言 有监督学习是日常使用最多的建模范式,它有许多更具体的名字,比如预测模型、回归模型、分类模型或者分类器。这些名字或来源统计,或来源于机器学习。关于统计学习与机器学习的区别已经有不少讨论,不少人认为机器学习侧重于目标预测,而统计学习侧重于机制理...

sdf57的博客 6760

ACM SIGKDD (ACM conference on Knowledge Discovery and Data Mining)近十年研究热点追踪

ACM SIGKDD (ACM conference on Knowledge Discovery and Data Mining)近十年研究热点追踪

weixin_42155685的博客 803

KDD 2024 | 专业实力再获认可!网易伏羲四篇论文入选

KDD 2024公布论文接收结果,网易伏羲四篇论文入选

weixin_42381549的博客 1446

广告推荐初探---基于KDD Cup 2012

1、广告推荐存在的问题

人若无名 的专栏 1110

2017年KDD时间检验奖

时间检验奖 SIGKDD 每年都会奖励一篇论文,这篇论文要在过去十年间对研究,方法论以及实践产生重大影响,这就是所谓的时间检验奖。 这次授予是为了表彰Thorsten的论文《线性时间内训练线性支持向量机》。 这次的时间检验奖就是奖励他如何把支持向量机的训练达到线性复杂度,从而使支持向量机在大规模数据上的应用成为可能。 贡献 贡献一贡献一贡献一:他致力于把支持向量机的基本算法,也就是仅仅支持分类问题...

GhostintheCode的博客 385
上一篇: 磁盘io的一些知识和总结
下一篇: 关联、组合、聚合、依赖关系比较
overstack
博客等级 码龄14年 115粉丝 55原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值