开放数据集合分享

最新推荐文章于 2024-01-30 19:54:14 发布

XifengHZ

最新推荐文章于 2024-01-30 19:54:14 发布

阅读量770

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop & Cloud Computing

本文链接：https://blog.youkuaiyun.com/xiaocaidexuexibiji/article/details/17484809

Hadoop & Cloud Computing 专栏收录该内容

17 篇文章

订阅专栏

本文推荐了由斯坦福大学SNAP实验室提供的多种数据集合，包括社交网络、社区网络、通信网络、引用网络、协同网络等，以及来自搜狗实验室的TB级互联网语料库、ClueWeb09 WebGraph数据集、Netflix电影访问库等，详细介绍了它们的应用场景与价值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

巧妇难为无米之炊,如果没有数据,大数据Hadoop系统再大也无意义了。

给大家推荐几个数据集合
1.【Stanford Dataset】来源于美国斯坦福大学SNAP实验室，数据子集合涉及社交网络，Ground-Truth社区网络，通信网络，引用网络，协同网络，Web图挖掘等16个大类，138个小类，总大小达45.9G。下载地址：http://t.cn/zjdJhPf
2.【Sogou Labs】搜狗实验室语料库访问地址: http://www.sogou.com/labs/resources.html
TB级别互联网语料库,可以用于全文检索的研究。链接关系库,可以用于pagerank计算。互联网图片库,可以用于图片数据计算。全网新闻数据,分类算法研究.
3.【ClueWeb09 语料库】 Web Graph 400G 的数据。是做PageRank 的好材料了。http://t.cn/zTFM4uQ
4.【netflix 电影访问库】可以用来计算推荐算法

当然这些数据其实都是死数据,如果没有海量用户来访问请求,价值依然无法发挥出来,大数据需要依靠闭环反馈来放大,这大数据也同样意味需要大系统,大用户来支持。不过研究研究也是乐趣,总比没有强吧。