commoncrawl 源码库是用于 Hadoop 的自定义 InputFormat 配送实现

最新推荐文章于 2025-02-12 12:50:07 发布
转载 最新推荐文章于 2025-02-12 12:50:07 发布 · 211 阅读 · 0
文章标签：

#大数据 #java

CommonCrawl源码库提供了Hadoop自定义InputFormat实现，包含示例程序BasicArcFileReaderSample.java来配置InputFormat。该库支持通过master分支进行最新代码的获取。

commoncrawl 源码库是用于 Hadoop 的自定义 InputFormat 配送实现。

Common Crawl 提供一个示例程序 BasicArcFileReaderSample.java (位于 org.commoncrawl.samples) 用来配置 InputFormat。

commoncrawl / commoncrawl

Watch 414 Fork 86

CommonCrawl Project Repository — More...

http://www.commoncrawl.org

Issues
#10Add jar to maven central repository?by wiseman  2014-05-14
#9sameerby sameerpany  2014-03-25
#7Update binaries path in build.xmlby andy-m  2012-10-30
#6Fix group id for Mavenby jseppanen  2012-04-03
#5VerifyErrorby gsingers  2012-05-07

master分支代码最近更新：2013-02-14

下载zip
Common Crawl数据集【cc数据集】
u013250861的博客
08-16 1841
Common Crawl数据集【cc数据集】
hadoop 自定义分区
congge
01-03 1万+
hadoop 自定义分区总结
common-crawl
05-17
推论网络的结构 该项目的目标是对网页的结构进行分类，并根据频率和领域信息汇总这些结构。 该项目将使网页的重点抓取成为可能，并将帮助研究人员以网络规模提取数据。 由于数据集的庞大性和非结构化性，我们计划使用Hadoop生态系统中的工具（带有Tez，Apache Hive和HBase的Apache Pig）。 具体来说，具有相似html布局的页面将具有相似的html组件。 因此，叶节点的文档对象模型（DOM）路径大致描述了组件在页面渲染中的可视位置。 通过专门针对四个主要的视觉组件（例如按钮，图像，链接和视频），将生成XPath表达式的集合。 然后将基于路径结构和域信息对这些对象进行分组，然后计算网页的频率。 数据集 该项目使用的数据集来自2015年5月的网络抓取（通用抓取），其中包含超过159 TB的数据和超过20.5亿个网页。 学分 创意积分： : Web存档数据积分：Common
common_crawl
05-17
用于从Common Crawl中提取文本的代码 将文件列表URL下载到WET文件并进行更正： sed -i 's/common/https\:\/\/aws\-publicdatasets\.s3\.amazonaws\.com\/common/g' wet.paths 将网址提供给python脚本，以下载提取的，清理后的文本文件： python3 download_clean.py wet.paths downloaded 要删除本质上为空的文件，请使用： ls -l downloaded/ | awk '{if(NF > 2 && $5+0 < 100) printf("downloaded/%s\n",$9);}' | xargs rm 要随机采样100个文件，请使用： cp $(ls -l downloaded | tail -8581 | shuf | head -
大模型训练数据库Common Crawl
u013308709的博客
09-11 2654
‌‌Common Crawl是一个非营利组织，致力于通过大规模分布式爬虫系统定期抓取整个Web并将其存储在一个可公开访问的数据库中。Common Crawl的数据收集和处理过程包括使用Python开源爬虫工具收集全球范围内的网站数据，并将其上传到‌Common Crawl基金会的数据仓库中。该项目从2008年开始，至今已经积累了大量的原始网页数据、元数据和文本提取数据。这些数据经过处理后，可以用于自然语言处理和机器学习的训练。
Common Crawl新闻爬虫指南
gitblog_00401的博客
08-16 1071
Common Crawl新闻爬虫指南 1. 项目目录结构及介绍 Common Crawl的新闻爬虫项目基于GitHub仓库 commoncrawl/news-crawl，其目录结构精心设计以支持高效的新闻数据抓取。以下是关键的目录与文件概览： src: 包含核心的源代码文件，进一步分为不同的子包来组织逻辑。 main: 存放主应用程序逻辑，包括启动类和主要处理流程。 resources: 配...
自定义inputFormat&&outputFormat1
08-08
自定义inputFormat&&outputFormat1
CustomInputFormatCollection:Hadoop Mapreduce InputFormat 集合
06-13
Hadoop 代码使用方式 job.setInputFormatClass(SmallFileCombineTextInputFormat.class); 当前Maven提加如下依赖 讲无法从reposity中找到直接jar,需手动编译下载，后续加入到 sohu 公司内部repo二方库中 org.apache...
实战hadoop中的源码
12-15
7. **扩展性与插件开发**：学习如何为Hadoop开发自定义InputFormat、OutputFormat、Partitioner、Combiner等组件。 8. **实战项目**：结合实际案例，运用所学知识解决大数据处理问题，如日志分析、推荐系统等。 ...
Hadoop-Hive 自定义函数实现步骤
热门推荐
Ele_sorriu的博客
12-17 1万+
1、创建maven java 工程，导入jar包 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> </repository> </repositories> <depend...
common_crawl:用于处理 Common Crawl 和命令行实用程序的简单 Python MapReduce 作业
06-27
common_crawl 用于处理 Common Crawl 和命令行实用程序的 Python MapReduce 作业。 入门 确保您设置了 EC2 帐户 ( )。 您将需要以下便利： 您启动 EC2 实例的访问密钥和秘密 在 S3 上用于存储中间和最终作业结果的存储桶 注册 Elastic MapReduce (EMR)。 您不需要启动任何集群，因为默认情况下，MRJob 会在每个作业启动时创建一个临时集群（尽管如果您想重用现有集群，这是可配置的，请参阅： : ）。 命令行作业的基本用法 这个 repo 使用 MRJob，这是一个来自 Yelp 的 Python MapReduce 库，它对于在 AWS 上启动临时 Elastic MapReduce (EMR) 集群特别有用，运行单个作业并在失败/完成时停止实例。 MRJob 可以在本地或标准（非 EMR）Hadoop 集群
【免费下载】 探索 Common Crawl：一个开放的数据共享平台
gitblog_00080的博客
03-14 4365
探索 Common Crawl：一个开放的数据共享平台 是一个非营利组织，致力于为全球用户提供免费的网络爬虫数据。该项目的目标是构建一个大规模的、公开可用的 web 爬虫数据集，以便研究人员、开发者和公众可以探索互联网上的信息。 Common Crawl 能用来做什么？ Common Crawl 提供了大量有关网络的信息，这些信息可用于各种用途。以下是一些示例： 研究：研究人员可以利用 Comm...
Common Crawl 统计项目使用教程
gitblog_01060的博客
10-10 430
Common Crawl 统计项目使用教程 1. 项目目录结构及介绍 cc-crawl-statistics/ ├── _layouts/ ├── assets/ ├── plot/ ├── plots/ ├── stats/ ├── tests/ ├── .gitignore ├── LICENSE ├── README.md ├── _config.yml ├── crawlplot.py ├...
在 Common Crawl 查询下载网页数据，本地 pywb 浏览 WARC 存档
最新发布
gaoshu883的博客
02-12 649
我从 FineWeb 项目了解到 Common Crawl 网站，想亲眼看看 Common Crawl 里存的数据……文件搬到 tiku_collections/archive/ 目录下。，随意选择 Index：November/December 2022 Index，URL Pattern填写：。访问 http://localhost:8080/tiku_collections/ ，在集合中搜索页面快照。[数据文件路径]” 的方式下载上述文件，“数据文件路径”是 filename 的值。
Common Crawl-给你谷歌级的免费数据
chinaliping的专栏
07-04 8827
Common Crawl网站提供了包含超过50亿份网页数据的免费数据库，并希望这项服务能激发更多新的研究或在线服务。 为什么重要 研究者或者开发者可以利用这数十亿的网页数据，创建如谷歌级别的新巨头公司。 谷歌最开始是因为它的page rank算法能给用户提供准确的搜索结果而站稳脚跟的。但是巨大的搜索结果来源于谷歌的网页爬虫程序对每个页面的收集，并将这些网页数据存储在自
Nutch简介（转4）（CommonCrawl）
在巴黎铁塔 :-)
05-16 693
原文链接 - CommonCrawl – Extract 4.6 billion Web Document x.
CommonCrawlDocumentDownload踩坑记录
咸菜猫的博客
07-31 3764
commoncrawl是一个开放的数据平台，它预先爬取了数年的互联网信息（包括网页、文件等），研究人员可直接通过其维护的数据直接爬取，而不用自行探索爬取的渠道。该网站提供了示例代码列表供参考。该网站主要可用于大数据分析，而对于需要针对特定网站进行爬取的爬虫则没有帮助。 本文记录在使用示例代码CommonCrawlDocumentDownload来下载特定类型文档时踩的坑。 CommonCrawlD...
推荐开源项目：comcrawl —— 轻松探索 Common Crawl 的数据宝库
gitblog_00515的博客
08-29 1159
推荐开源项目：comcrawl —— 轻松探索 Common Crawl 的数据宝库 在海量数据的探索之旅中，有一款名为comcrawl的Python包正等待着广大开发者们的发现。它简化了访问和下载commoncrawl.org所提供的数十亿网页数据的过程，为NLP项目、数据分析等应用领域打开了一扇便捷之门。 项目简介 comcrawl，由一位爱好者的灵感驱动而诞生，旨在让查询和下载Comm...
【亲测免费】 Common Crawl 统计分析项目教程
gitblog_00244的博客
10-10 854
Common Crawl 统计分析项目教程 1. 项目介绍 Common Crawl 统计分析项目（cc-crawl-statistics）是一个用于分析 Common Crawl 每月存档数据的工具。Common Crawl 是一个非营利组织，致力于提供大规模的网页存档数据，供研究人员、开发者和数据科学家使用。该项目通过解析 Common Crawl 的 URL 索引文件，生成关于每月爬取数据的...
深入解析Hadoop自定义Partitioner源码实现
自定义Partitioner需要继承org.apache.hadoop.mapreduce.Partitioner类，并实现getPartition()方法。getPartition()方法的输入参数包括Key、Value、以及Reduce任务的总数。该方法返回一个整数，该整数代表Key应该被...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值