nutch readdb -stats中5个状态的含义

最新推荐文章于 2021-02-16 16:57:49 发布
最新推荐文章于 2021-02-16 16:57:49 发布
阅读量1.4k 收藏
点赞数
分类专栏： nutch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiao_jun_0820/article/details/8760036
版权
本文介绍使用Nutch爬虫抓取网页后的统计数据解读，包括不同状态码的URL数量，如未抓取、成功抓取、页面不存在等状态，并提供抓取效率评估的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

成功抓取完成之后，运行bin/nutch readdb data/crawldb -stats，可以查看抓取的统计信息：

 

TOTAL urls:     1843
retry 0:        1838
retry 1:        5
min score:      0.0
avg score:      5.425936E-4
max score:      1.0
status 1 (db_unfetched):        1748
status 2 (db_fetched):  63
status 3 (db_gone):     1
status 4 (db_redir_temp):       29
status 5 (db_redir_perm):       2
CrawlDb statistics: done

 

5个状态的含义，1是还未请求的URL，2是成功抓取的URL（对应状态200），3对应404 ，4对应302 ，5对应301.

nutch爬虫原来是这样操作的！
weixin_44037478的博客
01-15 9406
一、nutch简介 nutch是大名鼎鼎的Doug Cutting发起的爬虫项目，nutch孵化了现在大数据处理框架Hadoop。在nutch V 0.8.0 版本之前，Hadoop是nutch的一部分，从nutch V0.8.0开始，HDFS和MapReduce从nutch中剥离出成为Hadoop。v0.8.0之后，nutch就完全构建在Hadoop的基础之上了。 Nutch是一个开源的网络...
Nutch 学习笔记2 - 查看抓取的文件
谷雨
11-10 695
http://z60014840.blog.163.com/blog/static/36372889201332085636597/ 查看抓取后的文件夹 ls data           -- 有3个文件夹 crawldb  linkdb  segments ls data/crawldb   -- 有2个文件夹：current  old。其中old 做冗余备份
nutch持久化问题
WitsMakeMen的专栏
07-26 905
nutch中要持久化的数据都有两个方法，将需要持久化得数据通过write写出，恢复时通过read读入，我想CrawlDatum类中，添加了两个boolean型的属性，生成数据库后再用CrawlDbReader类读取，发现值都为false，后来发现没有将这两个属性进行写入的原因，问题解决。 public static CrawlDatum read(DataInput in) throws I
Nutch爬取网页ReadSegmen dump中文乱码问题
lee1061的专栏
06-18 1006
Nutch爬取网页ReadSegment dump默认源代码编码为UTF-8,将Content.getContent()获取byte[]转码即可。
Nutch搜索引擎（第3期）_ Nutch简单应用
weixin_33743880的博客
04-14 162
1、Nutch命令详解 Nutch采用了一种命令的方式进行工作，其命令可以是对局域网方式的单一命令也可以是对整个Web进行爬取的分步命令。 要看Nutch的命令说明，可执行"Nutch"命令。         下面是单个命令的说明： crawl crawl是"org.apache.nutch.crawl.Crawl"的别称，它是一个完整的爬取和索引过程命令。  ...
个人网站搭建（3）
基斯卡人lmy
09-09 491
连接数据库 首先安装mysql数据库。ubuntu可以使用命令：sudo apt-get install mysql-server安装。安装后运行：service mysqld start。 安装 Python-MySQLdb 命令： #sudo apt-get install build-essential Python-dev libmysqlclient-dev sudo apt-g
stats | 概率分布与随机数生成（一）——离散型分布
R语言学堂
02-16 3382
随机变量的分布模式是统计模型的基础，R的基础包stats提供了许多关于概率分布的函数。本篇主要介绍离散型分布，包括两点分布、二项分布、帕斯卡分布、负二项分布、几何分布、超几何分布和泊松分布...
Nutch爬虫命令详解：Crawl与ReadDB
通过 `crawl` 和 `readdb` 命令，我们可以控制和监控爬取过程，同时利用其丰富的字段信息来优化索引和搜索结果。理解这些字段和命令的用法对于有效管理 Nutch 爬虫至关重要。在实际应用中，根据项目需求调整参数配置...
把多次用nutch_crawl获得的所有目录合并在一起
09-06
为了便于了解合并后的数据库规模，`nutch readdb -stats`命令提供了数据库的一些统计信息，如抓取的网页数量、错误率等。 在执行`mergecrawls.sh`脚本时，需要指定三个参数：新生成的合并目录路径，以及要合并的两...
Nutch相关框架视频教程 讲义 杨尚川
10-24
bin/nutch readdb data/crawldb-stats bin/nutch readdb data/crawldb-dumpdata/crawldb/crawldb_dump bin/nutch readdb data/crawldb-url http://4008209999.tianyaclub.com/ bin/nutch readdb data/crawldb-...
Nutch搜索引擎·Nutch简单应用（第3期）
10-29
此外，Nutch还提供了readdb命令，它是“org.apache.nutch.crawl.CrawlDbReader”的别称，主要用于返回或者导出Crawl数据库（crawldb）中的信息。使用该命令可以查看爬取统计信息、导出爬取数据库到文件，或者打印出...
[Nutch]查看Nutch生成目录下的具体内容
Kandy
04-24 2283
在上一篇博文里面对nutch爬虫在抓取数据的时候产生的目录进行的说明，那么这写目录文件里面的内容如何才能查看呢？本篇博文将详细为你介绍查看具体内容的方法。
Nutch学习笔记
李荣强
12-24 736
Nutch:学习笔记   apt-get: 命令是Ubuntu下的命令 yum install报错：Another app is currently holding the yum lock  ps  rm -rf /var/run/yum.pid ： 安装 svn: apt-get install subversion  用svn工具：获取nutch源码 安装ant : apt-g
Nutch 命令介绍
ATCO[这里，只是顺手插曲]
11-05 874
2. 单个命令的说明 2.1 bin/nutch crawl Usage: Crawl -solr [-dir d] [-threads n] [-depth i] [-topN N] 这是用于对urls进行一键式抓取的命令 2.2 bin/nutch readdb Usage: CrawlDbReader (-stats | -dump | -topN [
Nutch 读取搜索结果目录统计数据、提取链接结构信息
TJT999
06-09 4950
详看 Nutch命令 有中文介绍1.readdb读取Crawldb目录数据的一个命令检索完成后的第一件事情当然是查看一下数据库中的网页和链接的数目，这可以让我们确信Nutch已经成功的爬行了网页。Readdb 工具解析Crawldb目录并以可读的形式显示数据。The readdb tool parses the WebDB and displays portions of it i
Nutch读取网页字段
coco_ethan的专栏
12-14 1876
一、Nutch的一些读取命令 1.查看crawldb数据库 查看url地址总数和它的状态及评分：bin/nutch readdb url/crawldb/ -stats 查看每个url地址的详细内容，导出数据：bin/nutch readdb url/crawldb/ -dump crawldb(导出的地址) 查看具体的url，以163为例：bin/nu
Nutch 命令
caizhongda的专栏
09-21 197
Nutch采用了一种命令的方式进行工作，其命令可以是对局域网方式的单一命令也可以是对整个Web进行爬取的分步命令。主要的命令如下： 1. Crawl Crawl是“org.apache.nutch.crawl.Crawl”的别称，它是一个完整的爬取和索引过程命令。 使用方法： Shell代码 bin/nutch crawl [-dir d] [-threads n] [-...
Nutch抓取数据内容的详解
yhcelebrite的专栏
04-30 3095
之前以sina和csdn的blog为seed进行抓取，都出现Stopping at depth=1 - no more URLs to fetch. 所以最终以http://www.tianya.cn/blog/为例进行数据抓取，然后对抓取的数据内容进行解析： 命令：$ bin/nutch crawl tianya -dir crawl_tianya -depth 3 -topN 10（存放s
转：Nutch学习笔记--抓取过程简析
10-05 1281
在上篇学习笔记中http://www.cnblogs.com/huligong1234/p/3464371.html 主要记录Nutch安装及简单运行的过程。 笔记中 通过配置抓取地址http://blog.tianya.cn  并执行抓取命令 nohup ./bin/nutch crawl urls -dir data -threads 100 -depth 3 & 进行了抓取。本次笔
Apache Nutch抓取应用的nutch-web-api RESTFul接口
5. 安装与使用前提：为了使用nutch-web-api，用户需要确保有Apache Nutch的安装运行环境，并且必须在同一个服务器上运行。同时，还需要安装Node.js，因为nutch-web-api依赖于Node.js运行环境。在满足这些先决条件后...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值