nutch
关注
分享
扫一扫
文章平均质量分 85
TensorFlow学习
这个作者很懒，什么都没留下…
展开
-
error:No agents listed in 'http.agent.name' property 处理方式
错误原因 conf/nutch-default.xml中的http代理的值为空。使用vim 打开conf/nutch-default.xml 找到 http.agent.name 随便在中加一个值比如 http.agent.name test 问题解决!原创 2013-08-31 19:54:27 · 859 阅读 · 0 评论 -
nutch常用命令
网页抓取:bin/nutch crawl urls -dir crawl_data depth 3 -topN5原创 2013-08-31 20:52:12 · 712 阅读 · 0 评论 -
nutch命令详解
nutch 命令 Nutch采用了一种命令的方式进行工作，其命令可以是对局域网方式的单一命令也可以是对整个Web进行爬取的分步命令。主要的命令如下： 1. Crawl Crawl是“org.apache.nutch.crawl.Crawl”的别称，它是一个完整的爬取和索引过程命令。 使用方法： Shell代码 bin/nutch crawl [-dir d] [-thre转载 2013-08-31 21:00:32 · 705 阅读 · 0 评论 -
nutch的数据结构
Nutch数据包含3个目录结构，分别是：1、Crawldb:用于存储Nutch将要检索的url信息，以及检索状态(是否检索、何时检索)2、Linkdb:用于存储每一个url所包含的超链接信息(包括锚点)3、Segments:一组url的集合，他们作为一个检索单元，可用于分布式检索Segment目录包含以下子目录信息:(1) crawl_generate:原创 2013-09-01 19:31:32 · 647 阅读 · 0 评论 -
nutch命令
关键字: nutch 命令 Nutch采用了一种命令的方式进行工作，其命令可以是对局域网方式的单一命令也可以是对整个Web进行爬取的分步命令。主要的命令如下：1. Crawl Crawl是“org.apache.nutch.crawl.Crawl”的别称，它是一个完整的爬取和索引过程命令。 使用方法： Shell代码 bin/nutch crawl [-dir d]转载 2013-09-02 08:45:42 · 623 阅读 · 0 评论 -
Nutch2.1+mysql+solr3.6.1+中文网站抓取
1、mysql 数据库配置 linux mysql安装步骤省略。 创建数据库与表 [sql] view plaincopyprint?CREATE DATABASE nutch DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREA转载 2013-09-03 12:40:28 · 1102 阅读 · 0 评论