Nutch全文搜索学习笔记

最新推荐文章于 2015-12-24 10:30:17 发布
最新推荐文章于 2015-12-24 10:30:17 发布
阅读量670 收藏
点赞数
分类专栏： 数据处理
Nutch 1.3 学习笔记1
--------------------

1. Nutch是什么?

Nutch是一个开源的网页抓取工具，主要用于收集网页数据，然后对其进行分析，建立索引，以提供相应的接口来对其网页数据进行查询的一套工具。其底层使用了Hadoop来做分布式计算与存储，索引使用了Solr分布式索引框架来做，Solr是一个开源的全文索引框架，从Nutch 1.3开始，其集成了这个索引架构


2. 在哪里要可以下载到最新的Nutch?

在下面地址中可以下载到最新的Nutch 1.3二进制包和源代码
http://mirror.bjtu.edu.cn/apache//nutch/


3. 如何配置Nutch?

   3.1 对下载后的压缩包进行解压，然后cd $HOME/nutch-1.3/runtime/local
   3.2 配置bin/nutch这个文件的权限，使用chmod +x bin/nutch 
   3.3 配置JAVA_HOME，使用export JAVA_HOME=$PATH

4. 抓取前要做什么准备工作?

4.1 配置http.agent.name这个属性，如下
[html] view plain copy print ?
  1. <PRE class=html name="code"><property>  
  2.     <name>http.agent.name</name>  
  3.     <value>My Nutch Spider</value>  
  4. </property></PRE><BR>  
  5. <BR>  
  6. <PRE></PRE>  
  7. <PRE></PRE>  
  8. <PRE></PRE>  
  9. <PRE></PRE>  

   

    

     

      [html] 
      view plain
      copy
      print
      ?
     

    

    
  1. <property>  
  2.     <name>http.agent.name</name>  
  3.     <value>My Nutch Spider</value>  
  4. </property>  

   












 
 
 
 
  
 
4.2 建立一个地址目录,mkdir -p urls
 
    在这个目录中建立一个url文件，写上一些url，如
 
 
 
 
  
 
   
 
    

     [html] 
      view plain
     copy
     print
     ?
    
 
   
 
   
  1. http://nutch.apache.org/  
 
  
 
  
http://nutch.apache.org/

 
 
 
 
  
 
4.3 然后运行如下命令
 
  
 
 
  
 
   
 
    

     [html] 
      view plain
     copy
     print
     ?
    
 
   
 
   
  1. bin/nutch crawl urls -dir crawl -depth 3 -topN 5  
 
  
 
  
bin/nutch crawl urls -dir crawl -depth 3 -topN 5

 
 
 
 
 注意，这里是不带索引的，如果要对抓取的数据建立索引，运行如下命令
 
 
  
 
 
  
 
   
 
    

     [html] 
      view plain
     copy
     print
     ?
    
 
   
 
   
  1. bin/nutch crawl urls -solr http://localhost:8983/solr/ -depth 3 -topN 5  
 
  
 
  
bin/nutch crawl urls -solr http://localhost:8983/solr/ -depth 3 -topN 5

 
 
 
5. Nutch的抓取流程是什么样子的？
 
 
5.1 初始化crawlDb，注入初始url
 
  
 
 
   
  
 
   
 
    

     [html] 
      view plain
     copy
     print
     ?
    
 
   
 
   
  1. <PRE class=html name="code">bin/nutch inject   
  2. Usage: Injector <crawldb> <url_dir></PRE>  
  3. <PRE></PRE>  
  4. <PRE></PRE>  
  5. <PRE></PRE>  
  6. <PRE></PRE>  
 
  
 
  

   

    

     

      [html] 
      view plain
      copy
      print
      ?
     

    

    
  1. bin/nutch inject   
  2. Usage: Injector <crawldb> <url_dir>  

   












 
 
 
 
 
 
 在我本地运行这个命令后的输出结果如下：
 
 
  
 
 
  
 
   

    [html] 
     view plain
    copy
    print
    ?
   
 
  
 
  
  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch inject db/crawldb urls/  
  2.         Injector: starting at 2011-08-22 10:50:01  
  3.         Injector: crawlDb: db/crawldb  
  4.         Injector: urlDir: urls  
  5.         Injector: Converting injected urls to crawl db entries.  
  6.         Injector: Merging injected urls into crawl db.  
  7.         Injector: finished at 2011-08-22 10:50:05, elapsed: 00:00:03  
 
 
 
 
lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch inject db/crawldb urls/
		Injector: starting at 2011-08-22 10:50:01
		Injector: crawlDb: db/crawldb
		Injector: urlDir: urls
		Injector: Converting injected urls to crawl db entries.
		Injector: Merging injected urls into crawl db.
		Injector: finished at 2011-08-22 10:50:05, elapsed: 00:00:03
 
 
5.2 产生新的抓取urls
 
  
 
 
  
 
   

    [html] 
     view plain
    copy
    print
    ?
   
 
  
 
  
  1. bin/nutch generate  
  2. Usage: Generator <crawldb> <segments_dir> [-force] [-topN N] [-numFetchers numFetchers] [-adddays numDays] [-noFilter] [-noNorm][-maxNumSegments num]  
 
 
 
 
bin/nutch generate
Usage: Generator <crawldb> <segments_dir> [-force] [-topN N] [-numFetchers numFetchers] [-adddays numDays] [-noFilter] [-noNorm][-maxNumSegments num]

 
 
 
 
 本机输出结果如下：
 
 
  
 
 
  
 
   

    [html] 
     view plain
    copy
    print
    ?
   
 
  
 
  
  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch generate db/crawldb/ db/segments  
  2.         Generator: starting at 2011-08-22 10:52:41  
  3.         Generator: Selecting best-scoring urls due for fetch.  
  4.         Generator: filtering: true  
  5.         Generator: normalizing: true  
  6.         Generator: jobtracker is 'local', generating exactly one partition.  
  7.         Generator: Partitioning selected urls for politeness.  
  8.         Generator: segment: db/segments/20110822105243   // 这里会产生一个新的segment  
  9.         Generator: finished at 2011-08-22 10:52:44, elapsed: 00:00:03  
 
 
 
 
lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch generate db/crawldb/ db/segments
		Generator: starting at 2011-08-22 10:52:41
		Generator: Selecting best-scoring urls due for fetch.
		Generator: filtering: true
		Generator: normalizing: true
		Generator: jobtracker is 'local', generating exactly one partition.
		Generator: Partitioning selected urls for politeness.
		Generator: segment: db/segments/20110822105243   // 这里会产生一个新的segment
		Generator: finished at 2011-08-22 10:52:44, elapsed: 00:00:03
 
 
5.3 对上面产生的url进行抓取
 
  
 
 
  
 
   

    [html] 
     view plain
    copy
    print
    ?
   
 
  
 
  
  1. bin/nutch fetch  
  2. Usage: Fetcher <segment> [-threads n] [-noParsing]  
 
 
 
 
		bin/nutch fetch
		Usage: Fetcher <segment> [-threads n] [-noParsing]


 
 这里是本地的输出结果：
 
 
  
 
 
  
 
   

    [html] 
     view plain
    copy
    print
    ?
   
 
  
 
  
  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch fetch db/segments/20110822105243/  
  2.         Fetcher: Your 'http.agent.name' value should be listed first in 'http.robots.agents' property.  
  3.         Fetcher: starting at 2011-08-22 10:56:07  
  4.         Fetcher: segment: db/segments/20110822105243  
  5.         Fetcher: threads: 10  
  6.         QueueFeeder finished: total 1 records + hit by time limit :0  
  7.         fetching http://www.baidu.com/  
  8.         -finishing thread FetcherThread, activeThreads=1  
  9.         -finishing thread FetcherThread, activeThreads=  
  10.         -finishing thread FetcherThread, activeThreads=1  
  11.         -finishing thread FetcherThread, activeThreads=1  
  12.         -finishing thread FetcherThread, activeThreads=0  
  13.         -activeThreads=0, spinWaiting=0, fetchQueues.totalSize=0  
  14.         -activeThreads=0  
  15.         Fetcher: finished at 2011-08-22 10:56:09, elapsed: 00:00:02  
 
 
 
 
lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch fetch db/segments/20110822105243/
		Fetcher: Your 'http.agent.name' value should be listed first in 'http.robots.agents' property.
		Fetcher: starting at 2011-08-22 10:56:07
		Fetcher: segment: db/segments/20110822105243
		Fetcher: threads: 10
		QueueFeeder finished: total 1 records + hit by time limit :0
		fetching http://www.baidu.com/
		-finishing thread FetcherThread, activeThreads=1
		-finishing thread FetcherThread, activeThreads=
		-finishing thread FetcherThread, activeThreads=1
		-finishing thread FetcherThread, activeThreads=1
		-finishing thread FetcherThread, activeThreads=0
		-activeThreads=0, spinWaiting=0, fetchQueues.totalSize=0
		-activeThreads=0
		Fetcher: finished at 2011-08-22 10:56:09, elapsed: 00:00:02

 
 
 
 
 我们来看一下这里的segment目录结构
 
 
  
 
 
  
 
   

    [html] 
     view plain
    copy
    print
    ?
   
 
  
 
  
  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ ls db/segments/20110822105243/  
  2. content  crawl_fetch  crawl_generate  
 
 
 
 
	lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ ls db/segments/20110822105243/
	content  crawl_fetch  crawl_generate
 
 
5.4 对上面的结果进行解析
 
  
 
 
  
 
    
   
 
    
 
     

      [html] 
       view plain
      copy
      print
      ?
     
 
    
 
    
  1. <PRE class=html name="code">bin/nutch parse  
  2. Usage: ParseSegment segment</PRE>  
  3. <PRE></PRE>  
  4. <PRE></PRE>  
  5. <PRE></PRE>  
  6. <PRE></PRE>  
 
   
 
   

    

     

      

       [html] 
       view plain
       copy
       print
       ?
      

     

     
  1. bin/nutch parse  
  2. Usage: ParseSegment segment  

    












  
 
 
 
 
 
 本机输出结果：
 
 
  
 
 
  
 
    
   
 
    
 
     

      [html] 
       view plain
      copy
      print
      ?
     
 
    
 
    
  1. <PRE class=html name="code">lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch parse db/segments/20110822105243/  
  2. ParseSegment: starting at 2011-08-22 10:58:19  
  3. ParseSegment: segment: db/segments/20110822105243  
  4. ParseSegment: finished at 2011-08-22 10:58:22, elapsed: 00:00:02</PRE>  
  5. <PRE></PRE>  
  6. <PRE></PRE>  
  7. <PRE></PRE>  
  8. <PRE></PRE>  
 
   
 
   

    

     

      

       [html] 
       view plain
       copy
       print
       ?
      

     

     
  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch parse db/segments/20110822105243/  
  2. ParseSegment: starting at 2011-08-22 10:58:19  
  3. ParseSegment: segment: db/segments/20110822105243  
  4. ParseSegment: finished at 2011-08-22 10:58:22, elapsed: 00:00:02  

    












  
 
 
 
 
 
 我们再来看一下解析后的目录结构
 
 
  
 
 
  
 
    
   
 
    
 
     

      [html] 
       view plain
      copy
      print
      ?
     
 
    
 
    
  1. <PRE class=html name="code">lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ ls db/segments/20110822105243/  
  2. content  crawl_fetch  crawl_generate  crawl_parse  parse_data  parse_text</PRE>  
  3. <PRE></PRE>  
  4. <PRE></PRE>  
  5. <PRE></PRE>  
  6. <PRE></PRE>  
 
   
 
   

    

     

      

       [html] 
       view plain
       copy
       print
       ?
      

     

     
  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ ls db/segments/20110822105243/  
  2. content  crawl_fetch  crawl_generate  crawl_parse  parse_data  parse_text  

    












  
 
 
 
 
 
 这里多了三个解析后的目录。
 
 
 

 
 
 
5.5 更新外链接数据库
 
  
 
 
  
 
   

    [html] 
     view plain
    copy
    print
    ?
   
 
  
 
  
  1. bin/nutch updatedb  
  2. Usage: CrawlDb <crawldb> (-dir <segments> | <seg1> <seg2> ...) [-force] [-normalize] [-filter] [-noAdditions]  
 
 
 
 
	bin/nutch updatedb
	Usage: CrawlDb <crawldb> (-dir <segments> | <seg1> <seg2> ...) [-force] [-normalize] [-filter] [-noAdditions]

 
 
 本机输出结果：
 
 
  
 
 
  
 
    
   
 
    
 
     

      [html] 
       view plain
      copy
      print
      ?
     
 
    
 
    
  1. <PRE class=html name="code">lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch updatedb db/crawldb/ -dir db/segments/  
  2. CrawlDb update: starting at 2011-08-22 11:00:09  
  3. CrawlDb update: db: db/crawldb  
  4. CrawlDb update: segments: [file:/home/lemo/Workspace/java/Apache/Nutch/nutch-1.3/db/segments/20110822105243]  
  5. CrawlDb update: additions allowed: true  
  6. CrawlDb update: URL normalizing: false  
  7. CrawlDb update: URL filtering: false  
  8. CrawlDb update: Merging segment data into db.  
  9. CrawlDb update: finished at 2011-08-22 11:00:10, elapsed: 00:00:01</PRE>  
  10. <PRE></PRE>  
  11. <PRE></PRE>  
  12. <PRE></PRE>  
  13. <PRE></PRE>  
 
   
 
   

    

     

      

       [html] 
       view plain
       copy
       print
       ?
      

     

     
  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch updatedb db/crawldb/ -dir db/segments/  
  2. CrawlDb update: starting at 2011-08-22 11:00:09  
  3. CrawlDb update: db: db/crawldb  
  4. CrawlDb update: segments: [file:/home/lemo/Workspace/java/Apache/Nutch/nutch-1.3/db/segments/20110822105243]  
  5. CrawlDb update: additions allowed: true  
  6. CrawlDb update: URL normalizing: false  
  7. CrawlDb update: URL filtering: false  
  8. CrawlDb update: Merging segment data into db.  
  9. CrawlDb update: finished at 2011-08-22 11:00:10, elapsed: 00:00:01  

    












  
 
 
 
 
 
 这时它会更新crawldb链接库，这里是放在文件系统中的，像taobao抓取程序的链接库是用redis来做的，一种key-value形式的NoSql数据库。
 
 
 
 
 5.6 计算反向链接
 
 
  
 
 
  
 
    
   
 
    
 
     

      [html] 
       view plain
      copy
      print
      ?
     
 
    
 
    
  1. <PRE class=html name="code">bin/nutch invertlinks  
  2. Usage: LinkDb <linkdb> (-dir <segmentsDir> | <seg1> <seg2> ...) [-force] [-noNormalize] [-noFilter]</PRE>  
  3. <PRE></PRE>  
  4. <PRE></PRE>  
  5. <PRE></PRE>  
 
   
 
   

    

     

      

       [html] 
       view plain
       copy
       print
       ?
      

     

     
  1. bin/nutch invertlinks  
  2. Usage: LinkDb <linkdb> (-dir <segmentsDir> | <seg1> <seg2> ...) [-force] [-noNormalize] [-noFilter]  

    










  
 
 
 
 
 
 本地输出结果：
 
 
  
 
 
  
 
    
   
 
    
 
     

      [html] 
       view plain
      copy
      print
      ?
     
 
    
 
    
  1. <PRE class=html name="code">lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch invertlinks db/linkdb -dir db/segments/  
  2. LinkDb: starting at 2011-08-22 11:02:49  
  3. LinkDb: linkdb: db/linkdb  
  4. LinkDb: URL normalize: true  
  5. LinkDb: URL filter: true  
  6. LinkDb: adding segment: file:/home/lemo/Workspace/java/Apache/Nutch/nutch-1.3/db/segments/20110822105243  
  7. LinkDb: finished at 2011-08-22 11:02:50, elapsed: 00:00:01</PRE>  
  8. <PRE></PRE>  
  9. <PRE></PRE>  
  10. <PRE></PRE>  
  11. <PRE></PRE>  
 
   
 
   

    

     

      

       [html] 
       view plain
       copy
       print
       ?
      

     

     
  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch invertlinks db/linkdb -dir db/segments/  
  2. LinkDb: starting at 2011-08-22 11:02:49  
  3. LinkDb: linkdb: db/linkdb  
  4. LinkDb: URL normalize: true  
  5. LinkDb: URL filter: true  
  6. LinkDb: adding segment: file:/home/lemo/Workspace/java/Apache/Nutch/nutch-1.3/db/segments/20110822105243  
  7. LinkDb: finished at 2011-08-22 11:02:50, elapsed: 00:00:01  

    












  
 
 
 
 
 
 5.7 使用Solr为抓取的内容建立索引
 
 
  
 
 
  
 
   

    [html] 
     view plain
    copy
    print
    ?
   
 
  
 
  
  1. bin/nutch solrindex  
  2. Usage: SolrIndexer <solr url> <crawldb> <linkdb> (<segment> ... | -dir <segments>  
 
 
 
 
	bin/nutch solrindex
	Usage: SolrIndexer <solr url> <crawldb> <linkdb> (<segment> ... | -dir <segments>


 
 
 Nutch端的输出如下：
 
 
  
 
 
  
 
   
 
    
 
     

      [html] 
       view plain
      copy
      print
      ?
     
 
    
 
    
  1. lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch solrindex http://127.0.0.1:8983/solr/ db/crawldb/ db/linkdb/ db/segments/*  
 
   
 
   
lemo@debian:~/Workspace/java/Apache/Nutch/nutch-1.3$ bin/nutch solrindex http://127.0.0.1:8983/solr/ db/crawldb/ db/linkdb/ db/segments/*

  
 
  
 
   
 
    
 
     

      [html] 
       view plain
      copy
      print
      ?
     
 
    
 
    
  1. SolrIndexer: starting at 2011-08-22 11:05:33  
 
   
 
   
SolrIndexer: starting at 2011-08-22 11:05:33

  
 
  
 
   
 
    
 
     

      [html] 
       view plain
      copy
      print
      ?
     
 
    
 
    
  1. SolrIndexer: finished at 2011-08-22 11:05:35, elapsed: 00:00:02  
 
   
 
   
SolrIndexer: finished at 2011-08-22 11:05:35, elapsed: 00:00:02

  
 
 
 
 
 
 Solr端的部分输出如下：
 
 
  
 
 
  
 
   

    [html] 
     view plain
    copy
    print
    ?
   
 
  
 
  
  1. INFO: SolrDeletionPolicy.onInit: commits:num=1  
  2.        commit{dir=/home/lemo/Workspace/java/Apache/Solr/apache-solr-3.3.0/example/solr/data/index,segFN=segments_1,version=1314024228223,generation=1,filenames=[segments_1]  
  3. Aug 22, 2011 11:05:35 AM org.apache.solr.core.SolrDeletionPolicy updateCommits  
  4. INFO: newest commit = 1314024228223  
  5. Aug 22, 2011 11:05:35 AM org.apache.solr.update.processor.LogUpdateProcessor finish  
  6. INFO: {add=[http://www.baidu.com/]} 0 183  
  7. Aug 22, 2011 11:05:35 AM org.apache.solr.core.SolrCore execute  
  8. INFO: [] webapp=/solr path=/update params={wt=javabin&version=2} status=0 QTime=183  
  9. Aug 22, 2011 11:05:35 AM org.apache.solr.update.DirectUpdateHandler2 commit  
  10. INFO: start commit(optimize=false,waitFlush=true,waitSearcher=true,expungeDeletes=false)  
 
 
 
 
	INFO: SolrDeletionPolicy.onInit: commits:num=1
        commit{dir=/home/lemo/Workspace/java/Apache/Solr/apache-solr-3.3.0/example/solr/data/index,segFN=segments_1,version=1314024228223,generation=1,filenames=[segments_1]
	Aug 22, 2011 11:05:35 AM org.apache.solr.core.SolrDeletionPolicy updateCommits
	INFO: newest commit = 1314024228223
	Aug 22, 2011 11:05:35 AM org.apache.solr.update.processor.LogUpdateProcessor finish
	INFO: {add=[http://www.baidu.com/]} 0 183
	Aug 22, 2011 11:05:35 AM org.apache.solr.core.SolrCore execute
	INFO: [] webapp=/solr path=/update params={wt=javabin&version=2} status=0 QTime=183
	Aug 22, 2011 11:05:35 AM org.apache.solr.update.DirectUpdateHandler2 commit
	INFO: start commit(optimize=false,waitFlush=true,waitSearcher=true,expungeDeletes=false)

 
 
 5.8 在Solr的客户端查询
 
 
 在浏览器中输入 
 
 
  
 
 
  
 
   
 
    

     [html] 
      view plain
     copy
     print
     ?
    
 
   
 
   
  1. http://localhost:8983/solr/admin/  
 
  
 
  
http://localhost:8983/solr/admin/

 
 
 
 
 查询条件为baidu
 
 
  
 
输出的XML结构为
 
 
如果你要以HTML结构显示把Solr的配置文件solrconfig.xml中的content改为如下就可以
 <field name="content" type="text" stored="true" indexed="true"/>
 
 
 
 
 
 
  
 
   

    [html] 
     view plain
    copy
    print
    ?
   
 
  
 
  
  1.   
 
 
 
 

 

  

   

    

   

  

 

 

 
 

  

   

    [html] 
    view plain
    copy
    print
    ?
   

  

  
  1.     <PRE class=html name="code"><response>  
  2. <lst name="responseHeader">  
  3. <int name="status">0</int>  
  4. <int name="QTime">0</int>  
  5. <lst name="params">  
  6. <str name="indent">on</str>  
  7. <str name="start">0</str>  
  8. <str name="q">baidu</str>  
  9. <str name="version">2.2</str>  
  10. <str name="rows">10</str>  
  11. </lst>  
  12. </lst>  
  13. <result name="response" numFound="1" start="0">  
  14. <doc>  
  15. <float name="boost">1.0660036</float>  
  16. <str name="digest">7be5cfd6da4a058001300b21d7d96b0f</str>  
  17. <str name="id">http://www.baidu.com/</str>  
  18. <str name="segment">20110822105243</str>  
  19. <str name="title">百度一下，你就知道</str>  
  20. <date name="tstamp">2011-08-22T14:56:09.194Z</date>  
  21. <str name="url">http://www.baidu.com/</str>  
  22. </doc>  
  23. </result>  
  24. </response>  
  25. </PRE><BR>  
  26. <PRE></PRE>  
  27. <PRE class=html name="code" sizcache="0" sizset="68"><PRE class=html name="code" sizcache="0" sizset="69"><BLOCKQUOTE style="BORDER-BOTTOM-STYLE: none; PADDING-BOTTOM: 0px; BORDER-RIGHT-STYLE: none; MARGIN: 0px 0px 0px 40px; PADDING-LEFT: 0px; PADDING-RIGHT: 0px; BORDER-TOP-STYLE: none; BORDER-LEFT-STYLE: none; PADDING-TOP: 0px" sizcache="0" sizset="69"><PRE class=html name="code"></PRE><BR>  
  28. <H3><A name=t14></A>6 参考</H3>  
  29. http://wiki.apache.org/nutch/RunningNutchAndSolr  
  30. <PRE></PRE>  
  31. <SPAN style="FONT-FAMILY: Arial,Verdana,sans-serif"><SPAN style="WHITE-SPACE: normal"></SPAN></SPAN>  
  32. <PRE></PRE>  
  33. <BLOCKQUOTE></BLOCKQUOTE>  
  34. <PRE></PRE>  
  35. <PRE></PRE>  
  36. <PRE></PRE>  
  37. <BLOCKQUOTE></BLOCKQUOTE>  
  38. <PRE></PRE>  
  39. <PRE></PRE>  
  40. <PRE></PRE>  
  41.   
  42. </BLOCKQUOTE></PRE></PRE>  

 

 




  


   


    

     [html] 
     
view plain
     copy
     print
     ?
    


   


   
  1. <PRE class=html name="code" sizcache="0" sizset="69"><BLOCKQUOTE style="BORDER-BOTTOM-STYLE: none; PADDING-BOTTOM: 0px; BORDER-RIGHT-STYLE: none; MARGIN: 0px 0px 0px 40px; PADDING-LEFT: 0px; PADDING-RIGHT: 0px; BORDER-TOP-STYLE: none; BORDER-LEFT-STYLE: none; PADDING-TOP: 0px" sizcache="0" sizset="69"><PRE class=html name="code"></PRE><BR>  
  2. <H3><A name=t14></A>6 参考</H3>  
  3. http://wiki.apache.org/nutch/RunningNutchAndSolr  
  4. <PRE></PRE>  
  5. <SPAN style="FONT-FAMILY: Arial,Verdana,sans-serif"><SPAN style="WHITE-SPACE: normal"></SPAN></SPAN>  
  6. <PRE></PRE>  
  7. <BLOCKQUOTE></BLOCKQUOTE>  
  8. <PRE></PRE>  
  9. <PRE></PRE>  
  10. <PRE></PRE>  
  11. <BLOCKQUOTE></BLOCKQUOTE>  
  12. <PRE></PRE>  
  13. <PRE></PRE>  
  14. <PRE></PRE>  
  15.   
  16. </BLOCKQUOTE></PRE>  


  



   

    

     

      [html] 
      view plain
      copy
      print
      ?
     

    

    
  1. <BLOCKQUOTE style="BORDER-BOTTOM-STYLE: none; PADDING-BOTTOM: 0px; BORDER-RIGHT-STYLE: none; MARGIN: 0px 0px 0px 40px; PADDING-LEFT: 0px; PADDING-RIGHT: 0px; BORDER-TOP-STYLE: none; BORDER-LEFT-STYLE: none; PADDING-TOP: 0px" sizcache="0" sizset="69"><PRE class=html name="code"></PRE><BR>  
  2. <H3><A name=t14></A>6 参考</H3>  
  3. http://wiki.apache.org/nutch/RunningNutchAndSolr  
  4. <PRE></PRE>  
  5. <SPAN style="FONT-FAMILY: Arial,Verdana,sans-serif"><SPAN style="WHITE-SPACE: normal"></SPAN></SPAN>  
  6. <PRE></PRE>  
  7. <BLOCKQUOTE></BLOCKQUOTE>  
  8. <PRE></PRE>  
  9. <PRE></PRE>  
  10. <PRE></PRE>  
  11. <BLOCKQUOTE></BLOCKQUOTE>  
  12. <PRE></PRE>  
  13. <PRE></PRE>  
  14. <PRE></PRE>  
  15.   
  16. </BLOCKQUOTE>  

   

     


     
6 参考

http://wiki.apache.org/nutch/RunningNutchAndSolr

     


     

     


     


     


     


     


     


     


     


     


     


     


     


     


    

 


                

        

    

    
  



    



                



	

		

			

				
					
利用Lucene与Nutch构建简单的全文搜索引擎

				
			

			

				

					DavenCheung
				

				

					07-14
					
					2175
					
				

			

		

		

			
				
本次实现分为两个部分，第一个部分是利用Lucene构建一个全文的搜索引擎，另外一部分则是利用Nutch实现同样的功能。由于Lucene并不是一个可以直接运行的程序，且不具备爬虫和文档处理的功能，因此在这一部分利用到了Heritrix和HTMLParser这两个工具分别实现爬虫与HTML文档解析的功能。而使用Nutch的时候只需要一些简单的配置和安装就可以直接运行。最后还对这两者进行了一个简单的对比，说明其各自的特点和适应的范围。

			
		

	



                

            
              



	

		

			

				
					
Nutch+Solr学习笔记

				
			

			

				

					aixiaoxue520的专栏
				

				

					09-27
					
					1294
					
				

			

		

		

			
				
最近学习搜索引擎，以下为整理学习笔记:

			
		

	



              


  
              

                


	

		

			

				
					
nutch

				
			

			

				

					小Y
				

				

					11-14
					
					1035
					
				

			

		

		

			
				
转载：
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。



简介

Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己


的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。

尽管Web搜索是漫游Internet的基本要求, 但是现有web搜索引擎的数目却在下降. 并且这很有可

			
		

	





	

		

			

				
					
nutch Lucene 实现全文检索

				
			

			

				

					huangxc的专栏
				

				

					03-19
					
					2683
					
				

			

		

		

			
				
        一般人们谈到搜索肯定想到的是 Google、Baidu、Yahoo 差点的也有搜狗、搜猫什么的，没想到在偶有生之年还要研究一下这门技术，现在就慢慢的学吧全文检索Lucene说明书1引言1.1编写目的主要是整体介绍Lucene的原理和架构，理解Lucene是什么、能够做什么，为什么我们要选用Lucene来做全文检索1.2背景Lucene最初是由Doug Cut

			
		

	



		

			
		



	

		

			

				
					
nutch的核心流程分析

				
			

			

				

					豹先生
				

				

					12-02
					
					814
					
				

			

		

		

			
				
Crawl类的时序图。
    流程如下:
1. 建立初始URL 集
2. 将URL 集注入crawldb 数据库---inject
3. 根据crawldb 数据库创建抓取列表---generate
4. 执行抓取，获取网页信息---fetch
5. 更新数据库，把获取到的页面信息存入数据库中---updatedb


      6. 重复进行3 ～5 的步骤，直到预先设定的

			
		

	





	

		

			

				
					
nutch自带索引域了解

				
			

			

				

					iamaboyy的专栏
				

				

					06-26
					
					715
					
				

			

		

		

			
				
nutch自带的索引域：


  AnchorIndexingFilter
    linkdb中的achor


  BasicIndexingFilter
    host、site：这两个域的取值分为两种情况。第一种情况是crawldatum中的Nutch.WRITABLE_REPR_URL_KEY；
第二种是传过来的url。第一种情况为空则使用第二种。
   url:参

			
		

	





	

		

			

				
					
Nutch学习笔记

				
			

			

				

					李荣强
				

				

					12-24
					
					747
					
				

			

		

		

			
				
Nutch:学习笔记  


apt-get: 命令是Ubuntu下的命令


yum install报错：Another app is currently holding the yum
lock
 ps
 rm -rf /var/run/yum.pid ：


安装 svn: apt-get install subversion

 用svn工具：获取nutch源码
安装ant : apt-g

			
		

	





	

		

			

				
					
Nutch全文搜索引擎安装配置与抓取流程解析

				
			

			

				

					
				

			

		

		

			
				
"Nutch全文搜索学习笔记"  Nutch是一个开源的网络爬虫和搜索引擎项目，主要功能是抓取网页并建立可搜索的索引。它使用Apache Lucene库进行索引和搜索，提供了完整的文本搜索解决方案。这篇学习笔记将探讨Nutch的工作...

			
		

	





	

		

			

				
					
Nutch 1.3 学习笔记

				
			

			

				

					07-19
				

			

		

		

			
				
### Nutch 1.3 学习笔记：深入解析与应用  #### 一、Nutch 1.3：概述与核心功能  Nutch 1.3 是一款强大的、开源的网页抓取工具，专为大规模互联网数据抓取设计。它不仅能够收集网页数据，还能进一步分析、构建索引，...

			
		

	





	

		

			

				
					
lucene2.4+nutch学习笔记三：lucene　在多个文本文档里找出包含一些关键字的文档

				
			

			

				

					03-16
				

			

		

		

			
				
《Lucene 2.4与Nutch学习笔记：在多文本文档中搜索关键词》  Lucene是一个高性能、全文本搜索引擎库，它为开发者提供了在Java应用程序中实现全文搜索功能的基本工具。Nutch则是一个开源的网络爬虫项目，用于抓取...

			
		

	





	

		

			

				
					
Nutch全文搜索入门与配置详解

				
			

			

				

					
				

			

		

		

			
				
本文档是一份关于Nutch的安装与配置的学习笔记，适合对Nutch感兴趣的开发者深入理解并实践这款工具。  首先，对于Nutch的安装，我们从Linux环境下的准备工作开始。确保已安装JDK，如果没有，可通过`sudo apt-get ...

			
		

	





	

		

			

				
					
Nutch+Lucene搜索引擎开发实践

				
			

			

				

					u010993983的专栏
				

				

					10-14
					
					3030
					
				

			

		

		

			
				
使用开源工具Nutch和Lucene在局域网下搭建垂直搜索引擎。

			
		

	





	

		

			

				
					
应用CNN卷积神经网络构建的auto encoder自编码器，经过训练实现了对带有噪点的MNIST手写字体图片进行去噪的处理

					
最新发布

				
			

			

				

					08-15
				

			

		

		

			
				
资源下载链接为：
https://pan.quark.cn/s/864eaed220e0
应用CNN卷积神经网络构建的auto encoder自编码器，经过训练实现了对带有噪点的MNIST手写字体图片进行去噪的处理（最新、最全版本！打开链接下载即可用！）

			
		

	





	

		

			

				
					
IP-guard应用程序预定义库 

				
			

			

				

					08-15
				

			

		

		

			
				
IP-guard应用程序预定义库

			
		

	





	

		

			

				
					
CH341A编程器软件1.3支持25Q256等32M芯片 

				
			

			

				

					08-15
				

			

		

		

			
				
CH341A编程器是一款广泛应用的通用编程设备，尤其在电子工程和嵌入式系统开发领域中，它被用来烧录各种类型的微控制器、存储器和其他IC芯片。这款编程器的最新版本为1.3，它的一个显著特点是增加了对25Q256等32M芯片的支持。

25Q256是一种串行EEPROM（电可擦可编程只读存储器）芯片，通常用于存储程序代码、配置数据或其他非易失性信息。32M在这里指的是存储容量，即该芯片可以存储32兆位（Mbit）的数据，换算成字节数就是4MB。这种大容量的存储器在许多嵌入式系统中都有应用，例如汽车电子、工业控制、消费电子设备等。

CH341A编程器的1.3版更新，意味着它可以与更多的芯片型号兼容，特别是针对32M容量的芯片进行了优化，提高了编程效率和稳定性。26系列芯片通常指的是Microchip公司的25系列SPI（串行外围接口）EEPROM产品线，这些芯片广泛应用于各种需要小体积、低功耗和非易失性存储的应用场景。

全功能版的CH341A编程器不仅支持25Q256，还支持其他大容量芯片，这意味着它具有广泛的兼容性，能够满足不同项目的需求。这包括但不限于微控制器、EPROM、EEPROM、闪存、逻辑门电路等多种类型芯片的编程。

使用CH341A编程器进行编程操作时，首先需要将设备通过USB连接到计算机，然后安装相应的驱动程序和编程软件。在本例中，压缩包中的"CH341A_1.30"很可能是编程软件的安装程序。安装后，用户可以通过软件界面选择需要编程的芯片类型，加载待烧录的固件或数据，然后执行编程操作。编程过程中需要注意的是，确保正确设置芯片的电压、时钟频率等参数，以防止损坏芯片。

CH341A编程器1.3版是面向电子爱好者和专业工程师的一款实用工具，其强大的兼容性和易用性使其在众多编程器中脱颖而出。对于需要处理25Q256等32M芯片的项目，或者26系列芯片的编程工作，CH341A编程器是理想的选择。通过持续的软件更新和升级，它保持了与现代电子技术同步，确保用户能方便地对各种芯片进行编程和调试。

			
		

	





	

		

			

				
					
修改多多巴枪SN软件，小白慎用

				
			

			

				

					08-15
				

			

		

		

			
				
修改多多巴枪SN软件，小白慎用，米商巴枪的改机包

			
		

	





	

		

			

				
					
Python变量与数据类型详解

				
			

			

				

					08-15
				

			

		

		

			
				
Python变量与数据类型详解

			
		

	





	

		

			

				
					
基于SpringBoot技术的校园招聘系统的设计与实现.doc

				
			

			

				

					08-15
				

			

		

		

			
				
基于SpringBoot技术的校园招聘系统的设计与实现

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值