nutch 1.3 在ubuntu上的简单配置

        因为nutch 1.3跟以前比改了不少东西，所以1.2中的有些配置已经不在适用了
        首先我的机器用的是ubuntu 10.04,挺老的版本了，因为有它的光盘，一直没有升级
        当然是先下载nutch的包了，用的人人的镜像http://labs.renren.com/apache-mirror//nutch/
        只有先会用了才能进行下一步的工作嘛，所以介绍一下最简单的配置方法：
                  1.  修改nutch解压目录中的runtime/local/bin/nutch脚本的执行权限   chmod 755 nutch
                  2. 修改runtime/local/conf 里面的nutch-site.xml,在configuration标签中增加如下标签
                                  <property>
                                           <name>http.agent.name</name>
                                           <value>看样子可以填任何你想取的爬虫crawl的名字</value>
                                           <description></description>
                                 </property>
                 3.在此前提到的local目录下建抓取起始url文本myurl,和抓取结果存放目录mydir
                 4.myurl中可以加入任何你想抓取的地址,比如www.sina.com.cn
                 5.然后配置local目录下conf目录中的automaton-urlfilter.txt,将最后一行以+开关的行改为+^http://([a-z0-9]*\.)*sina.com.cn/,第2 个星号后的域名可以自定义
                 6.最后可以开始运行了，在local目录下，执行./bin/nutch crawl myurl -dir mydir -depth 2  -threads 2 -topN 4
                                         -dir                       选项设置抓取结果存放目录
                                         -depth                 选项设置爬取的深度
                                         -threads             选项设置并行爬取的线程数
                                         -topN                  选项设置每个深度爬取的最大页数
        最后就可以查看mydir中的结果了

       对于已经安装了tomcat，可以直接搜索的情况，则可更进一步

• 在tomcat上运行Nutch

把nutch-1.2.war拷贝到Tomcat//webapps/下面，重启tomcat，这步是为了使tomcat展开nutch-1.2.war，然后修改webapps/ nutch-1.2/WEB-INF/classes/nutch-site.xml文件如下：

 

 <?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>searcher.dir</name>
<value>填上存放抓取结果的目录</value>
</property>
</configuration>