Nutch-2.2.1学习之三Nutch配置文件

     Nutch2.2.1的配置文件存放在Nutch目录下的conf文件夹下，对此文件夹下的配置文件做的修改，需要执行ant命令重新编译Nutch，由于编译所依赖的jar都已经缓存，重新编译花费的时间是很短暂的。对该文件夹下的文件所做的修改，在重新编译后也会更新到runtime目录下的deploy和local目录下的conf目录中，所以大家不要奇怪，明明只是修改了根目录下的conf中的配置文件，local和deploy目录中的配置文件也做了相同的修改。现在就来看看conf目录下有哪些重要的配置文件。

Conf目录下的文件有：automaton-urlfilter.txt、gora-accumulo-mapping.xml、hbase-site.xml、nutch-site.xml、regex-urlfilter.txt、suffix-urlfilter.txt、 configuration.xsl、gora-cassandra-mapping.xml、httpclient-auth.xml、parse-plugins.dtd、schema-solr4.xml、domain-suffixes.xml、gora-hbase-mapping.xml、log4j.properties、parse-plugins.xml、schema.xml、domain-suffixes.xsd、gora.properties、nutch-conf.xsl、prefix-urlfilter.txt、solrindex-mapping.xml、domain-urlfilter.txt、gora-sql-mapping.xml、nutch-default.xml、regex-normalize.xml、subcollections.xml。

 在这些文件中以txt结尾的文件用于定义爬取网页时的过滤规则，比如正则表达式过滤、前缀过滤、后缀过滤等，有些文件是用于solr索引的，比如schema-solr4.xml、schema.xml等，对于刚开始学习Nutch的人（包括自己），比较重要的文件有三个：nutch-site.xml、gora.properties、nutch-default.xml。nutch-default.xml保存了Nutch所有可用的属性名称及默认的值，当需要修改某些属性值时，可以拷贝该文件中的属性到nutch-site.xml中，并修改为自定义的值。不做任何配置修改的情况，文件nutch-site.xml不包含任何属性和属性值，该文件用于保存用户调整Nutch配置后的属性。gora.properties用于配置Gora的属性，由于Nutch2.x版本存储采用Gora访问Cassandra、HBase、Accumulo、Avro等，需要在该文件中制定Gora属性，比如指定默认的存储方式gora.datastore.default= org.apache.gora.hbase.store.HBaseStore，该属性的值可以在nutch-default.xml中查找storage.data.store.class属性取得，在不做gora.properties文件修改的情况下，存储类为org.apache.gora.memory.store.MemStore，该类将数据存储在内存中，仅用于测试目的。本人在学习Nutch2.2.1的过程中，存储使用了HBase，所以在gora.properties中添加了gora.datastore.default=org.apache.gora.hbase.store.HBaseStore，在nutch-site.xml中添加了

<property>
     <name>storage.data.store.class</name>
     <value>org.apache.gora.hbase.store.HBaseStore</value>
     <description>Defaultclass for storing data</description>
</property>

做完这些修改后，还要修改ivy目录下的ivy.xml文件，下载依赖的jar包，找到这段代码<dependencyorg="org.apache.gora" name="gora-core" rev="0.3"conf="*->default"/>，在其下方定义了不同存储方式所依赖的jar包，使用某一特定存储时，去掉注释即可，比如<dependency org="org.apache.gora"name="gora-hbase" rev="0.3" conf="*->default"/>，这样就可以下载HBase相关的jar包。做完这些修改后，在Nutch主目录下执行ant命令，重新编译。