ant nutch mysql_ant编译apache-nutch-2.2.1结合mysql实现爬虫的安装配置全过程

之前的数据抓取都是用的八爪鱼软件，老大突发奇想要我自己搞个爬虫来抓取数据，网上找找貌似apache的nutch比较合适，于是就开始安装这啥nutch。

对于一个linux零基础的人来说，还要先学学linux，大致了解了ssh连接工具怎么用后就开始正事了。了解到从nutch2开始，源码就必须要自己编译了，所以还要先安装ant。低版本的ant还不行，需要1.6以上的，所以找了个最新的。

ant安装：(ant是基于java的，所以要先确保系统中已经安装了jdk)

1.下载地址：http://ant.apache.org/bindownload.cgi 下载apache-ant-1.9.4-bin.tar.gz(当前最新版本)，将该下载包拷贝到/usr/local下(随意了，找个地方就好)

2。解压

cd /usr/local

tar -zxvf apache-ant-1.8.1-bin.tar.gz

解压后会在/usr/local 下生成一个文件夹apache-ant-1.8.1

3。配置环境变量

vi /etc/profile，如下所示 加入ANT_HOME(解压的ant的路径)同时修改path

unset i

unset pathmunge

export JAVA_HOME=/usr/java/jdk1.7.0_25

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export ANT_HOME=/usr/local/apache-ant-1.9.4export PATH=$JAVA_HOME/bin:$ANT_HOME/bin:$PATH

赋予连接

cd /usr/bin

ln -s -f /usr/local/ant/bin/ant

4。验证是否安装成功

运行ant -version，输出如下内容：

[root@localhost ~]# ant -version

Apache Ant version 1.9.4 compiled on 。。。。

ok，ant配置完成。

nutch的安装：

一.下载：

从官网http://www.apache.org/dyn/closer.cgi/nutch/下载最新版本apache-nutch-2.2.1同样放在本地usr/local(位置当然随个人喜好)

二.解压

cd /usr/local

tar -zxvf apache-nutch-2.2.1-bin.tar.gz

三.ant编译前需要做的几件事：

(1)需要下载sonar的jar包(sonar-ant-task-2.1.jar)，并将jar包放到解压好的apache-nutch-2.2.1文件夹内

没有这个jar包，编译会出现错误如下：

[taskdef] Could not load definitions from resource org/sonar/ant/antlib.xml. It could not be found.

ivy-probe-antlib:

ivy-download:

[taskdef] Could not load definitions from resource org/sonar/ant/antlib.xml. It could not be found.

(2)nutch编译安装时需要从maven资源库下载jar包，其本身配置文件中的maven仓库地址是不存在的，所以需要修改。

即：cd apache-nutch-2.2.1/ivy

vi ivy.setting.xml      修改nutch里ivy目录下的ivysetting.xml

将maven的路径用http://mirrors.ibiblio.org/maven2/替换，或者其他可用的maven仓库地址。

(3)设置数据抓取的存储位置(可以选择使用HBase、Accumulo、Cassandra 、MySQL 、DataFileAvroStore、AvroStore中任何一种来存储数据，但其中一些并不成熟。)

我选择了简单的mysql，以后学习的Hadoop可以试着和Hadoop结合。

1.手动创建数据库nutch和数据表webpage【如果不想用默认的库名和表名也可在nutch安装后的相关配置文件中进行修改，见后续说明】，其中webpage的表结构如下：

CREATE TABLE`webpage` (

`id`varchar(767) NOT NULL,

`headers` blob,

`text` longtext DEFAULT NULL,

`status`int(11) DEFAULT NULL,

`markers` blob,

`parseStatus` blob,

`modifiedTime`bigint(20) DEFAULT NULL,

`prevModifiedTime`bigint(20) DEFAULT NULL,

`score`float DEFAULT NULL,

`typ`varchar(32) CHARACTER SET latin1 DEFAULT NULL,

`batchId`varchar(32) CHARACTER SET latin1 DEFAULT NULL,

`baseUrl`varchar(767) DEFAULT NULL,

`content` longblob,

`title`varchar(2048) DEFAULT NULL,

`reprUrl`varchar(767) DEFAULT NULL,

`fetchInterval`int(11) DEFAULT NULL,

`prevFetchTime`bigint(20) DEFAULT NULL,

`inlinks` mediumblob,

`prevSignature` blob,

`outlinks` mediumblob,

`fetchTime`bigint(20) DEFAULT NULL,

`retriesSinceFetch`int(11) DEFAULT NULL,

`protocolStatus` blob,

`signature` blob,

`metadata` blob,PRIMARY KEY(`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

View Code

注：表中的字段根据nutch的conf文件“gora-sql-mapping”进行设置。同时也可通过自动方式生成数据库和表：配置好“gora-sql-mapping”、“gora.properties”及其它文件后，首次通过运行”bin/nutch inject urls”即可自动生成数据库和表，不过或许在自动生成的时候你会遇到问题。gora-sql-mapping配置文件如下：

View Code

注：此处需要将gora-sql-mapping.xml中的id的length改成255。貌似是编码问题。

配置nutch对mysql的支持：修改${APACHE_NUTCH_HOME}/ivy/ivy.xml文件，分别：

将以下行的注释取消

default”/>

修改以下行

从默认的，改成

将以下行的注释取消

如果不修改以上的两点，Exception in thread “main” Java.lang.ClassNotFoundException:org.apache.gora.sql.store.SqlStore

3.数据库连接配置

编辑/conf/gora.properties文件，注释掉默认的数据库连接配置，同时添加以下配置内容：

###############################

#DefaultMySql properties #

###############################

gora.sqlstore.jdbc.driver=com.mysql.jdbc.Driver

gora.sqlstore.jdbc.url=jdbc:mysql://192.168.70.4:3306/nutch-test

gora.sqlstore.jdbc.user=root1

gora.sqlstore.jdbc.password=123456

4.修改nutch-default配置文件

添加http.agent.name的值

http.agent.name

YourNutchSpider

在文件末尾添加以下内容

http.accept.language

ja-jp, en-us,en-gb,en;q=0.7,*;q=0.3

Value of the Accept-Language request header field.

This allows selecting non-English language as defaultone to retrieve.

It is a useful settingfor search engines build forcertain national group.

storage.data.store.class

org.apache.gora.sql.store.SqlStore

The Gora DataStore class forstoring and retrieving data.

Currently the following stores are available:.

parser.character.encoding.default

utf-8

The character encoding to fall back to when no other information

is available

特别添加以下内容

generate.batch.id

*

View Code

如果不添加最后的一段，

Exception inthread"main"java.lang.RuntimeException:job failed:name=generate:null,jobid=job_local177967844_0002

atorg.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:54)，查询发现utf8 传入了空，log报空指针

四.执行ant编译：

cd apache-nutch-2.2.1

ant

clean-lib:

resolve-default:

[ivy:resolve] :: Ivy2.2.0 - 20100923230623 :: http://ant.apache.org/ivy/ ::

[ivy:resolve] :: loading settings :: file = /home/shaozt/softIns/CrawSource/apache-nutch-2.1/ivy/ivysettings.xml

当编译执行到此处时，由于需要从maven仓库下载jar包，所以需要等待2-5分钟连接服务器，根据网络情况决定，需要等很久，有时还会连接服务器失败，如果等很久，可以Ctrl+C退出后，从新ant编译。直到出现编译成功。build successful

runtime:

BUILD SUCCESSFUL

Total time:18seconds

[root@localhost apache-nutch-2.2.1]#

cd apache-nutch-2.2.1

tree -L 1  查看目录发现多了build 和 runtime两个文件夹  安装成功

.|--CHANGES.txt|--LICENSE.txt|--NOTICE.txt|--README.txt|--build|--build.xml|--conf|-- default.properties|--docs|--ivy|--lib|--runtime|-- sonar-ant-task-2.1.jar

`-- src

五.网页抓取配置

1) 设置抓取的网站

cd ${NUTCH_HOME}/runtime/local

mkdir -p urls

echo 'http://www.taobao.com' > urls/seed.txt

2)执行爬取操作

bin/nutch crawl urls -depth 3 -topN 5

执行完在mysql中即可查看到爬虫抓取的内容，如下图：