heritrix1.4.2安装

最新推荐文章于 2024-08-06 10:10:38 发布

最新推荐文章于 2024-08-06 10:10:38 发布 · 113 阅读

文章标签：

#Eclipse #浏览器

java base 专栏收录该内容

22 篇文章

订阅专栏

本文提供Heritrix 1.14.2版本在Eclipse下的详细配置步骤，包括环境搭建、项目创建、文件复制、配置修改等关键操作，确保能够成功启动Heritrix并进行网页抓取任务。

１、下载heritrix-1.14.2-src.zip和heritrix-1.14.2.zip两个压缩包，并解压，以后分别简称SRC包和ZIP包；
　　２、在Eclipse下新建Java项目，取名Heritrix.1.14.2；
　　３、复制SRC包下面src/java文件夹下org和st两个文件夹到项目中的src包下；
　　４、复制SRC包下src下conf文件夹到项目根目录；
　　５、复制SRC包下lib文件夹到项目根目录；
　　６、[color=red]复制ZIP包下webapps文件夹到项目根目录；[/color](一定要是ZIP包下的webapps，要是src目录下的，一访问就报错)
　　７、修改项目下conf下heritrix.properties文件（注意红色部分）
----------
[color=red]heritrix.version = 1.14.2 [/color]
# Location of the heritrix jobs directory.
heritrix.jobsdir = jobs
# Default commandline startup values.
# Below values are used if unspecified on the command line.
[color=red]heritrix.cmdline.admin = admin:admin
heritrix.cmdline.port = 8080 [/color]
heritrix.cmdline.run = false
heritrix.cmdline.nowui = false
heritrix.cmdline.order =
heritrix.cmdline.jmxserver = false
heritrix.cmdline.jmxserver.port = 8081
-------------
８、在项目上右键选择构建路径->配置构建路径->库选项卡->添加Jar，将lib目录下的所有.jar文件选中，点击完成！
　　９、在项目/src/org.archive.crawler包下Heritrix.java上点击右键选运行，并用-Xmx512m命令增加最大堆内存为512M。
10、虽然配制好了，但Eclipse把Heritrix运行起来，还是存在WUI下建立JOB时，存在“Modules界面不能改变选择项”的问题。解决办法：
在Eclipse的Run Dialog中，Classpath标签Table，选中User Entries，然后右边会有Advance选项，选Add External Folder，把你的Conf加进去就行了)。再试，在Modules页面中的功能正常了。
11、在浏览器地址栏输入：http://localhost:8088/即可登录WUI，输入用户名：admin密码：admin，即可登录设置抓取任务。