heritrix爬虫工具的使用

工作中使用爬是工具心得,和大家一起分享


运行之前的配置:


1.修改conf目录下的heritrix.properties里的版本号和用户名密码


2.拷贝conf目录下jmxremote.password.template文件到根目录,重命名为


jmxremote.password

并修改其内容,添加用户名密码


运行Eclipse工程之后,在浏览器中输入http://localhost:8083/login.jsp


,输入yoyo:yoyo,出现webUI:


首先选择job标签,第一次可以with defaults,以后可以Based on existing


job来新建一个任务,

在seeds里添加种子连接,

eg:http://www.zaiheihe.com/Article/Class.asp?ID=1


然后再选console标签,点start就可以开始抓取.. 可以刷新来看进度


这有几篇heritrix的介绍文章,你可以看看:

http://www.ruanko.com:9090/uchome/space.php?uid=871&do=blog&id=5773

http://blog.sina.com.cn/s/blog_4fa209eb0100bmub.html


导入程序和运行程序需要注意的地方:

1、lib下和htmlparser下的jar包要导入

2、eclipse环境和java source file的编码要和程序的编码统一


java -Djava.ext.dirs=lib com.pynon.SimpleHeritrixLauncher conf/profiles/default/order.xml


javac -classpath

java com.pynon.SimpleHeritrixLauncher conf/profiles/default/order.xml

java -Djava.ext.dirs=lib com.pynon.SimpleHeritrixLauncher conf/profiles/default/order.xml


一、CandidateURI中增加新的属性
给CandidateURI中增加新的属性,以便在写的时候可以分类的写或者做其它运用时,则需要修改以下地方:
1. CandidateURI类:增加新的属性,但是不能用final或者static修饰
2. CrawlURI类:修改public CrawlURI(CandidateURI caUri, long o)方法给新增属性设置上值
3. 修改Frontier中的loadSeeds()方法给CandidateURI的实例对象赋上新增属性的值
4. 修改ConfFileFrontierScheduler. schedule(CandidateURI caUri)方法给新增属性赋值
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值