工作中使用爬是工具心得,和大家一起分享
运行之前的配置:
1.修改conf目录下的heritrix.properties里的版本号和用户名密码
2.拷贝conf目录下jmxremote.password.template文件到根目录,重命名为
jmxremote.password
并修改其内容,添加用户名密码
运行Eclipse工程之后,在浏览器中输入http://localhost:8083/login.jsp
,输入yoyo:yoyo,出现webUI:
首先选择job标签,第一次可以with defaults,以后可以Based on existing
job来新建一个任务,
在seeds里添加种子连接,
eg:http://www.zaiheihe.com/Article/Class.asp?ID=1
然后再选console标签,点start就可以开始抓取.. 可以刷新来看进度
这有几篇heritrix的介绍文章,你可以看看:
http://www.ruanko.com:9090/uchome/space.php?uid=871&do=blog&id=5773
http://blog.sina.com.cn/s/blog_4fa209eb0100bmub.html
导入程序和运行程序需要注意的地方:
1、lib下和htmlparser下的jar包要导入
2、eclipse环境和java source file的编码要和程序的编码统一
java -Djava.ext.dirs=lib com.pynon.SimpleHeritrixLauncher conf/profiles/default/order.xml
javac -classpath
java com.pynon.SimpleHeritrixLauncher conf/profiles/default/order.xml
java -Djava.ext.dirs=lib com.pynon.SimpleHeritrixLauncher conf/profiles/default/order.xml
一、CandidateURI中增加新的属性
给CandidateURI中增加新的属性,以便在写的时候可以分类的写或者做其它运用时,则需要修改以下地方:
1. CandidateURI类:增加新的属性,但是不能用final或者static修饰
2. CrawlURI类:修改public CrawlURI(CandidateURI caUri, long o)方法给新增属性设置上值
3. 修改Frontier中的loadSeeds()方法给CandidateURI的实例对象赋上新增属性的值
4. 修改ConfFileFrontierScheduler. schedule(CandidateURI caUri)方法给新增属性赋值
运行之前的配置:
1.修改conf目录下的heritrix.properties里的版本号和用户名密码
2.拷贝conf目录下jmxremote.password.template文件到根目录,重命名为
jmxremote.password
并修改其内容,添加用户名密码
运行Eclipse工程之后,在浏览器中输入http://localhost:8083/login.jsp
,输入yoyo:yoyo,出现webUI:
首先选择job标签,第一次可以with defaults,以后可以Based on existing
job来新建一个任务,
在seeds里添加种子连接,
eg:http://www.zaiheihe.com/Article/Class.asp?ID=1
然后再选console标签,点start就可以开始抓取.. 可以刷新来看进度
这有几篇heritrix的介绍文章,你可以看看:
http://www.ruanko.com:9090/uchome/space.php?uid=871&do=blog&id=5773
http://blog.sina.com.cn/s/blog_4fa209eb0100bmub.html
导入程序和运行程序需要注意的地方:
1、lib下和htmlparser下的jar包要导入
2、eclipse环境和java source file的编码要和程序的编码统一
java -Djava.ext.dirs=lib com.pynon.SimpleHeritrixLauncher conf/profiles/default/order.xml
javac -classpath
java com.pynon.SimpleHeritrixLauncher conf/profiles/default/order.xml
java -Djava.ext.dirs=lib com.pynon.SimpleHeritrixLauncher conf/profiles/default/order.xml
一、CandidateURI中增加新的属性
给CandidateURI中增加新的属性,以便在写的时候可以分类的写或者做其它运用时,则需要修改以下地方:
1. CandidateURI类:增加新的属性,但是不能用final或者static修饰
2. CrawlURI类:修改public CrawlURI(CandidateURI caUri, long o)方法给新增属性设置上值
3. 修改Frontier中的loadSeeds()方法给CandidateURI的实例对象赋上新增属性的值
4. 修改ConfFileFrontierScheduler. schedule(CandidateURI caUri)方法给新增属性赋值