heritrix爬虫工具的使用

工作中使用爬是工具心得,和大家一起分享


运行之前的配置:


1.修改conf目录下的heritrix.properties里的版本号和用户名密码


2.拷贝conf目录下jmxremote.password.template文件到根目录,重命名为


jmxremote.password

并修改其内容,添加用户名密码


运行Eclipse工程之后,在浏览器中输入http://localhost:8083/login.jsp


,输入yoyo:yoyo,出现webUI:


首先选择job标签,第一次可以with defaults,以后可以Based on existing


job来新建一个任务,

在seeds里添加种子连接,

eg:http://www.zaiheihe.com/Article/Class.asp?ID=1


然后再选console标签,点start就可以开始抓取.. 可以刷新来看进度


这有几篇heritrix的介绍文章,你可以看看:

http://www.ruanko.com:9090/uchome/space.php?uid=871&do=blog&id=5773

http://blog.sina.com.cn/s/blog_4fa209eb0100bmub.html


导入程序和运行程序需要注意的地方:

1、lib下和htmlparser下的jar包要导入

2、eclipse环境和java source file的编码要和程序的编码统一


java -Djava.ext.dirs=lib com.pynon.SimpleHeritrixLauncher conf/profiles/default/order.xml


javac -classpath

java com.pynon.SimpleHeritrixLauncher conf/profiles/default/order.xml

java -Djava.ext.dirs=lib com.pynon.SimpleHeritrixLauncher conf/profiles/default/order.xml


一、CandidateURI中增加新的属性
给CandidateURI中增加新的属性,以便在写的时候可以分类的写或者做其它运用时,则需要修改以下地方:
1. CandidateURI类:增加新的属性,但是不能用final或者static修饰
2. CrawlURI类:修改public CrawlURI(CandidateURI caUri, long o)方法给新增属性设置上值
3. 修改Frontier中的loadSeeds()方法给CandidateURI的实例对象赋上新增属性的值
4. 修改ConfFileFrontierScheduler. schedule(CandidateURI caUri)方法给新增属性赋值
内容概要:本文详细介绍了名为MoSca的系统,该系统旨在从单目随意拍摄的视频中重建和合成动态场景的新视角。MoSca通过4D Motion Scaffolds(运动支架)将视频数据转化为紧凑平滑编码的Motion Scaffold表示,并将场景几何和外观与变形场解耦,通过高斯融合进行优化。系统还解决了相机焦距和姿态的问题,无需额外的姿态估计工具。文章不仅提供了系统的理论背景,还给出了基于PyTorch的简化实现代码,涵盖MotionScaffold、GaussianFusion、MoScaSystem等核心组件。此外,文中深入探讨了ARAP变形模型、2D先验到3D的提升、动态高斯表示、相机参数估计等关键技术,并提出了完整的训练流程和性能优化技巧。 适用人群:具备一定计算机视觉和深度学习基础的研究人员和工程师,特别是对动态场景重建和新视角合成感兴趣的从业者。 使用场景及目标:①从单目视频中重建动态场景的新视角;②研究和实现基于4D Motion Scaffolds的动态场景表示方法;③探索如何利用预训练视觉模型的先验知识提升3D重建质量;④开发高效的动态场景渲染和优化算法。 其他说明:本文提供了详细的代码实现,包括简化版和深入扩展的技术细节。阅读者可以通过代码实践加深对MoSca系统的理解,并根据具体应用场景调整和扩展各个模块。此外,文中还强调了物理启发的正则化项和多模态先验融合的重要性,帮助实现更合理的变形和更高质量的渲染效果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值