在eclipse-SDK-4.2-win32-x86_64中构建Heritrix1.14.4

最新推荐文章于 2025-03-27 16:42:40 发布
原创 最新推荐文章于 2025-03-27 16:42:40 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#deprecated #myeclipse #build #compiler #reference #java

本文详细介绍了如何使用Heritrix1.14.4进行Java爬虫开发，包括下载、配置、导入依赖、修改配置文件及运行流程等关键步骤。通过实际操作演示，帮助开发者快速上手。

听到大家说:"java爬虫"。只觉得真陌生啊，不过很有兴趣。做个了解。这里用的版本是Heritrix 1.14.4（2010年5月10日的版本 目前是最新版本），差了很多的网上资料，发现以下步骤，不过我可是把工程删了建，建了删啊，只能说明自己太水了。哈哈，废话不多说，上酸菜：

 1.从http://sourceforge.net中搜索下载 ：heritrix-1.14.4.zip 和 heritrix-1.14.4-src.zip ，分别对 heritrix-1.14.4.zip 和heritrix-1.14.4-src.zip 进行解压 

2.在MyEclipse 中创建一个java project的工程Heritrix_test（工程的名字可以自己定）。 

3.将heritrix-1.14.4-src.zip解压后文件夹下的src/java 中的 com、org、st三个文件夹复制到项目Heritrix_test的src下。

 4.将heritrix-1.14.4-src.zip解压后文件夹下src中conf文件夹复制到项目Heritrix_test的根目录下。

 5.将heritrix-1.14.4-src.zip解压后文件夹下lib文件夹复制到项目Heritrix_test的根目录下。

 6.将heritrix-1.14.4-src.zip解压后文件夹下src/resources/org/archive/util中tlds-alpha-by-domain.txt文件复制到项目Heritrix_test中src/org.archive.util包下。 7.将heritrix-1.14.4.zip解压中webapps文件夹复制到项目Heritrix_test的根目录下。

 8.将heritrix-1.14.4-src.zip解压中src/webapps文件夹下的两个文件夹复制到项目Heritrix_test的webapps目录下

 9.对配置文件进行修改,找到项目中conf下heritrix.properties文件 ，修改如下： //设置版本 heritrix.version = 1.14.4 //设置用户密码 heritrix.cmdline.admin = admin:admin //设置端口 heritrix.cmdline.port = 8080 *（端口号一般是给定了的，可以不用再修改） 

10.接下来将jar包导入项目。右键单击Heritrix项目，选择Build Path->Configure Build Path,选中 Libraries选项，选择Add External JARS，将heritrix-1.14.4/lib下的所有jar包加入到Build Path。

 11. 在Window->Preference->Java->Compiler中，将Complier compliance level改为1.5，目的是为了使Heritrix编译通过。否则Eclipse可能不认assert这个关键字。（这个很关键，要不然会报错的）

 12.进入Windows -> Preferences -> Java -> Compiler -> Errors/Warnings-> Deprecated and trstricted API -> Forbidden reference (access rules): -> change to warning，如果不做这一步，会在org.archive.crawler包中Heritrix.java出现sun.net.www.protocol.file.FileURLConnection的错误。这是因为是sun包是受保护的包，默认为只有sun公司的软件才能使用，对受保护的包使用warning即可。 

13.在工程中找到org.archive.crawler.Heritrix.java右键选Run as—>Run Configurations运行配置 选择Classpath 选择User Entries -- Advanced 选择Add Folders 将conf文件夹添加进去。 点击Run 开始运行 启动成功，控制台打印

12:06:11.703 EVENT  Starting Jetty/4.2.23
12:06:12.125 EVENT  Started WebApplicationContext[/,Heritrix Console]
12:06:12.265 EVENT  Started SocketListener on 127.0.0.1:8080
12:06:12.265 EVENT  Started org.mortbay.jetty.Server@53f0a8
Heritrix version: 1.14.4

14 运行http://localhost:8080，出现登录页面，输入用户名：admin，密码：admin登录成功，标明配置成功

上图：


PAT (Basic Level) Practice （中文）刷题1
leidianguagua的博客
07-08 322
题目详情：： 1001 害死人不偿命的(3n+1)猜想 (15 分) 描述： 卡拉兹(Callatz)猜想： 对任何一个正整数 n，如果它是偶数，那么把它砍掉一半；如果它是奇数，那么把 (3n+1) 砍掉一半。这样一直反复砍下去，最后一定在某一步得到 n=1。卡拉兹在 1950 年的世界数学家大会上公布了这个猜想，传说当时耶鲁大学师生齐动员，拼命想证明这个貌似很傻很天真的命题，结果闹得学生们无心学业，一心只证 (3n+1)，以至于有人说这是一个阴谋，卡拉兹是在蓄意延缓美国数学界教学与科研的进展…… 我们今
PAT (Basic Level) Practice
qq_37443534的博客
02-25 361
1001 害死人不偿命的(3n+1)猜想 卡拉兹(Callatz)猜想： 对任何一个正整数n，如果它是偶数，那么把它砍掉一半；如果它是奇数，那么把(3n+1)砍掉一半。这样一直反复砍下去，最后一定在某一步得到n=1。卡拉兹在 1950 年的世界数学家大会上公布了这个猜想，传说当时耶鲁大学师生齐动员，拼命想证明这个貌似很傻很天真的命题，结果闹得学生们无心学业，一心只证(3n+1)，以至于有人说这是一个阴谋，卡拉兹是在蓄意延缓美国数学界教学与科研的进展…… 我们今天的题目不是证明卡拉兹猜想，而是...
PAT乙级1116 多二了一点
m0_60740687的博客
09-14 322
若一个正整数有 2n 个数位，后 n 个数位组成的数恰好比前 n 个数位组成的数多 2，则称这个数字“多二了一点”。如 24、6668、233235 等都是多二了一点的数字。给定任一正整数，请你判断它有没有多二了那么一点。
1116 多二了一点 – PAT乙级真题
柳婼 の blog
11-11 531
个数位组成的数多 2，则称这个数字“多二了一点”。如 24、6668、233235 等都是多二了一点的数字。给定任一正整数，请你判断它有没有多二了那么一点。如果是偶数位的数字，但并不是多二了一点，输出。如果是偶数位的数字，并且是多二了一点，输出。如果输入的整数没有偶数个数位，输出。输入在第一行中给出一个正整数。个数位组成的数恰好比前。是后一半数位组成的数，是前一半数位组成的数。是后一半数位组成的数，是前一半数位组成的数。
PAT-A1116
qq_2918的博客
03-08 480
#include #include int flag[10010]={0}; bool check(int k){ int i, sqr=(int)sqrt(double(k)); for(i=2;i<=sqr;i++){ if(k%i==0)return false; } return true; } int main(){ int i, n, k, rank=1, temp; sc
1116 多二了一点 （高精度计算+模拟，C++实现）
PandaKing likes Coding的博客
12-14 657
若一个正整数有 2n 个数位，后 n 个数位组成的数恰好比前 n 个数位组成的数多 2，则称这个数字“多二了一点”。如 24、6668、233235 等都是多二了一点的数字。给定任一正整数，请你判断它有没有多二了那么一点。
1116 多二了一点
CY_hhxx的博客
10-08 198
若一个正整数有 2n 个数位，后 n 个数位组成的数恰好比前 n 个数位组成的数多 2，则称这个数字“多二了一点”。如 24、6668、233235 等都是多二了一点的数字。给定任一正整数，请你判断它有没有多二了那么一点。
PAT (Basic Level) Practice 1045 快速排序
KaiYingLi的博客
03-27 720
PAT刷题记录分享 - PAT1045
PAT (Basic Level) Practice （中文）
weixin_52594286的博客
03-29 467
PAT (Basic Level) Practice （中文） 一：卡拉兹(Callatz)猜想： 对任何一个正整数 n，如果它是偶数，那么把它砍掉一半；如果它是奇数，那么把 (3n+1) 砍掉一半。这样一直反复砍下去，最后一定在某一步得到 n=1。卡拉兹在 1950 年的世界数学家大会上公布了这个猜想，传说当时耶鲁大学师生齐动员，拼命想证明这个貌似很傻很天真的命题，结果闹得学生们无心学业，一心只证 (3n+1)，以至于有人说这是一个阴谋，卡拉兹是在蓄意延缓美国数学界教学与科研的进展…… 我们今天的题目不是
PAT (Basic Level) Practice （中文）.zip
04-23
PAT（Basic Level）Practice（中文）是一套针对编程竞赛初学者的练习资源，主要在PTA（Programming Training Arena）平台上提供。PTA是为学生和编程爱好者设计的在线编程训练平台，它提供了丰富的编程题目，涵盖了...
PTA平台 · PAT(Basic Level) Practice(中文) 题目集
Dr_Cheeze的博客
06-24 3327
本文是PTA平台上收录的PAT乙级真题的参考代码（我自己写的），共115道题，主要用Java语言完成。
PTA 1116 多二了一点 C++实现 简易代码
宥思的博客
01-13 595
若一个正整数有 2n 个数位，后 n 个数位组成的数恰好比前 n 个数位组成的数多 2，则称这个数字“多二了一点”。如 24、6668、233235 等都是多二了一点的数字。给定任一正整数，请你判断它有没有多二了那么一点。
真实的PAT乙级真题及思路详解（大部分对，非全满分，不断更新，不断思索更好的办法）
weixin_38560644的博客
02-11 6703
1001.害死人不偿命的(3n+1)猜想
1139 First Contact （PAT甲级）
linh2006的博客
05-17 1495
这道题柳婼有个很巧妙的方法，就是如果a和b是朋友（a, b都是四位数字id），那就把a * 10000 + b和b * 10000 + a都map到1，那就很容易判断两个人是否朋友了。
caidaodaxian-41660-1756661291107.zip
最新发布
11-05
负载均衡实战项目搭建指南caidaodaxian__41660_1756661291107.zip
平台“建而无用”如何破局？产业联盟可借助企业创新数智空间实现一站式的深层次价值创造。.docx
11-05
AI+技术转移与院所科技成果转化的区域科技创新与地方产业升级人工智能数智化解决方案
超声谐波成像中幅度调制聚焦超声引起的全场位移和应变的分析模型（Matlab代码实现）
11-05
内容概要：本文介绍了一个关于超声谐波成像中幅度调制聚焦超声所引起全场位移和应变的分析模型，并提供了基于Matlab的代码实现。该模型旨在精确模拟和分析在超声谐波成像过程中，由于幅度调制聚焦超声作用于生物组织时产生的力学效应，包括全场的位移与应变分布，从而为医学成像和治疗提供理论支持和技术超声谐波成像中幅度调制聚焦超声引起的全场位移和应变的分析模型（Matlab代码实现）手段。文中详细阐述了模型构建的物理基础、数学推导过程以及Matlab仿真流程，具有较强的理论深度与工程应用价值。; 适合人群：具备一定声学、生物医学工程或力学背景，熟悉Matlab编程，从事医学成像、超声技术或相关领域研究的研究生、科研人员及工程技术人员。; 使用场景及目标：①用于超声弹性成像中的力学建模与仿真分析；②支持高强度聚焦超声（HIFU）治疗中的组织响应预测；③作为教学案例帮助理解超声与组织相互作用的物理机制；④为相关科研项目提供可复用的Matlab代码框架。; 阅读建议：建议读者结合超声物理和连续介质力学基础知识进行学习，重点关注模型假设、偏微分方程的数值求解方法及Matlab实现细节，建议动手运行并修改代码以加深理解，同时可拓展应用于其他超声成像或治疗场景的仿真研究。
360浏览器（16.0.1）
11-05
主要功能 双引擎技术：采用 WebKit 和 Internet Explorer 渲染引擎，能智能切换，提升了兼容性和速度，可兼容现代和传统网站。 智能资源管理：优化系统内存和 CPU 占用率，自动暂停不活跃标签页，限制后台进程，即使同时打开多个标签页也能流畅运行。 内置实用工具：包含网页截图、一键翻译、笔记、阅读模式等功能，减少用户对第三方插件的需求。 强大的安全功能：具有实时网站扫描、网络钓鱼防护、反跟踪技术等功能。支持安全 DNS 和 HTTPS 优先级，保障数据加密传输。还提供加密云同步，确保密码、书签等数据安全。 丰富的隐私保护：可拦截第三方追踪器和脚本，阻止浏览器指纹识别。隐私浏览模式不存储历史记录、缓存等信息，用户还可自定义隐私设置，控制数据存储和网站权限。
songyao1987-monitor-1180-1755770348828.zip
11-05
songyao1987_monitor_1180_1755770348828.zip嵌入式开发平台的使用与技巧
PAT (Basic Level) Practice测试点
02-28
### 关于PAT Basic Level Practice的测试点及题目解析 #### 题目难度分级 PAT（Programming Ability Test）是由浙江大学举办的计算机程序设计能力考试，分为不同级别。其中乙级即Basic Level主要面向初学者，考察基本编程技能[^1]。 #### 测试点特点 对于PAT Basic Level中的某些特定题目而言，其测试点设置较为严格。例如，在处理字符串匹配类问题时，需要注意算法逻辑中何时应当终止循环以防止不必要的重复计算；而在涉及数值运算的问题里，则可能因为边界条件而增加复杂度[^3]。 #### 编程语言的选择影响 值得注意的是，尽管大部分简单题目可以作为学习某种新语言的良好实践材料，但在实际操作过程中可能会遇到由于所选语言特性而导致难以通过全部测试点的情况。比如Java在面对部分效率敏感型试题时表现不佳，这可能是由于该语言本身的执行速度相对较慢以及内存管理方式等因素造成的。因此有时不得不转而采用其他更适合解决此类问题的语言版本来完成解答[^2]。 ```cpp #include<bits/stdc++.h> using namespace std; int a[100000]; int c=1; void getPrime(){ int flag=0; for(int i=2;i<105000;i++){ flag=1; for(int j=2;j<=sqrt(i);j++){ if(i%j==0){ flag=0; break; } } if(flag==1) a[c++]=i; } } int main(){ int m,n,i,t=1; scanf("%d %d",&m,&n); getPrime(); for(i=m;i<=n;i++){ if(t%10==1){ printf("%d",a[i]); t++; }else{ printf(" %d",a[i]); t++; } if((t-1)%10==0) printf("\n"); } return 0; } ``` 上述C++代码展示了如何实现一个简单的质数打印功能，并且针对输出格式进行了特殊处理以满足特定要求。这段代码很好地体现了编写高效解决方案的重要性，尤其是在应对像PAT这样的在线评测系统时[^4]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值