爬行者LARM---Lucene

最新推荐文章于 2025-08-06 18:22:29 发布
最新推荐文章于 2025-08-06 18:22:29 发布
阅读量1.4k 收藏
点赞数
分类专栏： JAVA 文章标签： lucene cvs 文档 html rtf java
爬行者LARM是用纯Java编写的网页抓取机器人，作为Lucene子项目还在开发中，文档说明不统一。其源码有GUI界面但部分功能未实现。不考虑与Lucene关系，它有一定使用价值，文中还给出了获取、编译和运行该项目的相关命令。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

来自:http://hedong.3322.org/archives/000218.html   车东

　爬行者LARM是一个抓取网页的机器人，用纯Java写就。

　　通过作者的叙述，写一个爬行者，远非想象中的那么简单。HTML规范太简单了，所以会出很多标新立异的HTML文件。网络的随机性太强了，说不定就会遇到什么问题。这种种意外，都会考验一个爬行者。

　　LARM作为Lucene的子项目，还在开发之中，连个稳定版都没有，只能通过CVS取得。而且文档的说明也不统一，具有开发中的项目的共性。不过，它的随机文档还是把LARM的设想和特点说了，它还有一个wiki页面，不知为什么在sourceforge上还挂了一个名（这儿还有几篇RTF文档）。

　　LARM源码中，有一个GUI界面，把我乐坏了，一运行，怎么点击“Start”它也不活动，很郁闷，一看源码，“// to do: code goes here.”，根本没有对这个点击事件的处理代码。FT！

　　如果不考虑它与Lucene的关系，单当作一个爬行者来看，也有一定的使用价值。我下了这个项目，编译运行以后，对http://hedong.3322.org进行抓取，由于没限制域名，一下子到了5500多个域名，在下了300M左右，就把它中断了。

mkdir jakarta
cd jakarta

cvs -d :pserver:anoncvs@cvs.apache.org:/home/cvspublic login
password: anoncvs
cvs -d :pserver:anoncvs@cvs.apache.org:/home/cvspublic checkout jakarta-lucene-sandbox

cd jakarta-lucene-sandbox/contributions/webcrawler-LARM
ant dist

把build/webcrawler_LARM-0.5.jar及libs/目录下的所有jar都加到classpath里去。

java -server de.lanlab.larm.fetcher.FetcherMain -start http://hedong.3322.org

网络爬虫调研
caohao2008的专栏
02-27 4419
    上学期为师姐做的网络爬虫方面的调研。 网络爬虫调研报告基本原理Spider概述 Spider即网络爬虫 ,其定义有广义和狭义之分。狭义上指遵循标准的 http协议利用超链接和 Web文档检索的方法遍历万维网信息空间的软件程序 ;而广义的定义则是所有能遵循 http协议检索 Web文档的软件都称之为网络爬虫。 Spider是一个功能很强的自动提取网页的程序 ,它为搜索
网络爬虫调研报告
m0_38073539的博客
08-27 2127
抓取并存储相关的内容。) , 它们实现的原理基本一致: 深度遍历网站的资源, 将这些资源抓取到本地, 使用的方法都是分析网站每一个有效的。) , 它们实现的原理基本一致: 深度遍历网站的资源, 将这些资源抓取到本地, 使用的方法都是分析网站每一个有效的。调用的页面、 需要注册才能访问的页面等, 对于这些网络的爬取被归结为深层网络的挖掘。调用的页面、 需要注册才能访问的页面等, 对于这些网络的爬取被归结为深层网络的挖掘。的方式获取到的资源全部抓取到本地, 包括网页和各种类型的文件, 如: 图片、
LINUX内核框架
11-27 1323
Linux内核框架 Linux 内核简介 现在让我们从一个比较高的高度来审视一下 GNU/Linux 操作系统的体系结构。您可以从两个层次上来考虑操作系统，如图 2 所示。 图 2. GNU/Linux 操作系统的基本体系结构 最上面是用户（或应用程序）空间。这是用户应用程序执行的地方。用户空间之下是内核空间，Linux 内核正是位于这里。 GNU C Libra
Linux进程之alarm()信号传送闹钟函数
ken_lyy的专栏
05-04 6997
最近在学习Linux系统编程遇到了一个很有意思的函数：alarm()，它是一个用来设置信号传送的闹钟函数。网上找了一些资料，结合自己的学习体会，现在Mark一下。 1 alarm()函数说明 [1] 引用头文件：#include ; [2] 函数标准式：unsigned int alarm(unsigned int seconds); [3] 功能与作用：alarm()函数的主要功
lucene in action(中文版) ----转载
hl234的专栏
03-14 1772
 第一章 接触Lucene本章包括n        理解Lucenen        使用基本的索引APIn        使用搜索APIn        考虑可替换产品 Lucene流行和成功的一个关键因素是它的简单。… …1.1 信息组织和访问的演化             1.2 理解Lucene
未来可能的转向---网络爬虫
numbibi的专栏
04-25 3512
网络爬虫调研报告 基本原理 Spider概述 Spider即网络爬虫 ,其定义有广义和狭义之分。狭义上指遵循标准的 http协议利用超链接和 Web文档检索的方法遍历万维网信息空间的软件程序 ;而广义的定义则是所有能遵循 http协议检索 Web文档的软件都称之为网络爬虫。 Spider是一个功能很强的自动提取网页的程序 ,它为搜索引擎从万维网上下载网页 ,是搜索引擎的重要组成 .它
Lucene in action前30页
交通部PC167
10-02 876
Lucene in Action（中文版）    --------------------------------------------------------------------------------     Lucene in Action  中文版
Lucene in Action 中文版
Carter的菜园子
04-27 1060
<br />Lucene in Action<br />中文版<br />ERIK HATCHER<br />OTIS GOSPODNETIC<br />zw_ren译<br />主要内容<br />第一部分 Lucene核心<br />1.      接触Lucene  <br />2.      索引  <br />3.      为程序添加搜索<br />4.      分析<br />5.      高极搜索技术<br />6.      扩展搜索<br />第二部分 Lucene应用<br />7
Lucene in Action中文版
多一份坚持，多一份收获
05-04 1069
Lucene in Action中文版 第一部分 Lucene核心1.      接触Lucene  2.      索引 3.      为程序添加搜索4.      分析5.      高极搜索技术6.      扩展搜索第二部分 Lucene应用7.      分析常用文档格式8.      工具和扩充9.      Lucene其它版本10.   案例学习  序 Lucene开始是做为
了解Lucene
syimiaoa的专栏
01-14 675
 Lucene： Lucene是apache软件基金会[4] jakarta项目组的一个子项目，是一个开放源代码[5]的全文检索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以
Lucene in Action（中文版）
LightSun----让成功成为可能!
06-04 3441
第一部分Lucene核心本书的前半部分覆盖了“盒子外的”(嗯…，JAR外的)Lucene。你将以整体的观点接触Lucene并开发一个完整的索引和搜索程序。每个后续的章节系统地深入研究特定的内容。“索引”数据和文档和后来的对它们的“搜索”是使用Lucene的第一步。在从索引过程返回后，“分析”将使你深入理解在使用Lucene索引文本时发生了什么。搜索是Lucene真正的亮点：本部
【lucene】ByteBuffersIndexInput
risc123456的博客
08-03 435
ByteBuffersIndexInput` 是 Lucene 中专门为 `ByteBuffersDirectory` 实现的一个 `IndexInput` 子类，用于高效地从 **内存中的 `ByteBuffer` 数组** 读取数据。| **零拷贝** | 使用 `ByteBuffer.duplicate()` 和 `slice()` 实现高效切片。| **支持随机访问** | 直接通过 `ByteBuffer` 索引定位，无需 `seek()` 系统调用。### ✅ **示例**
Unity_数据持久化_IXmlSerializable接口
2503_90324697的博客
08-03 485
本文介绍了Unity中通过IXmlSerializable接口实现XML数据持久化的方法。该接口包含三个核心方法：GetSchema()、ReadXml()和WriteXml()，允许开发者完全控制XML序列化和反序列化过程。文章详细讲解了三种XML写入方式（属性、元素节点和包裹节点）和四种读取方式（属性、元素节点、循环读取和包裹节点），并提供了完整的代码实现示例。通过实现该接口，开发者可以灵活处理复杂数据结构在Unity中的持久化问题，满足不同场景下的XML格式需求。
Mirror学习笔记
fork1213的博客
08-04 920
Mirror官方案例操作。
Unity3D水下场景与游泳系统开发指南
YF云飞的博客
08-06 593
本文介绍了Unity中实现水潭场景和第一人称游泳系统的开发流程。首先将项目升级为URP渲染管线，创建水潭地形并添加水材质。接着实现了第一人称视角控制(MouseLook)和角色移动(PlayerMovement)，包括地面行走、跳跃功能。重点开发了游泳系统，通过检测水面触发器和摄像机位置，实现水中浮力、移动控制和水下后处理效果(模糊、颗粒感等)。还添加了氧气系统，实时显示氧气量并在耗尽时扣血。最后简要提及钓鱼系统的实现，包括抛竿、等待咬钩和收竿机制。文末附有相关开发视频参考链接。
【lucene】ByteBufferGuard
risc123456的博客
08-03 321
Lucene 的底层实现中，很多 `IndexInput`（比如 `MMapDirectory` 的 `ByteBufferIndexInput`）是基于 **内存映射文件（mmap）** 的 `ByteBuffer`。`ByteBufferGuard` 是 Lucene 用来**保护 `ByteBuffer` 不被非法访问或提前释放**的一个 **安全/防御性机制**。in.close();| **线程安全** | 提供 `read()` 和 `write()` 的同步包装 |in.readInt();
Unity笔记(三)——父子关系、坐标转换、Input、屏幕
qq_65078669的博客
08-06 604
写本系列的目的(自用)是回顾已经学过的知识、记录新学习的知识或是记录心得理解，方便自己以后快速复习，减少遗忘。这里只有部分语法知识。
Unity 调节 Rigidbody2D 响应速度的解决方案【资料】
最新发布
zhannghong2002的博客
08-06 167
本文介绍了多种优化Unity中Rigidbody2D响应速度的方法：1）通过设置速度/角速度阈值屏蔽微小物理量；2）优化物理参数如阻尼系数和重力缩放；3）简化碰撞体形状并优化物理材质；4）采用自定义物理更新间隔减少计算量；5）提供完整的集成示例代码。这些方法可显著提升物理系统性能，特别适合移动设备，建议从较小阈值开始逐步调节，并针对不同平台进行差异化设置，在保持游戏体验的同时实现最佳性能。
QT CMSIS-DSP库
07-12
在Qt中使用CMSIS-DSP库，可以通过以下步骤进行配置和集成： 1. 下载CMSIS-DSP库：从ARM官方网站上下载CMSIS-DSP库的压缩包，并解压到本地目录。 2. 创建Qt项目：在Qt Creator中创建一个新的Qt项目。 3. 将CMSIS-DSP库添加到项目中：将CMSIS-DSP库中的头文件（.h文件）和源文件（.c文件）添加到Qt项目中。可以在Qt Creator中的项目资源管理器中右键点击项目名称，选择"添加现有文件"，并选择CMSIS-DSP库的头文件和源文件。 4. 在.pro文件中添加相关配置：在Qt项目的.pro文件中添加必要的配置，以链接CMSIS-DSP库。例如，可以使用类似以下的语句： ``` INCLUDEPATH += /path/to/cmsis_dsp_library LIBS += -L/path/to/cmsis_dsp_library -larm_cortexM4lf_math ``` 这里的 "/path/to/cmsis_dsp_library" 是CMSIS-DSP库的路径，根据实际情况进行替换。 5. 在Qt代码中使用CMSIS-DSP函数：在Qt项目的代码中，包括所需的头文件，并使用CMSIS-DSP库提供的函数进行信号处理、滤波、FFT等数字信号处理任务。 需要注意的是，CMSIS-DSP库是为ARM Cortex-M处理器优化的。在使用CMSIS-DSP库时，需要确保目标平台与库所针对的处理器兼容。 以上是使用CMSIS-DSP库的基本步骤，具体的集成过程可能会因项目和平台的不同而有所变化。建议参考CMSIS-DSP库的官方文档和Qt的相关文档，以便更详细地了解如何在Qt中使用CMSIS-DSP库。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值