nutch
文章平均质量分 61
cunyan
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
查找算法:线性查找,折半查找
线性查找 package com.search; /** * JAVA实现线性查找 * * @author lenovo * */ public class LSearch { public static int[] Data = { 12, 76, 29, 22, 15, 62, 29, 58, 35, 67, 58, 33, 28, 8...原创 2014-04-07 20:11:38 · 200 阅读 · 0 评论 -
Aho-Corasick 多模式匹配算法、AC自动机详解
有时候可能需要按一个关键字词列表来过滤信息,例如过滤黄色或其他非法信息 调用indexOf方法来查找关键字集合看起来效率不高,Aho-Corasick算法可用用来在文本中搜索多个关键字,当有一个关键字集合时,想发现文本中所有出现关键词的位置,或者检查是否有关键字集合中的任何关键词出现在文本中时,可用使用Aho-Corasick算法。 Aho-Corasick算法是多模式匹配中的...原创 2014-04-07 20:57:05 · 387 阅读 · 0 评论 -
hadoop基本知识
Hadoop生态系统Hbase 1、Nosql数据库,key-value存储 2、最大化利用内存HDFS 1、hadoop distribute file system分布式文件系统 2、最大化利用磁盘MapReduce 1、编程模型,主要用来做数据分析 2、最大化利用CPU HDFS设计原则文件以快(block)方式存储每个块带下远比多数文件系统来的大(预设64M)通过副本机制提高可靠度和读...原创 2014-04-08 22:18:19 · 180 阅读 · 0 评论 -
htmlParser源码分析之1---类图
需要做一个垂直搜索引擎,比较了nekohtml和htmlparser 的功能,尽管nekohtml在容错性、性能等方面的口碑好像比htmlparser好(htmlunit也用的是nekohtml),但感觉 nekohtml的测试用例和文档都比htmlparser都少,而且htmlparser基本上能够满足垂直搜索引擎页面处理分析的需求 htmlparser的类图如下:...原创 2014-04-19 23:28:37 · 260 阅读 · 0 评论 -
htmlparser关键包结构,类说明
1、org.htmlparser 定义了htmlparser的一些基础类。其中最为重要的是Parser类。 Parser是htmlparser的最核心的类,其构造函数提供了如下:Parser.createParser (String html, String charset)、 Parser ()、Parser (Lexer lexer, ParserFeedback ...原创 2014-04-19 23:49:56 · 203 阅读 · 0 评论
分享