https://blog.youkuaiyun.com/nutch_520zh-cnhttps://blog.youkuaiyun.com/https://blog.youkuaiyun.com/nutch_520/article/details/6224878https://blog.youkuaiyun.com/nutch_520/article/details/6224878nutch_520Sat, 05 Mar 2011 00:43:00 +0800分为以下几个部分：
 
1 解析成Dom 通过sax，
DocumentFragment root;
//把网页内容content转化byte
byte[] contentInOctets = content.getContent();
 
//SAX解析抽取外部信息
            InputSource input = new InputSource(new ByteArrayInputStrea]]>https://blog.youkuaiyun.com/nutch_520/article/details/6219519https://blog.youkuaiyun.com/nutch_520/article/details/6219519nutch_520Thu, 03 Mar 2011 00:20:00 +0800今天看到一篇文章，关于页面转化成xml的方式，突然想到nutch的模板匹配问题，因为第一个页面，写匹配方式，及写一些与此同时过滤真的很没有效率，所以我打算，扩展nutch的htmlParser这个插件，把nutch只当作一个爬虫，而索引这块先不考虑。考虑采用自己建立solr服务器来建立索引。
 
方案：动态代码-->html-->转化成xml或xhtml --> XSLT提取
 
然后通过xslt模板来匹配需求采集的部分。这样如果有目标站点，则可以通过编]]>https://blog.youkuaiyun.com/nutch_520/article/details/6207378https://blog.youkuaiyun.com/nutch_520/article/details/6207378nutch_520Fri, 25 Feb 2011 13:13:00 +0800最近在研究nutch，找到了关于使用底层命令进行全网爬行的资料。
 首先获得网址集，使用http://rdf.dmoz.org/rdf/ 目录下的content.example.txt 文件做测试，建立文件夹dmoz
 命令：bin/nutch org.apache.nutch.tools.DmozParser content.example.txt >dmoz/urls
 注射网址到crawldb数据库：
 命令：bin/nutch inject c]]>https://blog.youkuaiyun.com/nutch_520/article/details/6207377https://blog.youkuaiyun.com/nutch_520/article/details/6207377nutch_520Fri, 25 Feb 2011 13:12:00 +0800最近在研究nutch，整理了一下关于读取资源数据的命令。
1.查看crawldb数据库：bin/nutch readdb url/crawldb/ -stats     这个命令可以查看url地址总数和它的状态及评分。
 查看每个url地址的详细内容，导出数据：bin/nutch readdb url/crawldb/  -dump crawldb(导出的地址)
 查看具体的url，以163为例：bin/nutch  readdb url/crawldb/ -url]]>https://blog.youkuaiyun.com/nutch_520/article/details/6206565https://blog.youkuaiyun.com/nutch_520/article/details/6206565nutch_520Fri, 25 Feb 2011 00:30:00 +0800二次开发的时候，需要重点对Nutch的界面及界面显示数据进行适当的调整。

目前据我了解到的要修改的地方有以下几点：

1。搜索页面页头页尾log修改、选项卡乱码显示问题。
2。显示查询结果行   添加查询用时
3。查询结果摘要长度修改，默认只有20个字符。
4。网页快照乱码修改，以及后面的(评分详解) (anchors) (more from news.qq.com)菜单项修改。 <]]>https://blog.youkuaiyun.com/nutch_520/article/details/6206564https://blog.youkuaiyun.com/nutch_520/article/details/6206564nutch_520Fri, 25 Feb 2011 00:29:00 +0800<%@ page session="false" contentType="text/html; charset=UTF-8"
    pageEncoding="UTF-8" import="java.io.*" import="java.util.*"
    import="java.net.*" import="javax.servlet.http.*"
    import="javax.servlet.*" import="org]]>https://blog.youkuaiyun.com/nutch_520/article/details/6206563https://blog.youkuaiyun.com/nutch_520/article/details/6206563nutch_520Fri, 25 Feb 2011 00:27:00 +0800<%@ page session="false" contentType="text/html; charset=UTF-8"
    pageEncoding="UTF-8" import="java.io.*" import="java.util.*"
    import="java.net.*" import="javax.servlet.http.*"
    import="javax.servlet.*" import="org.apach]]>https://blog.youkuaiyun.com/nutch_520/article/details/6203843https://blog.youkuaiyun.com/nutch_520/article/details/6203843nutch_520Wed, 23 Feb 2011 23:54:00 +0800    nutch的首页，比较难看，实现了一些基本页面，像baidu一样。你如果像对它进行二次开发的话，你就得读一下源码了，然后进行build.xml 重新打包在tomcat里发布了，当然。这里我已经对它进行了读写哈。
 
    nutch 里的页面，是通过xslt 里编写的，在源码src/web/style/nutch-page.xsl 编写，这里有一个xsl格式的源码。这里你应该要读懂它的基本结构，不然会build.xml失败的。所以你要一步一步的试。
 https://blog.youkuaiyun.com/nutch_520/article/details/6201319https://blog.youkuaiyun.com/nutch_520/article/details/6201319nutch_520Wed, 23 Feb 2011 00:15:00 +0800nutch -1.0 的分布式 查询部署

    nutch-1.0集成了hadoop的mapreduce 实现分布式爬虫方式，抓取的网页及索引等都存放在HDFS上，但hdfs 用于查询是不切实际的，所以建议copy到本地 之后做搜索 查询。但如果索引文件 很多，索引数据 量大，在一台机器上部署查询势必很慢，这时可以考虑分布式查询方式，将索引分散在多个机器中；

下面是分布式查询方式的部署方式：

首先定义]]>https://blog.youkuaiyun.com/nutch_520/article/details/6201318https://blog.youkuaiyun.com/nutch_520/article/details/6201318nutch_520Wed, 23 Feb 2011 00:14:00 +0800    nutch1.2 修改jsp页面后，想打包部署到tomcat中，有几个地方需要修改的。
 
    其中一个地方，当然是搜索的索引路径了.
   nutch-site.xml
    
        searcher.dir
        F:/nutch/test
   
 https://blog.youkuaiyun.com/nutch_520/article/details/6201299https://blog.youkuaiyun.com/nutch_520/article/details/6201299nutch_520Tue, 22 Feb 2011 23:53:00 +0800    nutch1.2 修改jsp页面后，想打包部署到tomcat中，有几个地方需要修改的。
 
    其中一个地方，当然是搜索的索引路径了.
   nutch-site.xml
    
        searcher.dir
        F:/nutch/test
   
 
  ]]>https://blog.youkuaiyun.com/nutch_520/article/details/6198852https://blog.youkuaiyun.com/nutch_520/article/details/6198852nutch_520Mon, 21 Feb 2011 23:45:00 +0800今尝试下给nutch1.2增加一个插件，于是到官网找了个例子，链接如下：
http://wiki.apache.org/nutch/WritingPluginExample-0.9
这个例子实现的的是推荐网站，就是写关键字在content里，当别人搜索这个关键字时，你推荐的网站在搜索结果中排前，要实现推荐必须在你的网页上加上
view plaincopy to clipboardprint?
https://blog.youkuaiyun.com/nutch_520/article/details/6198841https://blog.youkuaiyun.com/nutch_520/article/details/6198841nutch_520Mon, 21 Feb 2011 23:41:00 +0800https://blog.youkuaiyun.com/nutch_520/article/details/6198838https://blog.youkuaiyun.com/nutch_520/article/details/6198838nutch_520Mon, 21 Feb 2011 23:39:00 +0800简介]]>https://blog.youkuaiyun.com/nutch_520/article/details/6198837https://blog.youkuaiyun.com/nutch_520/article/details/6198837nutch_520Mon, 21 Feb 2011 23:38:00 +0800https://blog.youkuaiyun.com/nutch_520/article/details/6198809https://blog.youkuaiyun.com/nutch_520/article/details/6198809nutch_520Mon, 21 Feb 2011 23:21:00 +0800