解决Nutch一些小问题

 1.网页快照乱码问题
Nutch的网页快照是乱码,解决办法是修改tomcat/webapps/nutch目录下的cached.jsp文件,修改其中的第63行。
原来的代码是:content  new  String(bean.getContent(details);
修改后的代码是:content  new  String(bean.getContent(details),"gb2312");
2.搜索结果高亮显示
Nutch默认的搜索结果是没有高亮的,解决办法是在关键词中加入html颜色标签。
将  org.apache.nutch.searcher.Summary  第107行  代码  修改为:
public  String  toString()  {
          StringBuffer  buffer  new  StringBuffer();
          for  (int  0;  fragments.size();  i++)  {
              buffer.append(fragments.get(i));
          }
          return  "<span  style='color:red'>"  buffer.toString()+  "</span>"; 
}
3.抓取页面大小
Nutch默认只抓取一个页面的前65k的内容,在我抓取bbs的时候,会出现只能抓取前几个回帖的内容,所以想抓取整个页面的内容,就要解除65k的限制。解决方法是修改nutch/conf中的nutch-site.xml文件,在文件最后添加以下内容:
<property>
    <name>http.content.limit</name>
    <value>-1</value>
    <description>The  length  limit  for  downloaded  content,  in  bytes.
    If  this  value  is  nonnegative  (>=0),  content  longer  than  it  will  be  truncated;
    otherwise,  no  truncation  at  all.
    </description>
</property>
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值