xishanxinyue的专栏

elastic编译  如果对elastic需要定制修改，那么需要修改后做编译。编译过程：1、  编译版本使用1.5.0操作系统Centos6.42、 下载elastic 1.5.0源码3、 安装mavenwgethttp://apache.fayea.com/apache-mirror/maven/maven-3/3.2.1/binaries/apache-

nutch 在抓取网页的时代报如下错误：2015-06-30 16:25:53,420 DEBUG security.UserGroupInformation - PrivilegedActionException as:hadoop (auth:SIMPLE) cause:org.apache.hadoop.mapred.InvalidInputException: Input path does

Nutch总结（一）本文基于nutch 1.9版本。1、     Nutch是什么？做什么比较合适？Nutch是一个开源的网络爬虫，完全用java编写。可以自动的抓取网页数据。网页抓取后和Solr结合使用可以实现一个完整的搜索引擎，同时也支持elastic search作为其搜索引擎。如果有网路爬虫需要可以考虑使用Nutch。2、     Nutch的特点？l  灵活、