nutch2.1 index with solr 4.0

最新推荐文章于 2017-08-22 15:57:15 发布
原创 最新推荐文章于 2017-08-22 15:57:15 发布 · 1.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何修改ivy/ivy.xml以将Solr库更新到4.0.0版本，并提供了关键配置文件及命令的使用方法，包括使用schema.xml进行文档处理的过程。

首先修改ivy/ivy.xml，使其对应的solr库为4.0.0：

 

    <dependency org="org.apache.solr" name="solr-solrj" rev="4.0.0"
      conf="*->default" />


在配置solr 4.0时，主要的一点是要使用这个schema.xml：

http://nlp.solutions.asia/wp-content/uploads/2012/08/schema.xml

命令使用：

bin/nutch inject urls

bin/nutch generate -topN 100

bin/nutch fetch -all

bin/nutch parse -all

bin/nutch updatedb

bin/nutch solrindex http://yourhost/solr/nutch -reindex

nutch2.1最新svn打包
02-27
这个“nutch2.1最新svn打包”资源包含的是Nutch 2.1的最新源代码版本，通过Subversion (SVN) 版本控制系统获取并打包的完整资源。 Nutch的核心功能包括： 1. **网络爬虫**：Nutch使用了一种基于链接分析的爬行策略...
solr msg=SolrCore 'collection1' is not available due to init failure
热门推荐
【设计改变世界】github地址：https://github.com/guochunyang2004
07-04 1万+
安装好solr后启动出错： HTTP Status 500 - {msg=SolrCore 'collection1' is not available due to init failure: Could not load core configuration for core collection1,trace=org.apache.solr.common.SolrException: So
Nutch 2.2+MySQL+Solr4.2实现网站内容的抓取和索引
孤剑之家
06-20 6442
原文地址： http://blog.sina.com.cn/s/blog_3c9872d00101p4f0.htmlNutch 2.2.1发布快两月了，该版本与Nutch之前版本相比，有较大变化，特别是与MySQL联合应用的安装和配置过程有不少地方容易出错。本人在安装过程中也遇到了不少麻烦，大多问题通过baidu和google也没有找到解决方法，自己只能通过看代码和分析日志并试错，最终搞定了所遇到
Solr4.7.2启动时的Index locked for write for core问题分析
wenchanter的专栏
07-15 7665
Solr在启动时，通过多线程的方式
Nutch 2.2.1+MySQL+Solr4.2实现网站内容的抓取和索引
NeilNiu
08-22 1598
在local目录下创建 search。把apache-nutch-2.2.1-src.tar.gz 上传到search 目录中 解压，然后再数据库中执行以下sql。 手动创建数据库nutch和数据表webpage，其中webpage的表结构如下： CREATE TABLE `webpage` (   `id` varchar(767) CHARACTER SET latin1 NOT NUL
nutch和solr配置学习
WitsMakeMen的专栏
12-03 2454
Nutch和Solr是两个由Apache成员创建的实用工具，你可以使用Nutch抓取网页，使用Solr索引你得到的数据。 除了索引各类网站，这些工具还有很多其他功能，本文将不涉及这些，而是一篇针对如何使用Nutch抓取网页并使用Solr索引并搜索你抓取的数据的新手指南。 本文将不会讨论它们如何工作的大量细节，而会告诉你如何运行一个爬虫和建立索引，我将假设你已经搭建好了tomcat服
Setting up Nutch 2.1 with MySQL to handle UTF-8
weixin_30357231的博客
06-19 69
原文地址：http://nlp.solutions.asia/?p=180 These instructions assume Ubuntu 12.04 andJava 6 or 7 installed and JAVA_HOME configured. Install MySQL Server and MySQL Clientusing the Ubuntu software cent...
nutch2.2.1安装部署
jcxch的专栏
11-03 695
http://www.promenade.me/archives/146 手工创建表webpage varchar（767） 改为 varchar（255） 或者  text 有一篇对应的博文博文，不过是2.1版本的，在最新的2.2.1版本中有很多问题，所以强烈建议大家一定要完全把这篇文章看完后再着手操作，不要跟着我一起走弯路。 流水账一样的配置过程。 MySQL配置：
【solr专题之四】关于VelocityResponseWriter
jediael_lu的专栏
07-22 4513
在Solr中，可以以多种方式返回搜索结果，如单纯的文本回复（XML、JSON、CSV等），也可以返回velocity，js等格式。而VelocityResponseWriter就是用于将返回velocity类型文本，以便直接用于结果呈现。      在Solr提供的example，其中的一个RequestHandler--/browse，使用了VelocityResponseWriter。其配置
Nutch+MongoDB+ElasticSearch+Kibana 搭建搜索引擎
gannyee
01-28 7351
前言： 文章讲述如何通过Nutch、MongoDB、ElasticSearch、Kibana搭建网络爬虫，其中Nutch用于网页数据爬取，MongoDB用于存储爬虫而来的数据，ElasticSearch用来作Index索引，Kibana用来形象化查看索引结果。具体步骤如下： 配置环境：系统环境：Ubuntu 14.04JDK版本：jdk1.8.0_45 通过wget获取下载安装包:gannye
探索nutch 2.1：网页爬虫的新时代
Nutch 2.1在继承了前一版本的优秀特性基础上，引入了多项改进和新特性，使得其在性能、可扩展性以及易用性上都有了显著提升。接下来，我们将详细探讨Nutch 2.1所涉及的知识点。 首先，Nutch 2.1实现了更高效的爬取...
Apache Nutch 2.1：新一代搜索引擎亮点解析
随着版本2.1的发布，Nutch 已经成为构建搜索引擎的一个可靠和灵活的平台，不仅用于小型网站的爬取，也被大型商业搜索引擎用于其核心爬取技术。 ### 知识点详解 #### 1. Nutch 2.1的体系结构 Nutch 2.1 的核心体系...
Nutch 2.1最新SVN版本完整资源打包
标题“nutch2.1最新svn打包”表明该资源是基于 Nutch 2.1 版本从 SVN（Subversion）代码仓库中获取的最新源码，并经过配置和编译后打包而成的完整资源集合。描述中提到“配置nutch最新svn后更新打包的全资源”，说明...
Jsoup处理br
softwarehe的专栏
04-27 5218
try { Document doc = Jsoup.connect("http://book.sina.cn/prog/wapsite/books/h5/vipc.php?bid=232872&cid=343466&cp=1&sort=asc&PHPSESSID=bd8c678e4c42e771dbaa3ac125aaf009&vt=4").get(); String temp =
java url request参数解析类
softwarehe的专栏
04-27 3758
httpclient提供了一个，悲剧的是没法下载，只好按照它代码写了个，自己扩展了些： package com.yunzu.jsoup; import java.io.UnsupportedEncodingException; import java.net.URI; import java.net.URISyntaxException; import java.net.URLDecoder;
小试nutch2.1
softwarehe的专栏
01-24 3050
最近学习机器学习，弄点小数据研究算法对于学习阶段还不错，不过不和实际数据结合总觉得是在玩玩具，因此想抓点数据搞点小应用。 nutch有2.1版本了，看介绍还不错，和hbase、gora结合使用，这样抓取数据的分布式存储和处理都一下ok了，那就试试吧。 前提 我的主机是centos系统，java和hadoop都已安装并正常使用，hadoop是按伪分布式方式部署的。 hbase版本使用hbas
centos eclipse配置heritrix 3.1.1
softwarehe的专栏
04-02 2014
本来应该挺简单的，自己没按官网教程做，走了些弯路。 官网的教程地址是https://webarchive.jira.com/wiki/display/Heritrix/Heritrix+in+Eclipse。 有个中文的教程参见：http://www.jishuziyuan.com/archive/hapepylife1527/8233893.html 1：首先安装好java和eclip
heritrix 3.1.1限制爬取范围
softwarehe的专栏
04-26 1903
参考这篇文章 http://www.verydemo.com/demo_c427_i9456.html 虽然说的不知道是哪个版本的，但看很适合3.1.1版本 主要配置如下： --> --> --> --> --> # example.com #
使用eclipse运行和调试nutch1.4
softwarehe的专栏
03-12 1640
起初参照官网http://wiki.apache.org/nutch/RunNutchInEclipse，有些文字对java不熟悉的人来说根本看不明白，在往上搜索到了一篇文章http://www.douban.com/note/193721760/，里边有个需要翻墙的地址：http://zettadata.blogspot.com/2011/12/eclipsenutch.html，参照这个地址基
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值