Just for fun的专栏

大数据时代，搜索无处不在，利用开源软件快速搭建搜索引擎，经过几天的尝试，终于成功，整个过程分享出来免得大家再浪费不必要的时间。请尊重原创，转载请注明以及原始链接地址一、需要的软件及其版本Centos linux 7hadoop 1.2.1hbase 0.94.27nutch 2.3solr 4.9.1以上参考下

Elasticsearch的整体架构图 为了实现容错，Elasticsearch会把查询文档集合分解为多个小的索引，每一个小的索引就叫做分片（shards）。每一个分片都可以有0到多个副本（replicas），而每一个副本也都是分片的完整复制品，这样也提高了查询速度。 一旦Elasticsearch的某个结点数据损坏或服务不可用的时候，就可以以用其它节点来代替坏掉的节点，以...

阅读目录一、ElasticSearch是什么? 二、Docker 部署 ElasticSearch 三、Docker 部署 ElasticSearch-Head回到顶部一、ElasticSearch是什么?Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从...

三、调试我们的第一个相关性问题使用ElasticsearchTMDB数据集在https://github.com/o19s/relevant-search-book中tmdb.jsonpython实现函数reindex函数，重建Elasticsearch索引，并放入其中。Query DSL领域特定查询语言TF-IDF四、驾驭token文本分析所生成的token不仅代...

二、搜索----幕后揭秘搜索时用户和搜索引擎之间的一种人机对话。总所周知，搜索引擎的核心功能是存储、查询并获取内容。鼓励用户继续进行探索的方式将相关性文档呈现给用户。倒排索引由词典和倒排表组成。倒排表中描述单个词和包含该词的文档列表与之对应。词典和倒排表都是映射表。为了让搜索引擎能够提供相关性结果并帮助用户改进查询条件，Lucene在索引中还加入了更多的数据结构和元数据...

谷歌以及其他顶级的搜索引擎现在已经把用户培养成为这样一种群体，他们期望搜索应用几乎能读懂自己内心的想法。本书所讨论的，就是我们如何更加积极地朝着理解用户意图的方向去努力。如何解决搜索相关性、推荐和个性化方面的一些世界级难题。通常衡量一个项目成功与否的简单指标：系统运行更快了吗？应用开发完成了吗？但是，搜索相关性并不遵循这些规则，。而且从谷歌时代成长起来的用户是不会容忍“还算凑合”这样的...

PageRank算法--从原理到实现本文将介绍PageRank算法的相关内容，具体如下：1.算法来源2.算法原理3.算法证明4.PR值计算方法4.1 幂迭代法4.2 特征值法4.3 代数法5.算法实现5.1 基于迭代法的简单实现5.2 MapReduce实现6.PageRank算法的缺点7.写在最后参考资料1. 算法来源这

http://www.360doc.com/content/15/0806/07/2909773_489803369.shtml此文是根据付海军在【QCON高可用架构群】中的分享内容整理而成，转发请注明出处。付海军，现就职于时趣互动，任技术总监，负责移动原生广告平台引擎开发和数据挖掘工作，06年毕业于兰州大学，曾就职于阿里巴巴集团万网从事主机面板和云计算底层开发；之后加入亿玛在线从

搜索是大数据领域里常见的需求。Splunk和ELK分别是该领域在非开源和开源领域里的领导者。本文利用很少的Python代码实现了一个基本的数据搜索功能，试图让大家理解大数据搜索的基本原理。布隆过滤器 （Bloom Filter）第一步我们先要实现一个布隆过滤器。布隆过滤器是大数据领域的一个常见算法，它的目的是过滤掉那些不是目标的元素。也就是说如果一个要搜索的词并不存在与我的数据中，

什么是 Elasticsearch想查数据就免不了搜索，搜索就离不开搜索引擎，百度、谷歌都是一个非常庞大复杂的搜索引擎，他们几乎索引了互联网上开放的所有网页和数据。然而对于我们自己的业务数据来说，肯定就没必要用这么复杂的技术了，如果我们想实现自己的搜索引擎，方便存储和检索，Elasticsearch 就是不二选择，它是一个全文搜索引擎，可以快速地储存、搜索和分析海量数据。为什么要用 Elas...