三劫散仙

[b][color=red][size=x-large]转载请务必注明，原创地址，谢谢配合! [url]http://qindongliang1922.iteye.com/blog/2088076[/url][/size][/color][/b][b][color=green][size=medium]Hadoop是Lucene的子项目，现在发展如火如荼，如何利用Hadoop的分布式处...

[b][color=red][size=x-large]原创不易，转载请务必注明，原创地址，谢谢配合! [url]http://qindongliang.iteye.com/blog/2164583[/url][/size][/color][/b][b][color=green][size=large]Lucene内置很多的分词器工具包，几乎涵盖了全球所有的国家和地区，最近散仙，在搞多...

[img]http://dl2.iteye.com/upload/attachment/0118/2222/133a7e24-46e8-3060-9018-bfe45e2381cd.jpg[/img][size=medium]最近收集的两个搜索的case，如下：案例一：使用 A关键词：“中国诚通控股公司”搜索，不能搜到 B结果“中国诚通控股集团有限公司”从关键词...

[b][color=red][size=x-large]原创不易，转载请务必注明，原创地址，谢谢配合! [url]http://qindongliang.iteye.com/blog/2142783[/url][/size][/color][/b]对于中文的搜索来说，词库系统，也是一个比较重要的模块，本篇散仙以IK分词器为例子，介绍了如何让分词器从数据库或缓存系统中集中式加载词库？...

[size=medium]当我们在处理搜索业务时候，需求往往是灵活多变的，有时候我们需要精确匹配，有时候我们又需要全文检索，而有时候，我们又想匹配度高而且还能全文检索，这似乎是精确匹配和模糊匹配一个妥协的策略，没错这就是搜索引擎出现的目的，以往的数据库是没法解决这种问题的，数据库只能回答有，没有，存在，不存在，并不能在有和没有之间做一个完美的妥协，比如说能把最匹配最相关的结果放在topN，仅靠...

[size=medium]（一）背景介绍大多数时候我们使用lucene/solr/elasticsearch自带的评分查询都是没问题的，当然这也仅仅限于简单的业务或者对搜索排名不敏感的场景中，假设业务方要求有若干业务因子要干扰到排名，同时还不能放弃框架本身的文本相似度评分，那么应该怎么做呢？ 这种场景尤其是在电商类的一些垂直搜索中体现比较明显，比如，新商品加分，口碑好的加分...

[size=medium]前言：在Lucene4.x之后，出现一个重大的特性，就是索引支持DocValues，这对于广大的solr和elasticsearch用户，无疑来说是一个福音，这玩意的出现通过牺牲一定的磁盘空间带来的好处主要有两个：（1）节省内存（2）对排序，分组和一些聚合操作时能够大大提升性能下面来详细介绍下DocValue的原理和使用场景（一）什么是DocV...

[img]http://dl2.iteye.com/upload/attachment/0105/3491/7c7b3bef-0dda-3ac6-8cdb-1ecc1dd9c194.jpg[/img][b][color=green][size=large]在文章开始之前，我们还是简单来回顾下Pig的的前尘往事：1，Pig是什么？Pig最早是雅虎公司的一个基于Hadoop的并行处...

[b][color=green][size=large]散仙前几篇博客上，已经写了单机程序使用使用hadoop的构建lucene索引，本篇呢，我们里看下如何使用MapReduce来构建索引，代码如下：[/size][/color][/b][code="java"]package com.mapreduceindex;import java.io.IOException;impo...

[b][color=red][size=x-large]转载请务必注明，原创地址，谢谢配合! [url]http://qindongliang1922.iteye.com/blog/2090121[/url][/size][/color][/b][b][color=olive][size=large]散仙，在上篇文章，已经写了如何将Lucene索引写入Hadoop1.x的HDFS系统，...

[size=medium]识别垃圾数据，在一些大数据项目中的ETL清洗时，非常常见，比如通过关键词（1）过滤垃圾邮件（2）识别yellow网站（3）筛选海量简历招聘信息（4）智能机器人问答测试........各个公司的业务规则都不一样，那么识别的算法和算法也不一样，这里提供一种思路，来高效快速的根据关键词规则识别垃圾数据。下面看下需求：业务定义一些主...