搜索引擎
关注
分享
扫一扫
fish_cool
擅长java并发设计与开发(包括多核开发)、java性能调优、java分布式架构与设计、工作流引擎算法、python；对erlang、ada、搜索引擎有浓厚的兴趣，曾从事过数据分析与挖掘(SAS)和hadoop平台相关(hive、sqoop、R、zookeeper、mahout、Hbase等)方面的研究与开发，现阶段负责公司的整个大数据平台的搭建(包括海量实时OLAP查询、离线计算平台、实时计算平台)，并朝着各平台封装成产品的方向前进
展开
-
搜索引擎之中文分词(Chinese Word Segmentation)简介
搜索引擎之中文分词(Chinese Word Segmentation)简介转载 2011-02-10 15:23:00 · 1623 阅读 · 0 评论 -
Bamboo配置方案
Bamboo Framework的核心主要由Processors和Parsers两层构成，配置选项和参数主要对应Parsers层，即每个Parser都有自己的配置文件 配置文件和Parser的对应关系： /opt/bamboo/etc/ugm_seg.conf - 基于Unigram算法的分词Parser /opt/bamboo/etc/crf_seg.conf - 基于CRF模型的分词P转载 2011-11-15 17:49:03 · 3466 阅读 · 0 评论 -
搜索引擎技术之概要预览
搜索引擎技术之概要预览 前言 近些天在学校静心复习功课与梳理思路（找工作的事情暂缓），趁闲暇之际，常看有关搜索引擎相关技术类的文章，接触到不少此前未曾触碰到的诸多概念与技术，如爬虫，网页抓取，分词，索引，查询，排序等等，更惊叹于每一幅精彩的架构图，特此，便有记录下来的冲动，以作备忘。 本文从最基本的搜索引擎的概念谈起，到全文检索的概念，由网络蜘蛛，分词技术转载 2011-12-06 13:07:15 · 3061 阅读 · 0 评论 -
postgreSQL9.1集成bamboo的使用
关于中文分词如何集成使用，网上是有写例子的，之前我也写总结了下。 不过数据源可以是varchar类型的，也可以text类型。 然后通过安装后的两个分词函数tokenize和to_tsvector。使用的场景不一样。 这里我首先假设了一个数据源（该表是将数据源和索引字段放在一起） 其中content为源内容，idx_fti为content的索引内容。 然后可以在idx_fti上面建原创 2011-11-17 14:17:58 · 1384 阅读 · 0 评论 -
关于基于postgresQL的中文全文检索感受
最近一个多礼拜，通过对基于PostgreSQL的全文检索的安装和使用。发现一个问题： 就是中文分词技术还是很难的，包括分词的技巧和如何进行分词。例如： “2011新款”这个词，使用bamboo时，该分词建立索引有两种形式分别为2011、新款；2011、新、款。 如果在查询时，这个"2011新款"词，将只能查出其中的一条记录。 待续……原创 2011-11-19 17:14:29 · 2037 阅读 · 0 评论 -
Tsearch2分词函数
这是网上已有的分词函数，先转过来了解了解。 基础的分字程序 下面是 Carrie （感谢 Carrie!:D ）写的一个基础的分字程序，在很大程度上可以满足相当多应用的需要： -- -- a basic Chinese word segment function -- author: Carrie -- create or replace function CarrieCharSe原创 2011-11-15 19:36:17 · 986 阅读 · 0 评论 -
基于postgreSQL9.1的中文全文检索(基于Linux)
最近在给公司的一个产品做中文全文检索的功能，由于目前所有的数据都是基于postgreSQL的，所以需要一个基于该数据库做一个中文分词的处理。鉴于网上很多资料安装混乱，特将我自己的亲自安装的过程记录下来，方便大家更好的安装。 我这里是安装postgreSQL9.1，目录是/opt/PostgreSQL/9.1/。关于postgreSQL9.1安装非常简单，这里就不做介绍了。 目前采用Bam原创 2011-11-15 15:17:15 · 12021 阅读 · 0 评论 -
关于postgresQL里的GiST索引
默认的PostgresQL是支持全文检索的，不过是针对英文的，而中文是不行的。网上已经有很多如何使用这种方式，这里就不细所说了。 GiST就是通用搜索树。 谈谈一个初步的体验 数据源是text类型或者varchar类型，索引是tsvector类型。 然后采用是独立索引表或者增加索引字段方式，不管哪种方式，都需要创建触发器。 对于大批量的数据入库的话，可能对写操作速度有些影响 索引表(独原创 2011-11-15 19:32:13 · 4012 阅读 · 0 评论