
高级搜索和日志
文章平均质量分 65
ldh_lyf
这个作者很懒,什么都没留下…
展开
-
fastDFS原理和使用
fastdfs分布式文件系统:(nfs)用c语言编写的一款开源的分布式文件系统,考虑了冗余备份、负载均衡、线性扩容等机制,提供文件上传、下载,存储,同步FastDFS架构包括 Tracker server和Storage server。客户端请求Tracker server进行文件上传、下载,通过Tracker server调度最终由Storage server完成文件上传和下载。Tr...原创 2017-08-29 20:53:29 · 872 阅读 · 0 评论 -
ELK日志处理之使用logstash收集log4J日志 和log4j日志properties配置
Log4j 主要由三部分组成:loggers:负责采集日志信息。 appenders:负责将日志信息发布到不同地方。 layouts:负责以各种风格格式化日志信息。创建maven工程,pom中导入日志依赖:<dependency> <groupId>log4j</groupId> <artifactId>log4j&l...原创 2019-01-08 14:26:46 · 3135 阅读 · 1 评论 -
日志文件分割和转存
第一种:按照天打成压缩包形式1.logrotate日志分割配置:创建配置文件 touch /etc/logrotate.d/test在文件中添加:/app/project/jiucaiyun/test/jiucaiyun-solr/nohup.out{nocompressdailycopytruncatecreateifemptyolddir /app/project/j...原创 2019-03-25 10:13:33 · 1405 阅读 · 0 评论 -
solr高级使用之group和facet
Group对比FacetGroup和Facet的概念很像,都是用来分组。Facet返回所有相关的结果并允许用户基于facet的目录重新定义结果集。Facet可以对分组数量进行过滤,以及排序,和日期范围,时间范围分组,但是如果你想得到具体的数据,还得需要查询一次或多次。group可以得到分组的组数量,一次请求,可以拿到所有的数据。Group和Facet可以结合起来使用,但只能使用facet....原创 2018-09-14 18:45:29 · 2471 阅读 · 0 评论 -
solr中特殊字符的处理
如查询的条件为:params.add("fq", "jiucaiyun_brand:Double A" ),这样是查不出带有空格的条件,需要把空格转义if(brand2.contains(" ")) { brand2=brand2.replace(" " , "\\ ");}params.add("fq", "jiucaiyun_brand:" + brand2);这样...原创 2018-09-19 17:53:45 · 1876 阅读 · 0 评论 -
solr - defType - 查询权重排序
Solr的defType有dismax/edismax两种,这两种的区别,可参见:https://blog.youkuaiyun.com/lyf_ldh/article/details/82754224下面示例用于演示如下场景:有一网站,在用户查询的结果中,需要按这样排序:VIP的付费信息需要排在免费信息的前头 点击率越高越靠前 发布时间越晚的越靠前这样的查询排序使用普通的查询结果的Orde...原创 2018-09-18 11:08:12 · 853 阅读 · 0 评论 -
solr 的edismax与dismax比较与分析
edismax支持boost函数与score相乘作为,而dismax只能使用bf作用效果是相加,所以在处理多个维度排序时,score其实也应该是其中一个维度 ,用相加的方式处理调整麻烦。而dismax的实现代码逻辑比较简单,看起来比较易理解,edismax是它的加强版,其实是改变了不少。。比如在以下:先看看dismax的解析主要实现思路:首先取出搜索字段名qf将最终解析成一个Boo...原创 2018-09-18 11:07:39 · 1351 阅读 · 0 评论 -
Solr的DisMaxQParserPlugin排序及使用自定义的requestHandle
DisMaxQParserPlugin提供在针对文本boost打分上,支持搜索多个schema索引字段,并针对每一个字段设置不同的boost权限。pf查询 与 qf查询pf: 可提供对一条记录的多个字段做匹配的功能qf: 针对查询的每个字段设置不同的boost权重打分,其设置的字段必须为在pf中配置的项。可在solrconfig.xml中的browse中配置做如下配置:<reque...原创 2018-09-18 11:03:56 · 453 阅读 · 0 评论 -
solr基本语法和关键字使用介绍
一、查询参数说明在做solr查询的时候,solr提供了很多参数来扩展它自身的强大功能!以下是使用频率最高的一些参数!1、常用q-查询字符串,这个是必须的。如果查询所有*:*,根据指定字段查询(Name:张三 AND Address:北京)fq- (filter query)过虑查询,作用:在q查询符合结果中同时是fq查询符合的,例如:q=Name:张三&fq=...原创 2018-09-17 10:49:12 · 5091 阅读 · 0 评论 -
solr高级查询
public class SearchServiceImpl implements SearchService { @Autowired private SolrServer solrServer; public void selectPaginationByQuery(String keyword ,Long brandId,Strin...原创 2018-09-17 10:29:08 · 544 阅读 · 0 评论 -
solr复制域和多值域高亮显示
复制域高亮:title和content组成一个复制域,law_keywordspublic SearchResult search(String keyword, int page, int rows) throws IOException, SolrServerException { SolrQuery query = new SolrQuery(); ...原创 2018-09-17 10:26:31 · 1674 阅读 · 0 评论 -
Java代码对跨源请求处理
页面处理:异步提交的数据格式为:dataType:jsonp //判断用户是否登陆 $.ajax({ url : "http://localhost:8082/isLogin.aspx", type : "post", dataType : "jsonp", success : function(data...原创 2017-09-05 19:53:39 · 710 阅读 · 0 评论 -
solr搭建
单机版1.在根目录下创建文件夹 mkdir /solr2解压Tomcat、solr、ik分词器解压到solr文件夹 tar -zxvf tomcat压缩包 -C /solr/;tar -zxvf solr压缩包 -C /solr/在solr下创建IK文件夹 mkdir /solr/IKik分词器是zip后缀unzip ik压缩包 ...原创 2017-09-01 20:55:57 · 301 阅读 · 0 评论 -
logstash自定义模板输出到elasticsearch和增加输出字段
index写入事件所用的索引。可以动态的使用%{foo}语法,它的默认值是:"logstash-%{+YYYY.MM.dd}",以天为单位分割的索引,使你可以很容易的删除老的数据或者搜索指定时间范围内的数据。索引不能包含大写字母。推荐使用以周为索引的ISO 8601格式,例如logstash-%{+xxxx.ww}示例: index => "tomcat_logs_ind...原创 2019-01-07 17:16:35 · 18971 阅读 · 3 评论