seapeak007的博客

转自：https://www.cnblogs.com/aresxin/p/8035137.html为什么用到ELK：一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志...

迁移办法的几个办法:elasticsearch-dumpsnapshotreindexlogstash公司迁移es,因数据量不是很大,采用的方法elasticsearch-dump的方式进行数据迁移elasticsearch-dump:主要针对数据量小的情况,而且迁出迁入服务器网络通elasticsearch-dump 是一款开源的es迁移工具,github地址:https:/...

转自：https://yq.aliyun.com/articles/658838?spm=a2c4e.11153940.bloghomeflow.58.3141291afGdE0D摘要： 前言 Elasticsearch是一个很火的分布式搜索系统，提供了非常强大而且易用的查询和分析能力，包括全文索引、模糊查询、多条件组合查询、地理位置查询等等，而且具有一定的分析聚合能力。因为其查询场景非常丰富...

一、Canal安装1.Canal下载地址：https://github.com/alibaba/canal/releases二、Zookeeper集群安装主要是zoo.cfg中修改如下配置，从sample赋值过来配置后修改；以及创建data,dataLog目录；data文件夹下面创建myid文件，指定server的id值1或者2等。dataDir=/home/centos/es/...

转自：https://www.cnblogs.com/chanshuyi/p/6669006.html公司是做社交相关产品的，社交类产品对搜索功能需求要求就比较高，需要根据用户城市、用户ID昵称等进行搜索。项目原先的搜索接口采用SQL查询的方式实现，数据库表采用了按城市分表的方式。但随着业务的发展，搜索接口调用频次越来越高，搜索接口压力越来越大，搜索数据库经常崩溃，从而导致搜索功能经常不能...

转自：https://blog.youkuaiyun.com/xieshanwu/article/details/78667881使用Chrome浏览器插件sense请求时，报错406查询官方文档得到说明，从6.0版本开始，本次请求必须加上正确的 Content-Type，详细见官网说明https://www.elastic.co/blog/strict-content-type-checki...

转自：https://blog.youkuaiyun.com/jek123456/article/details/54562158随着数据规模的爆炸式增长，如何从海量的历史，实时数据中快速获取有用的信息，变得越来越有挑战性。电商数据系统主要类型一个中等的电商平台，每天都要产生百万条原始数据，上亿条用户行为数据。一般来说，电商数据一般有3种主要类型的数据系统：  关系型数据库，大多数互联网...

转自：https://www.cnblogs.com/tylercao/p/7672865.html背景随着公司业务的高速发展以及数据爆炸式的增长，当前公司各产线都有关于搜索方面的需求，但是以前的搜索服务系统由于架构与业务上的设计，不能很好的满足各个业务线的期望，主要体现下面三个问题：不能支持对语句级别的搜索，大量业务相关的属性根本无法实现 没有任何搜索相关的指标评价体系 扩展性与...

转自：https://blog.youkuaiyun.com/zjerryj/article/details/77152226数据抽取是 ETL 流程的第一步。我们会将数据从 RDBMS 或日志服务器等外部系统抽取至数据仓库，进行清洗、转换、聚合等操作。在现代网站技术栈中，MySQL 是最常见的数据库管理系统，我们会从多个不同的 MySQL 实例中抽取数据，存入一个中心节点，或直接进入 Hive。市面上已...

1.安装、搭建环境参考下面2个地址：https://www.cnblogs.com/huangxincheng/p/7918722.htmlhttps://blog.youkuaiyun.com/bluetjs/article/details/78770447

这个是ES正在初始化Monitor的索引，查看服务器磁盘，磁盘空间足够。解决办法是：执行命令：curl -XGET -usinochem:sinochem http://es服务器地址:9200/_cat/indices 查看es中的索引找到上面命令执行结果中为red(非green)的进行删除curl -XDELETE -usinochem:sinochem http:...