h_big_tiger的博客

1、LogStash1.1下载LogstashWget https://artifacts.elastic.co/downloads/logstash/logstash-6.5.4.tar.gz1.2项目结构解压缩后项目结构为：其中我们需要手动添加oracle的jar包作为logstash的驱动。1.3修改配置文件作用是：每秒增量更新，每分钟进行一次全量更新删除的话，目前logs...

Canal同步mysql数据至ES1、更改Mysql配置1.1 开启 Binlog 写入功能配置 binlog-format 为 ROW 模式，配置my.cnf[mysqld]log-bin=mysql-bin # 开启 binlogbinlog-format=ROW # 选择 ROW 模式server_id=1 # 配置 MySQL replaction 需要定义，不要和 cana...

ES学习第二篇一、与elastic search的交互我是Java工程师，相应的我就说我们是怎么交互的。1.1 Java API在代码中你可以使用 Elasticsearch 内置的两个客户端：1.1.1 节点客户端节点客户端作为一个非数据节点加入到本地集群中。换句话说，它本身不保存任何数据，但是它知道数据在集群中的哪个节点中，并且可以把请求转发到正确的节点。1.1.2 传输客户端...

一、ES的产生1.1 大批量数据如何检索问题：当系统数据量上了10亿条的时候，我们通常会从以下角度去考虑问题：用什么数据库好？(mysql、oracle、mongodb、hbase…)如何解决单点故障；(zk、mq)如何保证数据安全性；(热备、冷备)如何解决检索难题；(数据库代理中间件：mysql-proxy、Cobar、MaxScale等;)如何解决统计分析问题；(离线、近实时)...

最近接了一个新需求，做一个搜索引擎。先看一下技术选型吧。ElasticSearch和solr的区别Elasticsearch简介Elasticsearch是一个实时分布式搜索和分析引擎。它让你以前所未有的速度处理大数据成为可能。它用于全文搜索、结构化搜索、分析以及将这三者混合使用：如维基百科使用Elasticsearch提供全文搜索并高亮关键字，以及输入实时搜索(search-asyo...