云计算/大数据
关注
分享
扫一扫
文章平均质量分 79
HyperDai
Hyper Hyper Hyper Dai~~
展开
-
走近 ElasticSearch （四）——搜索机制与聚合分析
一、前言二、ES Search 的运行机制ES的搜索过程如下：看起来很简单的图，在我们 ES 集群中进行搜索，其实并没有那么简单。1. 搜索过程分解Search 执行的时候实际分两个步骤运作的：查询(Query) 和 获取(Fetch)查询阶段(Query Phase):在此阶段,协调节点(Coordinating Node)将搜索请求路由到索引(index)中的所有分片(shard...原创 2020-05-30 20:25:18 · 756 阅读 · 0 评论 -
走近 ElasticSearch （三）——Mapping设计与 Search API 介绍
一、前言（知识搬运工走进 ElasticSearch （一）走进 ElasticSearch （二）二、Mapping类似数据库中表结构定义，主要作用如下：定义 Index 下的字段名（Field Name）定义字段的类型，比如数值型、字符串型、布尔型等定义倒排索引相关的配置，比如是否索引、记录 position 等1. 自定义 mapping查看 Mapping api：...原创 2020-05-30 20:25:10 · 1256 阅读 · 0 评论 -
走近 ElasticSearch （二）——Document概念、倒排索引原理与分词介绍
一、前言（知识搬运工二、Document 介绍1. Document 数据类型Json Object，由字段（Field）组成，常见数据类型如下：字符串: text, keyword数值型: long, integer, shot, byte, double, float,haf_float, scaled_float布尔: boolean日期: date二进制: binary...原创 2020-05-30 20:25:02 · 983 阅读 · 0 评论 -
走近 ElasticSearch （一）——基本概念与架构设计
前言之前学过很多次ES，都没有做笔记，这次想要系统的做一次笔记。定义与起源它是什么？一个便于检索的数据库更近一步呢？基于 Lucene 的开源搜索引擎。分布式，可拓展，每个字段都能被索引至于起源……一位待业极客男青年与他媳妇的故事……使用场景目前市场上与es相关的产品：1、大多数的站内搜索2、维基百科,使用ES提供全文搜索并高亮关键字3、stackoverflow,结合...原创 2020-05-30 20:24:53 · 967 阅读 · 0 评论 -
[Kubernetes]如何通过服务名发现服务？ kube-proxy 和 kube-dns 原理解密
前言在这里，你将了解 Kubernetes 集群如何实现通过服务名，进行服务发现，负载均衡，调用后端服务。这里，我们以服务名为ticknet为例，假设我们要访问内部服务ticknet的某个http接口，则，我们的请求链接格式可以是：http://ticknet/get/user/10000目录kube-dns服务发现原理kube-proxy实现负载均衡总结参考1. kube-...原创 2019-08-02 17:57:56 · 6555 阅读 · 0 评论 -
【Docker-05】Redis集群初探 —— 主从同步
Redis集群知多少redis目前的集群方案分为以下几种：1.RedisCluster：官方推荐，没有中心节点2.Codis：中间件产品，存在中心节点3.Twemproxy：中间件产品，存在中心节点RedisCluster无中心节点，客户端与redis节点只连，不需要中间代理层数据可以被分片存储管理方便，后续可自行增加或摘除节点主从同步Redis集群中的数据库复制是通过主...原创 2019-06-23 21:36:30 · 267 阅读 · 0 评论 -
【Docker-04】Mysql集群 热备份数据 —— 不看后悔系列 —— 看了也后悔
前言冷备份：关闭数据库时候的备份方式，通常做法是拷贝数据文件冷备份是最简单的最安全的一种备份方式mysqldump也属于冷备份大型网站无法做到关闭业务备份数据，所以冷备份不是最佳选择当然在之前提到的PXC集群中，我们可以中断某个节点，单独备份数据，再上线。热备份：热备份是在系统运行的状态下备份数据，也是难度最大的备份Mysql常见的热备份有LVM和XtraBackup两种方案...原创 2019-06-23 21:00:24 · 441 阅读 · 2 评论 -
【Docker-03】负载均衡的高可用方案 —— 不看后悔系列
前言通过上一篇文章我们知道，我们的haproxy是单节点的，如果haproxy挂掉，我们的后端Mysql集群就不可用了。所以……总体设计1.虚拟IP —— Linux2.利用Keepalived实现双机热备3.Haproxy双机热备方案动手试试1.安装Keepalived进入容器docker exec -it h1 bash在容器中安装apt-get updatea...原创 2019-06-23 20:23:54 · 735 阅读 · 0 评论 -
【Docker-02】数据库集群负载均衡 —— 不看后悔系列
前言如果没有安装Mysql集群，先看上一节。为什么要负载均衡？因为：一个人受罪还不如大家一起受罪！（想想就觉得不疼了）这里我以PXC.Mysql集群为例，使用Haproxy做负载均衡，使请求均匀分发给每个节点（一起受罪）为什么Haproxy？看到TCP/IP协议那里，我挺喜欢Nginx，但是不敢用，谁让他出得慢，而Haproxy好歹很早就支持了！1.安装Haproxy镜像doc...原创 2019-06-23 19:46:12 · 568 阅读 · 0 评论 -
【破冰】ElasticSearch7.x「新特性」——不完全解读
前言公司ELK系统需要重构，然后我准备尝试把Es6.x升级到Es7.x，翻了许多文档，踩了很多坑，以下是对于新特性的一些解读（理论），主要是从ES6.x-》7.x。当然接下来会推出ES7+Java代码实践（期待）。正文1. 集群连接变化：TransportClient被废弃以至于，es7的java代码，只能使用restclient。然后，个人综合了一下，对于java编程，建议采用 Hig...原创 2019-05-24 21:15:50 · 17567 阅读 · 2 评论 -
【破冰】ElasticSearch 7.x 操作示例
前言想要了解ElasticSearch的朋友可以去：Elastic官网想了解ElastciSearch7的同学可以去：ElasticSearch7.x新特性正文参考ElasticSearch 遇见原创 2019-05-31 11:01:26 · 1270 阅读 · 0 评论 -
K8S入坑指南 - 分布式集群方案探讨
前言随着团队应用产品的不断增多，服务器运营人员的工作量做到，而且有许多重复工作和不必要的劳动力。 并且，为了满足前后端，运维工作的完全分离，我们需要对运维工作进行很好的调整。 经过讨论，一方面，运维工作文档化，另一方面加速推进自动化部署、监控、维护系统的建设与完善。 经过调研，我们决定使用K8S作为环境部署、监控等工作。必知必会了解k8s，必须先学习docker。 k8s测...原创 2018-08-20 16:49:01 · 1590 阅读 · 3 评论 -
【Docker-01】从「概念->安装->创建Mysql集群」体验
概念别问，问就是百度。Docker下载与安装官网下载：https://www.docker.com/此处留坑：Mac版Docker，禁用不了开机启动。等一个大佬帮忙解决添加远程仓库（国外的镜像下载速度太慢）我用的：https://www.daocloud.io/Mac添加方法：创建Mysql集群我们采用PXC的Mysql集群镜像，不懂先百度PXC。1.查询远程镜像仓库do...原创 2019-06-23 18:52:42 · 241 阅读 · 0 评论