
分布式
文章平均质量分 86
不知为MUJI
站在树上的鸟从不害怕树枝断裂,因为它相信的不是树,而是翅膀。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【hive】join语句优化
Mapjoin场景Mapjoin是Hive鲜为人知的功能,它允许将表加载到内存中,从而只要在mapper中完全执行(非常快速)的join,而不必使用“map/reduce”步骤。如果您的查询经常依赖于小表联接(例如城市或国家等),则可能会发现使用mapjoins可以大大提高速度。启用有两种方法可以启用它。1.是通过使用一个注释,/ * + MAPJOIN(小表)* /。此C样式注释应放在SELECT之后,它指示Hive将别名(小表)加载到内存中。SELECT /*+ MAPJOIN原创 2020-07-01 16:59:26 · 346 阅读 · 0 评论 -
【搜索】ElasticSearch
引言ElasticSearch是一个开源的全文搜索引擎,是一个面向文档的数据库,它像mogodb一样将数据按照json格式存储,然后你就可以通过查询获取他们了。入门使用安装参考,启动服务后一般监听9200端口,一般IDE可装插件ElasticSearch,连接本机后可以使用Rest API进行交互。操作api操作 作用 类比数据库 PUT school 创建索引school 创建数据库school Put Mapping .原创 2020-06-28 22:06:41 · 356 阅读 · 0 评论 -
【big data】hadoop-yarn-spark
Hadoop看下图,传统的操作系统主要是文件系统和处理器,迁移到集群模式对应Hadoop的HDFS和YARN(Yet Another Resource Negotiator),Yarn负责执行,调度,决定可以做什么以及在哪里进行。YarnYARN(Yet Another Resource Negotiator)是个集群管理器,负责整个集群资源的调度和任务的执行。组件 功能 RM ResourceManager 资源管理器 一个集群一个,原创 2020-06-28 12:02:50 · 440 阅读 · 0 评论 -
【微服务】容器化之Docker & Kubernetes
1.容器生态容器技术的生态系统自下而上分别覆盖了IaaS层和PaaS层所涉及的各类问题,包括资源调度、编排、部署、监控、配置管理、存储网络管理、安全、容器化应用支撑平台等。如下图,其中docker、k8s、consul、etcd等都是此处需要关注的。docker主要是轻量级容器引擎,起到容器(运行着服务)间隔离的作用,可以充分利用机器资源,自动化部署。Kubernetes(k8s)主要用于管理容器集群,1.1优势持续部署与测试 跨云平台支持 环境标准化和版本控制2.Docker原创 2020-06-16 18:34:51 · 747 阅读 · 0 评论 -
【算法设计】限流算法
目录1.现有算法1.2 维度设计2.分布式2.1 redis共享存储2.1.1 缺点:2.1.2 优化方案:2.2 每台机器单独限流 totalth/machineCount2.2.1 缺点:2.2.2 优化方案:1.现有算法 计数器 桶 计数器 滑动窗口 漏...原创 2020-04-16 15:16:58 · 410 阅读 · 0 评论 -
【redis】一篇文章快速了解redis
目录1.数据类型2.memcachedVSredis对比3.部署模式4.持久化5.过期策略expire6.淘汰策略(内存达到阈值)7.常见术语1.数据类型数据类型 样例解释 优缺点 操作 应用场景 string key:value 简单 set、get、del SETEX expire...原创 2020-04-03 17:53:37 · 256 阅读 · 0 评论 -
【分布式】Kafka-clients 入门
目录1.消息队列2.Kafka是什么?2.Kafka架构概念2.1 集群角色2.2 逻辑-物理数据结构2.2.1 Topic主题2.2.2 Partition分区2.2.3 message消息3.设计原理3.1 生产者发送消息3.1.1生产者配置3.2 Consumer消费流程3.2.1 poll方法3.2.2 coordnator协调器...原创 2019-12-11 15:57:42 · 279 阅读 · 0 评论 -
【分布式】zookeeper 入门
目录前言1.功能简介2.安装3.ZKshell操作命令4.基础概念5.编程demo5.1连接到ZooKeeper5.2读取操作5.3 写操作6.数据一致特点7.应用场景实例7.1 集群管理前言zookeeper主要用于协调分布式服务、 配置维护、组合管理和命名服务,通过使用类似于文件操作系统的目录结构树来维护元数据。参考官网https:...原创 2019-11-21 15:36:32 · 309 阅读 · 0 评论