opi

Mapjoin场景Mapjoin是Hive鲜为人知的功能，它允许将表加载到内存中，从而只要在mapper中完全执行（非常快速）的join，而不必使用“map/reduce”步骤。如果您的查询经常依赖于小表联接（例如城市或国家等），则可能会发现使用mapjoins可以大大提高速度。启用有两种方法可以启用它。1.是通过使用一个注释，/ * + MAPJOIN（小表）* /。此C样式注释应放在SELECT之后，它指示Hive将别名（小表）加载到内存中。SELECT /*+ MAPJOIN

引言ElasticSearch是一个开源的全文搜索引擎，是一个面向文档的数据库，它像mogodb一样将数据按照json格式存储，然后你就可以通过查询获取他们了。入门使用安装参考，启动服务后一般监听9200端口，一般IDE可装插件ElasticSearch，连接本机后可以使用Rest API进行交互。操作api操作 作用 类比数据库 PUT school 创建索引school 创建数据库school Put Mapping .

Hadoop看下图，传统的操作系统主要是文件系统和处理器，迁移到集群模式对应Hadoop的HDFS和YARN(Yet Another Resource Negotiator)，Yarn负责执行，调度，决定可以做什么以及在哪里进行。YarnYARN(Yet Another Resource Negotiator)是个集群管理器，负责整个集群资源的调度和任务的执行。组件 功能 RM ResourceManager 资源管理器 一个集群一个，

1.容器生态容器技术的生态系统自下而上分别覆盖了IaaS层和PaaS层所涉及的各类问题，包括资源调度、编排、部署、监控、配置管理、存储网络管理、安全、容器化应用支撑平台等。如下图，其中docker、k8s、consul、etcd等都是此处需要关注的。docker主要是轻量级容器引擎，起到容器（运行着服务）间隔离的作用，可以充分利用机器资源，自动化部署。Kubernetes（k8s）主要用于管理容器集群，1.1优势持续部署与测试 跨云平台支持 环境标准化和版本控制2.Docker

目录1.现有算法1.2 维度设计2.分布式2.1 redis共享存储2.1.1 缺点：2.1.2 优化方案：2.2 每台机器单独限流 totalth/machineCount2.2.1 缺点：2.2.2 优化方案：1.现有算法 计数器 桶 计数器 滑动窗口 漏...

目录1.数据类型2.memcachedVSredis对比3.部署模式4.持久化5.过期策略expire6.淘汰策略（内存达到阈值）7.常见术语1.数据类型数据类型 样例解释 优缺点 操作 应用场景 string key:value 简单 set、get、del SETEX expire...

目录1.消息队列2.Kafka是什么？2.Kafka架构概念2.1 集群角色2.2 逻辑-物理数据结构2.2.1 Topic主题2.2.2 Partition分区2.2.3 message消息3.设计原理3.1 生产者发送消息3.1.1生产者配置3.2 Consumer消费流程3.2.1 poll方法3.2.2 coordnator协调器...

目录前言1.功能简介2.安装3.ZKshell操作命令4.基础概念5.编程demo5.1连接到ZooKeeper5.2读取操作5.3 写操作6.数据一致特点7.应用场景实例7.1 集群管理前言zookeeper主要用于协调分布式服务、 配置维护、组合管理和命名服务，通过使用类似于文件操作系统的目录结构树来维护元数据。参考官网https:...