Vision

YARN运行原理yarn的前世今生首先在hadoop1.0版本中，存在的最大问题就是资源管理的问题！随着技术的发展，人们已经不在满足hadoop集群中只使用mapreduce一个计算框架，人们更希望有一套合理的管理机制来控制整个集群的资源。在hadoop中启动yarn的命令： ./start-yarn.shRescoueceManager 是全局资源管理器NodeManager 是节点资源任务管理器我们可以理解成RM和NM就是YarnYarn的基本架构Yarn在总体设计思想

MaxWell概述将mysql的binlog以json的形式输出到kafka，它的常见用例包括ETL，缓存建立/过期，指标收集，搜索索引和服务间通信json示例：mysql> update test.maxwell set daemon = 'firebus! firebus!' where id = 1; maxwell: { "database": "test", "table": "maxwell", "type": "update", .

简介本文主要介绍如何通过Flink JDBC Connector将数据写入ClickHouse以及直接使用Flink JDBC Connector操作ClickHouse存在什么样的问题。Flink JDBC Connector的使用通过JDBCUpsertTableSink.Builder创建一个JDBCUpsertTableSink对象，JDBCUpsertTableSink需要的参数...

说明：今天看到小米技术云公众号上的一片文章，觉得很好很实用就转载了一下Window是Flink的核心功能之一，使用好Window对解决一些业务场景是非常有帮助的。今天分享5个Flink Window的使用小技巧，不过在开始之前，我们先复习几个核心概念。Window有几个核心组件： Assigner，负责确定待处理元素所属的Window； Trigger，负责确定Wi...

这是一篇关于通过mysql主从复制的方式进行数据同步的教程： https://zixuephp.net/article-438.html接下来笔者要描述的是mysql的数据通过kafka，然后在实时进入其他mysql数据库的方案有同学可能会问到为什么这么麻烦，而不直接使用主从复制的方案来解决mysql的数据同步呢？原因是通过kafka connector可以做简单的数据过滤。...

基于Filebeat自动收集Kubernetes日志的分析系统摘要：Docker容器产生的日志分散在不同的相互隔离的容器中, 并且容器具有即用即销的特点, 传统的解决方式是将日志文件挂载到宿主机上, 但是容器经常会漂移, 给日志的统一查看带来挑战, 并且传统的Docker容器集群日志分析系统存在扩展性弱、效率低下等问题. 本文采用Kubernetes实现容器管理、服务发现及调度, 使用F...

原文链接：https://www.jianshu.com/p/b264b6cf9340一、前言上一文《从零开始搭建Kubernetes集群（六、在K8S上部署Redis 集群）》主要介绍了如何在K8S上部署一套基于StatefulSet的Redis集群。本篇将介绍一下如何在K8S上进行日志的监控。二、架构选择（ELK VS EFK）ELK我们首先介绍一下传统的日志监控方案。其中...

Kubernetes的ConfigMap详解2018年04月04日 15:26:10liukuan73阅读数 12595版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.youkuaiyun.com/liukuan73/article/details/79492374ConfigMap是用来存储配置文件的kubernetes资源对象，所有的配置内容都存储在etc...

什么是MessagePack原文链接：https://blog.youkuaiyun.com/tianyeshiye/article/details/80273574官方msgpack官网用一句话总结：It’s like JSON.but fast and small.简单来讲，它的数据格式与json类似，但是在存储时对数字、多字节字符、数组等都做了很多优化，减少了无用的字符，二进制格式，...