大树叶 技术专栏

Kubernetes安装环境Centos7.1系统的机器3台Master：192.168.0.120Nodes：192.168.0.106, 192.168.0.107 =====Master=====1 在Master上安装kubernetes etcd flannelyum install kubernetes etc

Traefik-kubernetes 初试traefik 是一个前端负载均衡器，对于微服务架构尤其是 kubernetes 等编排工具具有良好的支持；同 nginx 等相比，traefik 能够自动感知后端容器变化，从而实现自动服务发现；今天小试了一下，在此记录一下使用过程 一、Kubernetes 服务暴露介绍从 kubernetes 1.2 版本开始，kubernetes提

本博折腾了好一阵子，从0到1折腾起了基于 Kubernetes 1.8.2 的 纯手动安装 。下面是个人这套手工安装流程和注解（本人安装的K8S就是这样起来的）。若想要了解更多平台的部署可以参考 Picking the Right Solution来选择自己最喜欢的方式。本次安装版本为：Kubernetes v1.8.2 Etcd v3.2.9 Calico v2.6.2 D...

 前言： 系统安装要求   1: CentOS7  2:  Hadoop 2.9.0    3:  JDK1.8  说明：Hadoop从版本2开始加入了Yarn这个资源管理器，Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop，单纯安装Hadoop并不依赖Zookeeper之类的其他东西。官方cluster setup步骤见下链接：https://hadoop.apach...

https://fangyeqing.github.io/categories/druid-io/https://fangyeqing.github.io/2017/03/14/druid.io实践5---druid.io问题记录/https://github.com/druid-io/tranquility/blob/master/docs/configuration.md注意看实践5，这是重点...

到大数据，大家首先想到的肯定是Hadoop，近年来互联网技术的快速增长催生了各类大体量数据的爆发，Hadoop最大的贡献在于帮助企业将那些低价值的事件流数据转化为高价值的聚合数据，为企业的经营决策提供数据支撑。但Hadoop擅长的是存储和获取大规模数据，但是它并不提供任何性能上的保证。从这个角度来讲，我们可以把Hadoop看作是一个很好的后端、批量处理和数据仓库系统。在一个需要高并发并且保证查询性...

Apache Flink（以下简称Flink）项目是大数据处理领域最近冉冉升起的一颗新星，其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统开发者也能有所裨益。本文假设读者已对MapReduce、Spark及Storm等大数据处理框架有所了解，同时熟悉流处理与批处理的基本概念。Fl...

１.Flink的高可用集群环境​​​​​​​２.官方Flink HA 文档：JobManager High Availability (HA)

CombineFileInputFormat是一个抽象类，Hadoop提供了两个实现类CombineTextInputFormat和CombineSequenceFileInputFormat。参考：解读：MR多路径输入和解读：CombineFileInputFormat类下面是JAVA例子对于单一输入路径情况：//指定输入格式CombineFileInputFormat...

不错的总结：Hadoop MapReduce八大步骤以及Yarn工作原理详解

使用kubernetes/cluster/kube-up.sh脚本在装有Ubuntu操作系统的bare metal上搭建的Kubernetes集群并不安全，甚至可以说是“完全不设防的”，这是因为Kubernetes集群的核心组件：kube-apiserver启用了insecure-port。insecure-port背后的api server默认完全信任访问该端口的流量，内部无任何安全机制

Kubernetes API Server是整个Kubernetes集群的核心，我们不仅有从集群外部访问API Server的需求，有时，我们还需要从Pod的内部访问API Server。然而，在生产环境中，Kubernetes API Server都是“设防”的。在《Kubernetes集群的安全配置》一文中，我提到过：Kubernetes通过client cert、static t

什么是kubernetes？        Kubernetes是一个全新的基于容器技术的分布式架构领先方案。是Google内部集群管理系统Borg的一个开源版本。直到2015年4月，随着论文发布，才被众人熟知。Kubernetes是一个开放的开发平台。不局限于任何一种语言，没有限定任何编程接口。是一个完备的分布式系统支撑平台。它构建在docker之上，提供应用部署、维护、扩展机制等功

无论是在社区，还是在同客户交流的过程中，总会被问到到底什么时候该用 Docker？什么时候用虚拟机？如果使用容器，应该使用哪个容器平台？ 显而易见，我不会直接给大家一个答案，而是希望从技术角度进行分析具体的场景。例如客户是大公司还是小公司，将部署小集群还是大集群，倾向于私有云还是公有云，已经采购了 IaaS 还是没有 IaaS，IT 运维能力强还是弱，是否需要物理机、虚拟机、容器的混合部署

Kubernetes中如何发现服务如何发现Pod提供的服务如何使用Service发现服务如何使用kube-dns发现服务kube-dns原理组成域名格式配置注：本次分享内容基于Kubernetes 1.2版本！下面从一个简单的例子开始讲解。1、Kubernetes中如何发现服务◆   发现Pod提供的服务首先使用ngi

spark与storm的对比对比点StormSpark Streaming实时计算模型纯实时，来一条数据，处理一条数据准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理实时计算延迟度毫秒级秒级吞吐量低

http://blog.youkuaiyun.com/anzhsoft/article/details/381680250. 背景本文对流式系统出现的背景，特点，数据HA，服务HA，节点间和计算逻辑间的消息传递，存储模型，计算模型，与生产环境融合都有涉及。希望对大家的工作和学习有所帮助。正文开始：       流式实时分布式计算系统在互联网公司占有举足轻重的地位，尤其在

k8s的实现核心实际上就是通过读写etcd数据库实现对资源的存储，管理和控制。k8s所有资源的本源都是存储在etcd中的一个个键值对。理论上可以观察到etcd数据库中的数据变化。具体的使用方式如下：用$K8SPATH/hack/local-up-cluster.sh启动一个k8s服务。这个可执行脚本中的68行定义了etcd的版本，默认是etcd3，可以修改为etcd2。

转自：http://blog.youkuaiyun.com/levy_cui/article/details/70215627什么是Kubernetes？Kubernetes是Google开源的容器集群管理系统，实现基于Docker构建容器，利用Kubernetes能很方面管理多台Docker主机中的容器。主要功能如下：1）将多台Docker主机抽象为一个资源，以集群方式管理容器，包括

1.ubernetes 1.8 高可用安装（0）2.kubernetes 1.8 高可用安装（1）3. ubernetes 1.8 高可用安装（2)4. ubernetes 1.8 高可用安装（3）5.ubernetes 1.8 高可用安装（4）6.ubernetes 1.8 高可用安装（5）7.ubernetes 1.8 高可用安装（6）

 目录(?)[+]背景相信大家应该都在自己的电脑中部署过tomcat与mysql集群，我们可以通过访问tomcat来访问后台数据库。kubernetes是一个可自动部署、扩缩、管理容器化应用的工具。本篇博客主要讲解如何在kubernetes中部署tomcat与mysql集群。当然，这涉及到kubernetes的自动化部署功能。至于扩缩、管理功能，我这里就不详述了，以后有机会再讲解。...

该文详细讨论了Combiner的作用和使用场景：参考文档：Hadoop Combiner与自定义Combiner