老肥猪的博客

大数据篇：Lambda架构和Kappa架构（下）Lambda 架构的不足虽然Lambda架构使用起来已经十分灵活，并且可以适用于很多的应用场景，但在实际应用的时候，Lambda架构也存在着一些不足，主要表现在它的维护很复杂。使用Lambda架构时，工程师必须维护两个复杂的分布式系统，并且保证他们的逻辑产生输出到同一服务层中。那么我们能不能改进其中某一层架构，让它具有另外一层架构的特性呢？...

大数据篇：Lambda架构和Kappa架构（上）大家好，我是辰，好久没有更新文章了，今天我们来讲讲Lambda架构和Kappa架构。Lambda架构：在讲解之前我们先来看看这个实际的项目。情况是这样的，一个正运行着的广告精准投放业务，且拥有海量的用户访问行为。现在需要进行用户行为分析俩建立一个模型，然后根据这个模型来投放用户喜好的广告。这时你应该想到，我们可以使用批处理架构来完成，没错，这...

大数据篇：如何区分流处理和批处理今天我们来讲讲大数据的处理模式：批处理（Batching Processing）和流处理（Streaming Processing）。这几年大规模的物联网（IoT）数据监控系统和视频流系统等的大数据系统出现，已经是必然现象了，我相信在5G的推动下，这类些系统会越来越多。在我们开发过程中也会时常的跟这些数据打交道，所以明白其处理方式也是必要的。这些数据被抽象成...

大数据篇：SLA服务等级协议SLA（Service-Level Agreement），也就是服务等级协议，指的是系统服务提供者（Provider）对客户（Costomer）的一个服务承诺。这是一个衡量大型“分布式“系统是否健康的协议。在开发设计系统服务时，无论是个人还是商业用户，还是公司内的不同业务部门，我们应该对这些服务设计好一个好的SLA。下面是四个常见的SLA指标1.可用性（Ava...

大数据篇：三大指标上一篇文章中文章讲了如何用服务等级协议（SLA）来评估我们的系统，并讲解了几个常用的SLA指标今天我们来讲分布式系统中另外几个基本概念可扩展性（Scalability）先从我们为什么需要分布式系统说起。原因是我们系统的数据量越来越大，从原来的GB到TB到现在的PB级，单机已经无法胜任这样的工作了。工作中也常有这样的场景，随着业务变得原来越复杂，之前设计的系统无法处理日渐...

大数据篇：CAP定理经过前两章，我们学习了两个重要概念：一致性和可用性。今天我会讲述与这两个概念相关的一个定理：CAP定理（CAP Theorem）。CAP定理CAP这个概念最初是由埃里克·布鲁尔博士提出的。在两年后，赛思·吉尔伯特和麻省理工学院的南希·林奇教授在他们的论文：Brewer’s Conjecture and the Feasibility of Consistent, Av...