匆匆z2的博客

目录提出需求环境信息测试系统,寻找问题Kafka producer 写入原理Producer 参数ACKS 参数Producer send 方法调用结果Note参考文献提出需求由于线上的接口是暴露给外部用户使用,外部用户付费接入,产品经理提出了需求,需要在公司内部做重新数据清洗的时候尽量减少对外部用户数据更新的影响,当前更新数据需要耗费24个小时左右,产品经理提出12小时是可接受的,于是针对当前的调用链路逐一排查,寻找问题.环境信息所有服务基于AWS公有云部署,producer部署在ECS上 1C

本文基于将alluxio 2.X集成到大数据发行版的经验,从各个方面介绍alluxio什么是alluxio?alluxio是一个以内存为中心的分布式虚拟存储系统为什么需要alluxio?借用官网的一张图来说明最主要有两点功能:在数据分析系统和底层存储之间架起桥梁,alluxio像胶水一样,将不同的底层存储用统一的接口统一暴露给上层的计算引擎,起到了一个文件系统gateway的作用内存优先的分布式架构,领先其他方案数量级的差别,alluxio支持多级缓存,优先使用内存缓存,同时也可以设置ss