wangyhwyh753的博客

#相同点两者的文件系统数据均能够在相关系统内的多台机器上进行数据读取和写入，都是分布式文件系统#不同点##NFS是通过RPC通信协议进行数据共享的文件系统，所以NFS必须在运行的同时确保RPC能够正常工作。在不同的文件进行读取和写入时，实际上是对服务端的共享文件地址进行操作，一旦服务端出现问题，那么其他所有的机器无法进行文件读取和写入，并且数据无法找回。所以NFS系统的文件其实并没有备份，并...

kafka之理解分区功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入kafka是一种分布式的基于发布/订阅模式的消息中...

HDFS是如何确保数据的一致性。hdfs在namenode上备份元数据，并将数据存储在datanode上的，默认备份3份。那么hdfs是如何保证数据的一致性呢？1、hdfs的namenode机制hdfs只有一个namenode,一旦namenode出现问题，数据块信息无法寻找。namenode中的元数据信息在工作时，会将元数据信息缓存在内存中。namenode将这些内存中的数据备份到...

目标：解释RDD在SPARK的集群是如何分布的。 分析SPARK如何对基于文件的RDD进行分区。 阐述SPARK如何并行执行RDD操作 说明如何通过分区来实现并行控制 分析如何查看和监控任务task和阶段stage.首先来看一看spark是如何在云模式(cluster mode)工作的。spark cluster一个云模式下的spark程序运行流程如下所示。用户可以...

由于在做的项目大多是基于python3的，很多都需要在之前的镜像上加入python3环境，这里是python3.6.10官网dockerfile的编写，供参考。## NOTE: THIS DOCKERFILE IS GENERATED VIA "update.sh"## PLEASE DO NOT EDIT IT DIRECTLY.#FROM alpine:3.11# ens...

Airflowairflow是一个任务调度组件，主要是基于DAG（有向无环图）来定义整个工作流。他主要解决了crontab调度无法完成的任务依赖，网页服务，任务暂停等功能。并且airflow能够很好的支持python，spark，hive，k8s等 airflow架构 airflow包含以下组件：元数据库（存储DAG）执行器worker（负责执行task)...

信息爆炸这个早就听说过，但是为什么现在才出现大数据一说？人工智能更是60年代的概念，现在为什么会火？语音识别，图像识别为什么变得越来越重要？并行处理器，云计算，数据挖掘，机器学习为什么广泛需求高级人才？这两天看了吴军的《智能时代》，这些问题有了比较清楚的了解。按照这位前辈的理解，我们应该正在处于一次技术革命的拐点。以上提到的这些概念都是解决了人类之前无法解决的一些事，这种方法就是利用大数据处理技术...