只是甲的博客

一.ZooKeeper简介ZooKeeper是一个集中的服务，用于维护配置信息、命名、提供分布式同步和提供组服务。所有这些类型的服务都被分布式应用程序以某种形式使用。每次实现它们时，都要做大量工作来修复不可避免的bug和竞争条件。由于实现这些类型的服务很困难，应用程序最初通常忽略它们，这使得它们在出现更改时很脆弱，难以管理。即使正确执行，这些服务的不同实现也会在部署应用程序时导致管理复杂性。ZooKeeper是分布式应用程序的高性能协调服务。它在一个简单的接口中公开公共服务——比如命名、配置管理、同步和

文章目录一.Yarn简介二.Yarn基本服务组件三.Yarn工作的过程参考一.Yarn简介在古老的 Hadoop1.0 中，MapReduce 的 JobTracker 负责了太多的工作，包括资源调度，管理众多的 TaskTracker 等工作。这自然是不合理的，于是 Hadoop 在 1.0 到 2.0 的升级过程中，便将 JobTracker 的资源调度工作独立了出来，而这一改动，直接让 Hadoop 成为大数据中最稳固的那一块基石。，而这个独立出来的资源管理框架，就是 Yarn 。在详细介绍 Y

文章目录一.MapReduce简介二.MapReduce作业提交过程2.1 作业的提交2.2 作业的初始化2.3 作业任务分配2.4 作业任务的执行2.5 作业任务的状态更新2.6 作业的完成三.shuffle3.1 map端3.2 reduce端3.3 总结四.作业失败和容错4.1 任务运行失败4.2 application master运行失败4.3 节点管理器运行失败4.4 资源管理器运行失败参考一.MapReduce简介最简单的WordCount采用MR算法:MapReduce是一种用于数据

一.删除HDFS上的文件需求:删除HDFS上的一个文件代码:-- 查看文件hadoop fs -ls /user/hive/warehouse-- 删除文件hadoop fs -rm /user/hive/warehouse/test.txt测试记录:[root@hp1 hue-httpd]# hadoop fs -ls /user/hive/warehouseFound 2 itemsdrwxrwxrwt - root hive 0 2020-11-25 19

文章目录一.HDFS 简介1.1 HDFS 的设计1.2 HDFS的概念1.2.1 块1.2.2 名称节点与数据节点1.3 命令行接口1.3.1 本地文件与HDFS交互二.HDFS 管理2.1 安全模式2.2 工具2.2.1 dfsadmin工具2.2.2 文件系统检查(fsck)参考一.HDFS 简介当数据集超过一个单独的物理计算机的存储能力时，便有必要将它分布到多个独立的计算机。管理着跨计算机网络存储的文件系统称为分布式文件系统 。因为它们是基于网络的，所有网络编程的复杂性都会随之而来，所以分布式文