- 博客(12)
- 收藏
- 关注
RSS订阅原创 MapReduce 详解及其在 Hadoop 中的优化策略
是一种强大的编程模型，用于处理和生成大规模数据集。它通过两个主要的操作步骤——和，来实现分布式计算。MapReduce 在处理海量数据的任务中表现出色，但为了最大限度地提升其效率，我们还需要针对其关键过程进行优化，尤其是在 Hadoop 框架中的应用。
2024-09-23 17:37:47
1068
原创 YARN：Hadoop 资源管理与调度框架
YARN 是 Hadoop 中的资源调度平台，负责为计算程序提供集群资源，可以看作是 Hadoop 分布式计算环境的操作系统。它使得多个应用程序能够同时运行，并且能够通过调度策略高效地分配资源，提升集群的利用率和吞吐量。YARN 的核心功能是将资源管理与任务调度分离，它通过全局的资源管理器，本地的任务执行管理器，以及为每个任务分配资源的来管理任务的运行和监控。YARN 是 Hadoop 生态系统中重要的资源管理和调度平台，它通过灵活的架构和多种调度策略，实现了对集群资源的高效管理。通过和。
2024-09-22 20:42:20
1299
原创 【JAVA-面经】8.Java 中的 volatile 关键字详解
volatile是 Java 中非常有用的关键字，通过保障可见性和禁止指令重排序，解决了多线程中共享变量的可见性问题。在一些特定的应用场景中，volatile可以替代锁，减少性能损耗。但它并不能保证复合操作的原子性，也不能同步多个变量，因此在复杂的并发场景中，仍需要使用或Lock等机制。
2024-09-19 23:04:19
1244
原创 【JAVA-面经】7.Synchronized 锁的升级过程
锁的升级机制是 Java 虚拟机优化性能的一部分，从无锁状态到偏向锁、轻量级锁再到重量级锁的过程，都是为了在不同的线程竞争条件下提供最佳的同步性能。通过理解这些机制，我们可以更好地利用关键字，编写高效且线程安全的 Java 代码。
2024-09-19 18:56:33
497
原创 HDFS 笔记
HDFS是一个分布式文件系统，适用于大规模数据的存储和分析。它通过目录树来定位文件，特别适合“一次写入，多次读取”的数据场景。HDFS不支持文件的随机修改，因此更适合用作数据分析而非网盘应用。
2024-09-19 18:47:22
847
原创 【JAVA-面经】6.公平锁和非公平锁
在 Java 并发编程中，锁是用于控制多个线程对共享资源访问的机制。和。它们的主要区别在于线程获取锁的顺序和方式。下面详细介绍这两种锁的概念、实现和优缺点。
2024-09-19 10:16:16
664
原创 【JAVA-面经】5.ThreadLocal的应用场景、底层实现及常见问题
是 Java 提供的一种线程局部变量，它为每个使用该变量的线程提供独立的副本。也就是说，一个线程对变量的操作只作用于当前线程的局部变量，不会影响其他线程。
2024-09-19 09:58:39
906
原创 【JAVA-面经】4.Synchronized 和 ReentrantLock的区别
特性锁的获取与释放隐式显式公平锁不支持支持公平与非公平两种模式中断响应不支持支持尝试获取锁不支持支持tryLock()多条件变量不支持支持多个Condition性能JVM 优化后性能较好提供更多功能和更灵活的控制使用场景适用于简单的同步场景适用于复杂的并发控制场景适合简单的同步需求，因为它的使用更为简洁且可以自动处理锁的释放。则提供了更强的控制能力，适合需要高级功能（如公平锁、中断、多个条件变量）的场景。
2024-09-18 21:33:29
1033
1
原创 【JAVA-面经】3.线程池中有哪几种状态，分别表示什么？
在 Java 的线程池（）中，线程池的状态是通过一个int类型的变量来表示的，它记录了线程池的和。
2024-09-18 21:18:23
348
原创 【JAVA-面经】2.为什么不建议使用 Execuators 来创建线程池
Executors提供的方法虽然方便，但其默认的线程池配置容易在高并发和长期任务中引发资源耗尽等问题。为了更好的线程池控制、资源管理和避免潜在的隐患，建议直接使用并明确指定线程池参数。
2024-09-18 21:07:57
438
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人