大数据开发面试指南

本文旨在为大家提供一个大数据学习的基本路线，完善数据开发的技术栈，我们面试一个大数据开发的时候，哪些东西是重点考察的，不会对某一个知识点进行详细的展开，希望能当成一个学习或者复习的大纲，用以查漏补缺。

---

1.Java 基础篇

---

整个大数据开发技术栈我们从实时性的角度来看，主要包含了离线计算和实时计算两大部分，而整个大数据生态中的框架绝大部分都是用 Java 开发或者兼容了 Java 的 API 调用，那么作为基于 JVM 的第一语言 Java 就是我们绕不过去的坎，Java 语言的基础也是我们阅读源码和进行代码调优的基础。

Java 基础主要包含以下部分：

• 语言基础
• 锁
• 多线程
• 并发包中常用的并发容器（J.U.C）

语言基础

• Java 的面向对象
• Java 语言的三大特征：封装、继承和多态
• Java 语言数据类型：

内置数据类型（byte、short、int、float、double、boolean、char） 引用数据类型：在 Java 中，引用类型的变量非常类似于 C/C++ 的指针，引用类型指向一个对象，指向对象的变量是引用变量，比如对象、数组

• Java 的自动类型转换，强制类型转换
• String 的不可变性，虚拟机的常量池，String.intern() 的底层原理
• Java 语言中的关键字：final、static、transient、instanceof、volatile、synchronized的底层原理
• Java 中常用的集合类的实现原理： ArrayList/LinkedList/Vector、SynchronizedList/Vector、HashMap/HashTable/ConcurrentHashMap 互相的区别以及底层实现原理
• 动态代理的实现方式

锁

• CAS、乐观锁与悲观锁、数据库相关锁机制、分布式锁、偏向锁、轻量级锁、重量级锁、monitor
• 锁优化、锁消除、锁粗化、自旋锁、可重入锁、阻塞锁、死锁
• 死锁的原因
• 死锁的解决办法
• CountDownLatch、CyclicBarrier 和 Semaphore 三个类的使用和原理

多线程

• 并发和并行的区别
• 线程与进程的区别
• 线程的实现、线程的状态、优先级、线程调度、创建线程的多种方式、守护线程
• 自己设计线程池、submit() 和 execute()、线程池原理
• 为什么不允许使用 Executors 创建线程池
• 死锁、死锁如何排查、线程安全和内存模型的关系
• ThreadLocal 变量
• Executor 创建线程池的几种方式：
  • newFixedThreadPool(int nThreads)
  • newCachedThreadPool()
  • newSingleThreadExecutor()
  • newScheduledThreadPool(int corePoolSize)
  • newSingleThreadExecutor()
• ThreadPoolExecutor 创建线程池、拒绝策略
• 线程池关闭的方式

并发容器（J.U.C）

• JUC 包中 List 接口的实现类：CopyOnWriteArrayList
• JUC 包中 Set 接口的实现类：CopyOnWriteArraySet、ConcurrentSkipListSet
• JUC 包中 Map 接口的实现类：ConcurrentHashMap、ConcurrentSkipListMap
• JUC包中Queue接口的实现类：ConcurrentLinkedQueue、ConcurrentLinkedDeque、ArrayBlockingQueue、LinkedBlockingQueue、LinkedBlockingDeque

2.Java 进阶篇

---

进阶篇部分是对 Java 基础篇的补充，这部分内容是我们熟读大数据框架的源码必备的技能，也是我们在面试高级职位的时候的面试重灾区。

JVM

JVM 内存结构

class 文件格式、运行时数据区：堆、栈、方法区、直接内存、运行时常量池

堆和栈区别

Java 中的对象一定在堆上分配吗？

Java 内存模型

计算机内存模型、缓存一致性、MESI 协议、可见性、原子性、顺序性、happens-before、内存屏障、synchronized、volatile、final、锁

垃圾回收

GC 算法：标记清除、引用计数、复制、标记压缩、分代回收、增量式回收、GC 参数、对象存活的判定、垃圾收集器（CMS、G1、ZGC、Epsilon）

JVM 参数及调优