赵广陆

目录1 谈谈你对大数据的理解吧！MapReduce核心原理？2 HDFS核心原理3 hive原理4 spark家族5 hbase原理6 如何应用大数据技术？7 对开发来说算法意味着什么？推荐系统算法复盘一下对于我这个java程序员/项目经理/架构师，在简历中写了很多对于大数据项目开发的人的一些问题，也许能帮到大家，因为我是一个对于分布式，高并发，高性能，高可用，海量数据都有解决方案和架构思想一个人，不断的突破自己，能更好的发挥自己在企业中的价值。对于大数据和算法体系可能有些java工程师觉得这不关我

目录1 java中会存在内存泄漏吗，请简单描述。2 64 位 JVM 中，int 的长度是多数？3 Serial 与 Parallel GC 之间的不同之处？4 32 位和 64 位的 JVM，int 类型变量的长度是多数？5 Java 中 WeakReference 与 SoftReference 的区别？6 JVM 选项 -XX:+UseCompressedOops 有什么作用？为什么要 使用7 怎样通过 Java 程序来判断 JVM 是 32 位 还是 64位？8 32 位 JVM 和 64 位 JV

目录1 Java中实现多线程有几种方法2 线程池详解与配置3 notify()和notifyAll()有什么区别？4 sleep()和wait() 有什么区别？5 volatile是什么?可以保证有序性吗?6 Thread 类中的start() 和 run() 方法有什么区别？7 为什么wait, notify 和 notifyAll这些方法不在thread类里面？8 为什么wait和notify方法要在同步块中调用？9 Java中interrupted 和 isInterruptedd方法的区别？10 J

目录1 Java 中 IO 流？2 Java IO与 NIO的区别3 常用io类有那些4 字节流与字符流的区别5 阻塞 IO 模型6 非阻塞 IO 模型7 多路复用 IO 模型8 信号驱动 IO 模型9 异步 IO 模型10 JAVA NIO11 NIO 的缓冲区12 NIO 的非阻塞13 Channel14 Buffer15 Selector1 Java 中 IO 流？Java文件上传下载删除文件输入输出流IO操作Hutool操作和监听文件Java 中 IO 流分为几种?按照流的流向分，可以

目录1 问题分析:1.1 背景1.2 业务分库1.3 数据库分表2为什么要分库分表？3 用过哪些分库分表中间件？3.1 你们具体是如何对数据库如何进行垂直拆分或水平拆分的？4 Mysql将现有表进行分表分库5 MySQL分库分表动态扩容缩容6 Mysql读写分离7 MySQL分库分表id主键处理8Mysql集群部署实现主从复制读写分离分表分库1 问题分析:1.1 背景随着业务规模的不断扩大，需要选择合适的方案去应对数据规模的增长，以应对逐渐..

目录1 kafka介绍2 kafka相比其他消息队列的优势3 kafka的术语3.1 kafka中的术语名词4 kafka的架构5 kafka能做到消费的有序性吗5.1 为什么topic下多个分区不能保证有序6 分区与消费者组间的关系7 生产者分区策略8 数据丢失8.1 生产者保证数据不丢失8.8.2 broker保证数据不丢失8.3 customer保证数据不丢失9 数据重复10 kafka当中数据的查找过程11 Kafka auto.offset.reset值详解1 kafka介绍​ kafka是

目录1 分布式事务的概念2 分布式事务的实现的 5 种方案2.1 两阶段提交方案2.2 TCC 方案2.3 本地消息表2.4 可靠消息最终一致性方案2.5 最大努力通知方案3 总结4Seata实现分布式事务1 分布式事务的概念分布式事务是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。简单来说就是组成事务的各个单元处于不同数据库服务器上。相信同学们都接触过这种场景，手机支付，付款方和收款方的银行账号不是同一.

目录1 HBASE介绍2HBASE和Hdfs的区别3 Redis，传统数据库，HBase，Hive4 HBASE的架构5 常用HBASE shell6 HBASE表数据模型7 HBASE读请求过程7 HBASE写请求过程8 hbase的预分区8.1 预分区有什么用8.2 如何预分区8.3 设定预分区9 HBASE的rowkey设计9.1 rowkey设计三原则9.2 热点问题1 HBASE介绍hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性 高性能 列存储 可伸缩 实

目录1 sqoop介绍2 sqoop常见问题2.1 sqoop中文数据乱码问题2.2 sqoop中文数据乱码问题2.3 datax常见问题1 sqoop介绍sqoop是apache旗下一款**“Hadoop和关系数据库服务器之间传送数据”**的工具。导入数据：MySQL，Oracle导入数据到Hadoop的HDFS HIVE HBASE等数据存储系统；**导出数据：**从Hadoop的文件系统中导出数据到关系数据库mysql等将导入或导出命令翻译成mapreduce程序来实现在翻译出的map

目录1 hive的介绍2 hive的架构3 Hive 数据模型4 常用操作4.1 数据库相关4.2 内部表外部表4.3 创建分区表4.4 增删分区4.5 hive中的join4.6 json解析5 常用函数5.1 数值函数5.2 日期函数5.3 条件函数5.4 字符串函数5.5 类型转换6 hive常用的优化6.1 Fetch抓取（Hive可以避免进行MapReduce）6.2 本地模式6.3 分区表分桶表6.4 join优化6.4.1 小表Join大表6.4.2 mapjoin6.5 group by6

目录1 介绍yarn2 yarn的基本架构3 yarn三大组件3.1 ResourceManager3.2 NodeManager3.3 ApplicationMaster4 Yarn 调度器Scheduler4.1.FIFO Scheduler4.2 Capacity Scheduler4.3 Fair Scheduler1 介绍yarn​ 通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度。可以把yarn理解为相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当

目录1 介绍MapReduce2 会写Wordcount3 Combiner4 partitioner5 MapReduce的执行流程6 MapReduce的shuffle阶段7 MapReduce优化7.1 资源相关参数7.2 容错相关参数7.3 效率跟稳定性参数8 mapreduce程序在yarn上的执行流程9 执行MapReduce常见的问题1 介绍MapReduceMapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。Map负责“分”，即把复杂的任务

目录1 Hadoop1.1 介绍Hadoop1.2 Hadoop特性优点1.3 hadoop集群中hadoop都需要启动哪些进程，他们的作用分别是什么？1.4 Hadoop主要的配置文件1.5 Hadoop集群重要命令1.6 HDFS的垃圾桶机制1.7 HDFS写数据流程1.8 Hadoop读数据流程1.9 SecondaryNameNode的作用1.10 HDFS的扩容 缩容（面试）1．动态扩容1.1． 基础准备1.2． 添加datanode1.3．datanode负载均衡服务1.4．添加nodemana

目录1 说说你对Spring的 IOC 机制和AOP机制的理解可以吗？2 了解过cglib动态代理吗？他跟jdk动态代理的区别是什么？3 能说说Spring中的Bean是线程安全的吗？4 Spring的事务实现原理是什么？能聊聊你对事务传播机制的理解吗？5 能画一张图Spring和Spring Boot的核心架构吗？6 能说说Spring中都使用了哪些设计模式吗？7 能画一张图说说Spring Web MVC的核心架构吗？8 能画一张图说说Spring Cloud的核心架构吗？以下内容参考微信公众号石

目录1 为什么要深入理解HashMap2 HashMap底层的数据结构是什么吗？3 JDK 1.8中对hash算法和寻址算法是如何优化的？4 HashMap是如何解决hash碰撞问题的吗？5 HashMap是如何进行扩容的可以吗？6 HashMap和HashTable的区别1 为什么要深入理解HashMapHashMap的深入考察，必然是面试中的一个核心的点都是写Java代码，基于Java都是来构建各种各样的系统的，软件的，基于Java写出来一大堆的代码，可能会访问很多其他的东西，数据库，缓存，消息

目录1 面试官为什么都喜欢问并发编程的问题？2 synchronized关键字的底层原理是什么？3 能聊聊你对CAS的理解以及其底层实现原理可以吗？4 ConcurrentHashMap实现线程安全的底层原理到底是什么？5 JDK中的AQS理解吗？AQS的实现原理是什么？6 线程池的底层工作原理可以吗？7 线程池的核心配置参数都是干什么的？平时我们应该怎么用？8 如果在线程池中使用无界阻塞队列会发生什么问题？9 你知道如果线程池的队列满了之后，会发生什么事情吗？10 如果线上机器突然宕机，线程池的阻塞队列中

目录1 面试官一连击：你在系统里用过消息队列吗？2 面试官二连击：那你说一下你们在项目里是怎么用消息队列的？3 面试官三连击：那你们为什么使用消息队列啊？4 面试官四连击：那你说说用消息队列都有什么优点和缺点？5 面试官五连击：kafka、activemq、rabbitmq、rocketmq都有什么区别？前四个问题总结一下:6 面试官六连击：那你们是如何保证消息队列的高可用啊？7 面试官七连击：如何保证消息不被重复消费啊？如何保证消费的时候是幂等的啊？8 面试官八连击：.

目录1 为什么要用Redis缓存？2.Redis数据类型和适用场景3.你是怎么解决rendis数据量较大的问题,也许会沾满内存导致宕机?4.那么当redis宕机你有什么解决办法?5.你们是如何搭建集群的?6.redis和数据库如何保证数据的一致性问题?7.redis如何处理并发带来的事物问题?8.你们的生产部署redis是什么样子的?9.你能说说一般如何应对缓存雪崩以及穿透问题吗？说实话，这一套东西基本构成了缓存这块你必须知道的基础性的知识，如果你不知道，那么.

目录1 es的分布式架构原理能说一下么（es是如何实现分布式的啊）？2 es写入数据的工作原理是什么啊？es查询数据的工作原理是什么啊？3 es在数据量很大的情况下（数十亿级别）如何提高查询性能啊？4 es生产集群的部署架构是什么？每个索引的数据量大概有多少？每个索引大概有多少个分片？业内目前来说事实上的一个标准，就是分布式搜索引擎一般大家都用elasticsearch，es，solr，但是确实，这两年大家一般都用更加易用的es。lucene如果你确实真的不连lucene都不

目录1 MySQL存储引擎和索引介绍2 数据库设计原则3 数据库是事务4 SQL优化5 简单说一说drop、delete与truncate的区别9 什么是视图7 什么是内联接、左外联接、右外联接？8 并发事务带来哪些问题?9 事务隔离级别有哪些?MySQL的默认隔离级别是?10 分表分库相关11 数据库并发策略12 MySQL 中有哪几种锁？13 MySQL 中 InnoDB 支持的四种事务隔离级别名称，以及逐级之 间的区别？14 CHAR 和 VARCHAR 的区别？15 主键和候选键有什么区别？16 m

计算机网络面试核心2-1 网络基础知识讲解面试网络知识的意义？编程的时候并不需要编写Socket，并且底层服务已经很好的处理了数据包的解析。实际上网络知识就相当于框架底层知识，平时能够满足我们需求的时候并不会关心网络，但是如果性能没办法满足我们的需求时，就需要使用到网络知识。比如没办法判断程序为什么会变慢，是网络的原因还是其他原因，数据包有没有丢失，为什么会造成大量的Close Wait，为什么会出现大量的连接丢失等等。网络协议国际标准化组织ISO制定的OSI七层开放式互联协议模型物理