技术人生

一. 问答题：1. 简单描述如何安装配置一个apache开源版hadoop，只描述即可，无需列出完整步骤，能列出步骤更好。2. 请列出正常工作的hadoop集群中hadoop都分别需要启动那些进程，他们的作用分别是什么，尽可能写的全面些。3. 加入一个新的存储节点和删除一个计算节点需要刷新集群状态命令。4. 请列出你所知道的hadoop调度器，并简要说明其工

一、引言很多人可能在想这么一个问题：Java有垃圾回收机制，那么还存在内存泄露吗？答案是肯定的，所谓的垃圾回收GC会自动管理内存的回收，而不需要程序员每次都手动释放内存，但是如果存在大量的临时对象在不需要使用时并没有取消对它们的引用，就会吞噬掉大量的内存，很快就会造成内存溢出。二、Java的垃圾回收机制Java中的对象是在堆中分配，对象的创建有2中方式：

1.立即检索和延迟检索(懒加载)   立即检索: 立即加载检索方法指定的对象   延迟检索: 延迟加载检索方法指定的对象   增强延迟: 极其懒惰,只查询需要的,不会查询别的(lazy=extra)       * class元素lazy=true:  为延迟加载   * class元素lazy=false: 为立即检索代码演示:Customer custome

1. 管理sessionsession对象的生命周期与本地线程绑定thread使用本地线程绑定,每次都从当前的线程提取session!!!    * 当前线程如果存在session对象,取出直接使用    * 当前线程如果不存在session对象,获取一个新的session对象和当前线程绑定Session s1 = sf.getCurrentSession();

1. 简介：hibernate对jdbc进行了较为完整的封装，实现了JavaBean和数据库之间的映射，以及SQL的自动生成和执行mybatis实现了JavaBean和SQL之间的映射，将SQL所需的参数以及返回的结果字段映射到指定的Bean，相对Hibernate O/RMapping来说，mybatis是一种sql Mapping的框架2. 开发速度：mybatis

多线程编程一直是大家比较头痛地方，因为线程执行顺序的不可预知性和调试时候的困难，让不少人在面对多线程的情况下选择了逃避，采用单线程的方式，其实只要我们对线程有了明确的认识，再加上java内置的对多线程的天然支持，多线程编程不再是一道难以逾越的鸿沟。进程、线程、并发执行首先我们先来认识一下进程、线程、并发执行的概念：　 一般来说，当运行一个应用程序的时候，就启动了一个进程，当然有些会启动

每个线程会有工作内存，多个线程共享一个主内存。

1.) 什么是线程？线程和进程有什么区别？线程是操作系统能够进行运算调度的最小单位，它被包含在进程之中，是进程中的实际运作单位。一个进程可以有多个线程，每条线程并行执行不同的任务，所有的线程共享一片相同的内存空间。2) 如何在java中实现多线程有两种方法，继承java.lang.Thread类或者实现java.lang.Runnable接口。一般我们应该实现接口，因为

1. 两种类型的类加载器：(1) JVM自带的加载器- 根类加载器(Bootstrap) 使用C++编写，程序员无法在Java代码中获得该类- 扩展类加载器(Extension) 使用Java代码实现- 系统类加载器(System - 应用类加载器) 使用Java代码实现(2) 用户自定义的类加载器- java.lang.ClassLoader的子类- 用户可以

1. 事务的ACID特性：(1) 原子性 Atomicity: 事务所包含的数据库操作要么都做，要么都不做(2) 一致性 Consistency: 数据库中只包含执行成功的结果，每个用户看到的数据是一致的(3) 隔离性 Isolation: 事务对数据的操作不能够受到其他事务的影响(4) 持续性 Durability: 数据库事务一旦提交，其对数据库中数据的改变应该是永久性的

常用垃圾回收器算法：注：因为无法处理循环引用的情况，因此，在Java的垃圾回收器中没有使用这种算法。如：有对象A和对象B，对象A中含有对象B的引用，对象B中含有对象A的引用。

1. 什么是依赖注入所谓的依赖注入指的是在运行期间，由外部容器动态的将依赖对象注入到组件中。BeanFactory是Spring Ioc容器的具体实现，用来管理各种Bean2. spring框架中的单例bean是线程安全的么？spring并没有对单例bean进行任何多线程的封装处理，关于单例bean的线程安全和并发问题需要开发者自行搞定，但实际上，大部分的spring be

1. 分表通过对记录ID取模或时间维度的规则进行分表2. 分区3. 中间表4. 查询缓存sql语句作为key，结果作为value的缓存方式，当数据表发生改变时相应cache就会失效适用场合：对数据不经常更新，查询方式比较固定5. 建索引对于复杂的sql，对大表进行查询时，对涉及到的查询条件字段可采用建索引的方式，以提高查询速度。

1. 使用redis有哪些好处？(1) 速度快，因为数据存在内存中，类似于HashMap，HashMap的优势就是查找和操作的时间复杂度都是O(1)(2) 支持丰富数据类型，支持string，list，set，sorted set，hash(3) 支持事务，操作都是原子性，所谓的原子性就是对数据的更改要么全部执行，要么全部不执行(4) 丰富的特性：可用于缓存，消息，按key设置过期

1、Hive 内部表和外部表的区别？2、Hbase 的rowkey 怎么创建比较好？列族怎么创建比较好？3、用mapreduce 怎么处理数据倾斜问题？4、hadoop 框架中怎么来优化？5、Hbase 内部是什么机制？6、我们在开发分布式计算job 时是否可以去掉reduce()阶段？7、hdfs 的数据压缩算法

一. 问答题1) datanode在什么情况下不会备份？2) hdfs的体系结构？3) sqoop在导入数据到mysql时，如何让数据不重复导入？如果存在数据问题sqoop如何处理？4) 请列举曾经修改过的/etc下的配置文件，并说明修改要解决的问题？5) 描述一下hadoop中，有哪些地方使用了缓存机制，作用分别是什么？二. 计算题：1、使用Hive或者自定义

一. 问答题：1.用mapreduce实现sql语句select count(x) from a group by b？2.简述MapReduce大致流程，map -> shuffle -> reduce3.HDFS如何定位replica4.Hadoop参数调优: cluster level: JVM, map/reduce slots, job lev

一. 单选题1. 下面哪个程序负责 HDFS 数据存储。a)NameNode  b)Jobtracker  c)Datanode d)secondaryNameNode e)tasktracker答案：C datanode2. HDfS 中的 block 默认保存几份？a)3 份 b)2 份 c)1 份d)不确定答案:A 默认3份  3. 下列哪个程序通常与 N

一. 问答题1.hive如何调优？2.hive如何权限控制？3.hbase写数据的原理是什么？4.hive能像关系数据库那样，建多个库吗？5.hbase宕机如何处理？6.hive实现统计的查询语句是什么？7.生产环境中为什么建议使用外部表？8.hadoop mapreduce创建类DataWritable的

一.问答题1、map方法是如何调用reduce方法的？2、fsimage和edit的区别？3、hadoop1和hadoop2的区别？4、列举几个配置文件优化？5、写出你对zookeeper的理解6、datanode首次加入cluster的时候，如果log报告不兼容文件版本，那需要namenode执行格式化操作，这样处理的原因是

1.一个网络商城1天大概产生多少G的日志？2.大概有多少条日志记录？3.日访问量大概有多少个？4.公司网站注册数大概多少？5.我们的日志是不是除了apache的访问日志是不是还有其他的日志？6.假设我们有其他的日志是不是可以对这个日志有其他的业务分析？这些业务分析都有什么？7.你们的服务器有多少台？服务器的内存多大？

一. 问答题：1. 简单说说map端和reduce端溢写的细节2. hive的物理模型跟传统数据库有什么不同3. 描述一下hadoop机架感知4. 对于mahout，如何进行推荐、分类、聚类的代码二次开发分别实现那些接口5. 直接将时间戳作为行健，在写入单个region 时候会发生热点问题，为什么呢？二. 计算题：1. 比方:如今

1.文件大小默认为64M，改为128M有啥影响？2.RPC的原理？3.NameNode与SecondaryNameNode的区别与联系？4.介绍MadpReduce整个过程，比如把WordCount的例子的细节将清楚（重点讲解Shuffle）？5.MapReduce出现单点负载多大，怎么负载平衡？6.MapReduce怎么实现Top1

1.hbase怎么预分区？2.hbase怎么给web前台提供接口来访问？3.htable API有没有线程安全问题，在程序中是单例还是多例？4.hbase有没有并发问题？5.metaq消息队列，zookeeper集群，storm集群，就可以完成对商城推荐系统功能吗？还有没有其他的中间件？6.storm 怎么完成对单词的计数？

一. 智力测试题：1. 有A、B、C、D四个人，要在夜里过一座桥。他们通过这座桥分别需要耗时1、2、5、10分钟，只有一支手电，并且同时最多只能两个人一起过桥。请问，如何安排，能够在17分钟内这四个人都过桥？答案:第一步:A(1)和B(2)过桥，A(1)返回 Cost：1+2第二步: C(5)和D(10)过桥，B(2)返回 Cost：10+2第三

一. 问答题1.请说说hadoop1的HA如何实现？2.列举出hadoop中定义的最常用的InputFormats。那个是默认的？3.TextInputFormat和KeyValueInputFormat类之间的不同之处在于哪里？4.hadoop中的InputSplit是什么？5.hadoop框架中文件拆分是如何被触发的？6.

一. 消息的传递模型：JMS支持两种消息传递模型：1) 点对点(point to point): 一条消息只能传递给一个接收方，在此模型中，消息不是主动推送给客户端的，而是要由客户端从队列中请求获得。2) 发布/订阅(public/subscribe)一条消息可以传递给多个接收方，此模型中，消息会自动广播，消费者无需主动请求来获得新的信息。