niuyan666的博客

Hadoop面试HDFS###1.hdfs写流程（1）客户端通过 Distributed FileSystem 模块向 NameNode 通信请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。（2）NameNode 返回是否可以上传。（3）客户端请求第一个 Block 上传到哪几个 DataNode 服务器上。（4）NameNode 返回 3 个 DataNode 节点，分别为 dn1、dn2、dn3。（5）客户端通过 FSDataOutputStream 模块请求 d

Flume面试题1 flume怎么保证数据不丢失？其一：lume使用两个独立的事务分别负责从source到channel以及从channel到sink的事件传递，source向channel写数据时会先将数据写入临时缓冲区putlist，然后检查channel是否可以写入，如果写入成功会更新偏移量，如果不成功就回滚数据，channel到sink的事件传递也会现将数据写入临时缓冲区takelist，如果数据发送成功就更新偏移量，如果发送失败就回滚数据。其二：Channel 使用的是 File Chann

Hive面试题1.Hive的架构2.Hive和数据库比较Hive 和数据库除了拥有类似的查询语言，再无类似之处。1）数据存储位置Hive 存储在 HDFS 。数据库将数据保存在块设备或者本地文件系统中。2）数据更新Hive中不建议对数据的改写。而数据库中的数据通常是需要经常进行修改的，3）执行延迟Hive 执行延迟较高。数据库的执行延迟较低。当然，这个是有条件的，即数据规模较小，当数据规模大到超过数据库的处理能力的时候，Hive的并行计算显然能体现出优势。4）数据规模Hive支持很大