hive相关知识之面试题

• hadoop 几个进程

  DataNode
  TaskTracker
  NameNode
  JobTracker
  SencondaryNameNode

• hadoop的核心配置文件

  core-site.xml
  hdfs-site.xml(HA)
  mapred-site.xml
  yarn-site.xml

• hive 有哪些方式保存元数据 各有什么特点

  1）、内嵌模式：将元数据保存在本地内嵌的derby数据库中，内嵌的derby数据库每次只能访问一个数据文件，也就意味着它不支持多会话连接。
  2）. 本地模式：将元数据保存在本地独立的数据库中（一般是mysql），这可以支持多会话连接。
  3）. 远程模式：把元数据保存在远程独立的mysql数据库中，避免每个客户端都去安装mysql数据库。

• hive中内部表和外部表的区别

  未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；
  区别：
  内部表数据由Hive自身管理，外部表数据由HDFS管理；
  内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定；
  删除内部表会直接删除元数据（metadata）及存储数据；删除外部表仅仅会删除元数据，HDFS上的文件并不会被删除；
  对内部表的修改会将修改直接同步给元数据，而对外部表的表结构和分区进行修改，则需要修复（MSCK REPAIR TABLE table_name;）

• 3个datanode中有一个datanode出现错误会怎样？

  这个datanode的数据会在其他的datanode上重新做备份。

• 生产环境中为什么建议使用外部表？

  1、因为外部表不会加载数据到hive，减少数据传输、数据还能共享。
  2、hive不会修改数据，所以无需担心数据的损坏
  3、删除表时，只删除表结构、不删除数据。