loftiest的博客

看日志(很重要) 日志在hadoop根目录下logs目录下，根据出错时间找到时间相符的文件cat DataNode未启动 删除core-site.xml中hadoop.tmp.dir指定的目录，集群机器全都删除，使用hdfs namenode -format重新格式化，再启动集群。 Namenode未启动 非高可用 删除core-site.xml中hadoop.tmp.dir指定的目录，集群机器全都删除，使用hdfs namenode -format重新格式化，再启动集群。 高可用 删除core-site.

什么是MR MR是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑和自带默认组件整合为一个分布式运算程序，并发的运行在集群中。 MR的优点 易于编程 简单的实现一些接口，就可以完成一个分布式运算程序 良好的扩展性 资源不足时可以增加集群中的机器来增强运算能力 高容错性 当集群中的一台机器挂掉时，MR可以把上面的任务转移到其他机器上继续执行 适合PB/TB级的海量数据处理 MR的缺点 不擅长实时的计算 毫秒/秒级的运算 不擅长流式计算 动态的任务

k

完全分布式 Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。 伪分布式模式：也是单机运行，但是具备 Hadoop 集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。 完全分布式模式：多台服务器组成分布式环境。生产环境使用。 *完全分布式一般要扩展为HA完全分布式 虚拟机网络配置 配置虚拟机的NAT模式 在vm的编辑中找到虚拟网络编辑器，确定vmnet8的网络模式为NAT模式；设置一个子网，