JeitZz的博客

hadoop -version不识别在windows中查看hadoop的版本出现以下问题是因为java的路径问题，我安装java的时候默认安装到c盘中C:\Program Files\Java现在hadoop不识别java的路径我们进入D:\hadoop-2.6.5\etc\hadoop中修改hadoop-env.cmd文件set JAVA_HOME=C:\PROGRA~1\java\jdk1.8.0_77这里PROGRA~1等价于Program Files然后再win+r输出cmd查

ORG.APACHE.HADOOP.SECURITY.ACCESSCONTROLEXCEPTION: PERMISSION DENIED: USER=这个是权限问题,可以配置下，然后重启hadoop集群解决,目前简单的解决方式是：在 hdfs-site.xml 总添加参数：<property> <name>dfs.permissions</name> <value>false</value></property>

MapReduce运行流程一个完整的MapReduce程序在分布式运行时有三类实例进程：1) MRAppMaster：负责整个程序的过程调度及状态协调 2) MapTask：负责map阶段的整个数据处理流程 3) ReduceTask：负责reduce阶段的整个数据处理流程 当一个作业提交后(mr程序启动)，大概流程如下：1) 一个mr程序启动的时候，会先启动一个进程Application Master,它的主类是MRAppMaster 2) appmaster启动之后会根据本次job

自动容灾（ZKFC）ZKFC（是一个进程，和NN在同一个物理节点上）有两只手，分别拽着NN和Zookeeper。(监控NameNode健康状态，并向Zookeeper注册NameNode)；集群一启动，2个NN谁是Active？谁又是Standby呢？2个zkfc先判断自己的NN是否健康，如果健康，2个zkfc会向zoopkeeper集群抢着创建一个节点，结果就是只有1个会最终创建成功，从而决定active地位和standby位置。如果ZKFC1抢到了节点，ZKFC2没有抢到，ZKFC2也会监控

大数据之HDFS的读写操作读操作官方图详解图流程解释1.客户端通过调用FileSystem对象的open()方法来打开希望读取的文件，对于HDFS来说，这个对象是DistributedFileSystem，它通过使用远程过程调用(RPC)来调用namenode,以确定文件起始块的位置 2.对于每一个块,NameNode返回存有该块副本的DataNode地址,并根据距离客户端的远近来排序。 3.DistributedFileSystem实例会返回一个FSDataInputStream对

大数据通过技术对海量的数据的存储，和运算。特点巨大的数据量，数据类型多样化，增长数据快，价值密度低大数据工作流程获取数据源关系型数据库，日志文件，三方数据数据采集sqoop，flume，kafka数据存储HDFS，HBase，ES数据清洗MapReduce，Hive（ETL），SparkCore，sparksql数据分析MapReduce、Hive、SparkSQL、impala(impa:le)、kylin再存储关系型数据库数据展示metastore、Javaweb、h