Code_zhu的博客

写在前面写此文章主要是为了分享工作当中Druid遇到的一些问题，有不对之处还请指出一起讨论踩坑整理java.sql.SQLException: Cannot create PoolableConnectionFactory: java.sql.SQLException: Access denied for user ‘user’@‘127.0.0.1’ (using password: YES)1、 由于迁移了机器节点，Bns白名单没有随之加上导致的元数据库连接失败2、还有一种可能是参数写错

写在前面结合自身的经验记录，mapreduce中的一些知识点以及一个wordcount小实践MR知识点整理核心思想：分而治之file：文件要存储在HDFS上，每个文件切分城多个一定大小(128MB)的block块（默认3个备份）存储在对个节点（DataNode，一下简称DN）上InputFormat：分位两部分：数据分割和记录读取器数据分割(split):每个split分片包含着后一个block块中的开头部分（解决了跨block的问题）记录读取器（Record Reader）：每读取一条数

HDFSHDFS的设计HDFS的概念数据块NameNode和DataNodeSecondary NameNodehadoop2.0新增的功能HDFS的设计超大文件"超大文件"是指具有几百MB、GB甚至是几百TB大小的文件。流式数据访问一次写入、多次读取不适合低时间延迟的数据访问不适合大量的小文件由于namenode将文件系统的元数据存储在内存中，因此该文件系统所能存储的文件总数受限于namenode的内存容量。每个文件、目录和数据块的存储信息大约占150字节。假设块大小为12

Hadoop2.6.1环境搭建环境及版本删除机器自带的JAVA环境三台机器均需关闭防火墙获取hadoop、JAVA设置环境变量配置ssh免密登入hadoop配置文件修改将hadoop分发给slave1，slave2启动集群环境及版本CentOS7JAVA8Hadoop2.6.1集群环境master: 192.168.27.130slave1: 192.168.27.131slave2: 192.168.27.132以下未做说明操作均在master节点上删除机器自带的JAVA