代码创造世界

Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储， Zookeeper 作用主要是用来维护和监控存储的数据的状态变化，通过监控这些数据状态的变化，从而达到基于数据的集群管理。 1 Zookeeper基本框架 Zookeeper集群主要角色有Leader，Learner（Follower，Observ

Exception in thread “PollableSourceRunner-SQLSource-sourceTest” java.lang.OutOfMemoryError: GC overhead limit exceeded at org.hibernate.type.AbstractStandardBasicType.getOptions(AbstractStandardB...

日志文件格式：2018-10-31-15-46-26|PDAT20181031T330494|24496|TDZA20181031D344959|epicc以“|”分隔分别表示为time,policyno,sumpremium,proposalno,qudao**FLume配置文件:**a1.sources=r1a1.channels=c1a1.sinks=k1a1.sourc...

Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更：1 HDFS的NameNodes可以以集群的方式布署，增强了NameNodes的水平扩展能力和可用性；2MapReduce将JobTracker中的资源管理及任务生命周期管理（包括定时触发及监控），拆分成两个独立的组件，并更名为YARN（Ye

Hadoop 从 hdfs 上拷出文件到本地，出现权限不够：hadoop fs -copyToLocal /user/hadoop/test1215.txt Test/copyToLocal: /test1215.txt._COPYING_ (权限不够)**有可能是以下情况：** 1.hdfs上的要拷下来的文件权限不够 2.hdfs 的配置文件（hdfs-site.xml）中未设置参数允许拷出

问题： Configuration conf=new Configuration（）； FileSystem fs=FileSystem.get(URI.create(“/user/algo/wy/tmp”),conf); 这是打开hdfs系统上的文件的常用写法。但是我不明白： conf感觉就是一个空的配置文件，一个空的配置文件相当于里面没有携带任何有用的信息，为什么FileSystem的g

1.磁盘也是由数据块组成的，一般默认大小是512字节，构建磁盘之上的文件系统一般是磁盘块的整数倍。2.HDFS也是采用块管理的，但是比较大，在Hadoop1.x中默认大小是64M，Hadoop2.x中大小默认为128M，那为什么HDFS块这么大呢，又为什么Hadoop2.x中数据块更大了呢？3.Hadoop权威指南中说，为了最小化寻址开销，也就是让文件传输时间明显大于块的寻址时间，还有就是减轻Nam

hadoop搭建，上传文件时出现错误，没有到主机的路由

配置Hadoop集群

MapReduce就是分而治之的理念，把一个复杂的任务划分为若干个简单的任务分别来做。把一些数据通过map来归类，通过reducer来把同一类的数据进行处理。map的工作就是切分数据，然后给他们分类，分类的方式就是以key,value（键值对） 分类之后，reduce拿到的都是同类数据进行处理

搭建Hwi下载地址：http://apache.fayea.com/hive PS：选择自己的版本下载并解压src文件：tar -xzf apache-hive-2.1.0-src.tar.gz进入web文件夹：cd apache-hive-2.1.0-src/hwi/web打包war文件： jar -xcf hive-hwi-2.1.0.war *将hive-hwi-2.1.0....