ghsticker的博客

0.问题场景在学习Hbase的时候，发现有很多操作数据的方法，就想着把他封装起来，以便其他的类也使用，于是按照常规操作就创建了一个Util类，public class HbaseUtils { private HbaseUtils(){ } private static Connection connection = null; public static Connection getConnection() throws IOException {

1.出现问题在使用flume进行自定义Source中，要将自定义的代码打包到flume上运行，用maven打包的时候出现这样的问题[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile) on project flume: Compilation failure[ERROR] /D:/javaeclipse/ideaWorkSpace/flume

0.什么是MapReduceMapRdeuce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并打运行在一个hadoop集群上。1.MapReduce优缺点优点：MapReduce易于编程，它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。就是因为这个

hadoop之分布式文件管理系统HDFS0.什么是HDFSHDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用1.HDFS 的优缺点优点：高容错性（1）数据自动保存多个副本。它通过增加副本的形式，提高容错性。（2）某一个副本丢失以后

hadoop分布式集群的启动和关闭的问题1.问题描述在配置完以后，启动的时候回出现会卡在启动的hadoop133，hadoop134的进程中不能向下进行，卡在这里了。这时ctrl+c强行关闭这个进程，然后jsp发现，其他的两台机器的datanode都已经启动起来了。然后又发现，在关闭集群的时候，采用stop-dfs.sh，然后在master中的datanode一直的关闭不了的，其他的节点都可以关闭，包括master中的namedata2.查看问题实际上呢，问题是出现了两个问题，一个是启动上卡

零基础搭建hadoop完全分布式集群搭建此文章使用的是jdk1.8，hadoop2.7，分为三台机器hadoop132，hadoop133，hadoop1341.环境搭建1.配置虚拟机（1）将所有虚拟的防火墙关闭 service iptables stop //服务关闭 chkconfig iptables off //关闭开机自启（2）修改虚拟机的ip，改为静态ipvim /etc/sysconfig/network-scripts/ifcfg-eth0# 将文件修改为，其中IP