- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅使用MapReduce对数据文件进行切分
有一个格式化的数据文件，用\t分割列，第2列为产品名称。现在需求把数据文件根据产品名切分为多个文件，使用MapReduce程序要如何实现？原始文件：[root@localhost opt]# cat aprData1 a1 a1112 a2 a2113 a1 a1124 a1 a...
2016-05-01 22:53:52
2273
原创 hadoop学习——arrayWritable的应用
package kpi;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSys...
2015-01-22 16:38:25
1153
hadoop2.5.1集群搭建：（四）配置historyServer
1.在mapred-site中配置<property> <name>mapreduce.jobhistory.address</name> <value>hadoop2-2:10020</value> <description>MapReduce JobHistory Server ...
2014-11-03 23:49:42
260
hadoop2.5.1集群搭建：（三）搭建yarn集群
搭建yarn集群========================================修改配置文件 yarn-site.xml<property><name>yarn.resourcemanager.hostname</name><value>crxy1</value></property><...
2014-11-03 23:48:02
173
hadoop2.5.1集群搭建：（二）搭建自动切换HA的HDFS集群
搭建自动切换HA的HDFS集群(比手工切换ha集群，多了zookeeper集群)----------------------------------------------------------------------------------------------zookeeper：hadoop2-1、hadoop2-2、hadoop2-3namenode：hadoop2-1和hadoo...
2014-11-03 23:36:23
181
hadoop2.5.1集群搭建：（一）搭建手工切换ha的hdfs集群
-----------------------------1.搭建手工切换HA(high availibility)的HDFS集群-----------------------------namenode：hadoop1和hadoop2datanode：hadoop3、hadoop4、hadoop5、hadoop6journalnode：hadoop1、hadoop2、hadoop3 ...
2014-11-01 11:53:23
159
CentOS编译hadoop2.5.1源码
环境：虚拟机的内存不低于2GB，硬盘空间不低于10GB。否则，执行maven时会出现空间不足。jdk安装1.7版本。在linux编译hadoop2.5.1源码首先安装google的protobufyum install glibc-headersyum install gcc yum install gcc-c++ yum install makeyum i...
2014-11-01 10:08:05
107
原创 一致性Hash算法背景(转)
一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得DHT可以在P2P环境中真正得到应用。 但现在一致性hash算法在分布式系统中也得到了广泛应用，研究过memcached缓存数据库的人都知道，memcached...
2014-03-30 23:19:27
101
原创 hbase简介
行行健列时间戳列簇<family>限定符<qualifier>元素 HBase以表的形式存储数据，每个表由行和列组成，每个列属于一个特定的列族。 表中由行和列确定的存储单元称为一个元素，每个元素保存里同一份数据的多个版本，有时间戳来标识。行健是数据行在表中的唯一标识，并作为检索记录的主键。在HBase中访问表中的行只有三种方式...
2014-03-04 22:49:12
119
原创 hbase安装问题处理
启动hbase时错误信息如下： 发现是版本冲突的问题，但是我之前处理过冲突（已经做了hadoop-core-1.2.1.jar文件的覆盖），仔细看了下日志信息，原来上面还有错误信息，没有重视： 这里就估计应该是hbase-site.xml文件中配置问题了：<configuration><property><name>hbase....
2014-03-02 19:56:21
279
去除hadoop启动时的警告信息
hadoop安装成功，启动是会有如下的警告信息： 如何去掉改警告信息呢？先去看start-all.sh文件： 这里的一段if else 可以看出 如果 libexec/hadoop-config.sh文件不存在则执行 bin/hadoop-config.sh,继续看bin/hadoop-config.sh文件： 上图可以看出 当环境变量 HADOOP_HOME_WARN_S...
2014-03-01 17:14:42
628
原创 hadoop学习笔记-prc通信原理
rpc(remote procedure call)不同java进程间的对象方法调用一方称作服务端（server），一方称作客户端（client）。server端提供对象，供客户端调用，被调用的对象的方法的执行发生在server端。 rpc是hadoop框架运行的基础。 下面是一个基于hadoop的rpc框架的例子：服务端代码： package rpc;...
2014-02-27 20:38:32
305
原创 hadoop学习笔记-java操作hdfs
使用Hadoop的java api 针对HDFS进行文件上传、创建、重命名、删除操作： package hadoop.hdfs;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;import java.net.URI;import java.n...
2014-02-26 22:53:56
160
原创 webServices学习之二——axis1传递复杂类型javabean
继续axis1的实现，传递复杂类型javabean： 一、服务端： 服务端需要在server-config.wsdd文件中要发布的service 中加入 beanMapping 指定要 传递JavaBean的类型，见红色部分： <service name="MyServices" provider="java:RPC"> ...
2012-05-27 17:25:51
251
原创 webServices学习之一——axis1实现helloWorld
上周由于工作需要，通过webservices发布服务，进行数据交换。于是果断找出09年在丽水开发时的学习笔记，webservice服务采用开源组件axis1的1.3版本实现： 一，新建web项目，并修改web.xml文件，将如下代码cope到web.xml文件中 <servlet> <servlet-name>AxisServlet<...
2012-05-20 15:18:43
209
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人