
hadoop
文章平均质量分 77
糖糖_
你既认准这条路又何必在意要走多久
展开
-
Hadoop HDFS文件系统通过java FileSystem 实现上传下载等
java 通过 hadoop api , FileSystem ,实现对文件的创建,删除,下载,上传。或者获取文件流等。原创 2015-01-14 17:40:50 · 15235 阅读 · 2 评论 -
hadoop2.6.1 完全分布/伪分布部署
hadoop2.x 完全分布部署原创 2015-10-22 10:56:13 · 3174 阅读 · 3 评论 -
hadoop2.6.1源码编译
hadoop2.6.1源码编译原创 2015-10-23 10:40:42 · 8063 阅读 · 0 评论 -
hadoop 2.6.1 出现ssh无法解析主机名等错误提示的解决办法
hadoop 2.6.1 出现ssh无法解析主机名等错误提示的解决办法原创 2015-10-21 09:57:45 · 4175 阅读 · 0 评论 -
虚拟机时间问题引起的hadoop集群时间问题
linux时间问题。以及linux 时间时区错误引起的hadoop集群时区错误问题原创 2015-08-20 17:57:15 · 2544 阅读 · 1 评论 -
【甘道夫】基于Mahout0.9+CDH5.2运行分布式ItemCF推荐算法
环境:hadoop-2.5.0-cdh5.2.0mahout-0.9-cdh5.2.0引言虽然Mahout已经宣布不再继续基于Mapreduce开发,迁移到Spark,但是实际面临的情况是公司集群没有足够的内存支持Spark这只把内存当饭吃的猛兽,再加上项目进度的压力以及开发人员的技能现状,所以不得不继续使用Mahout一段时间。今天记录转载 2015-05-19 16:40:00 · 1687 阅读 · 1 评论 -
hadoop 透明加密 kms transparent
hadoop透明加密 kms简介 Hadoop Key Management Server(KMS)是一个基于HadoopKeyProvider API编写的密钥管理服务器。他提供了一个client和一个server组件,client和server之间基于HTTP协议使用REST API通信。Client是一个KeyProvider的实现,使用KMS HTT原创 2015-04-09 18:12:20 · 17544 阅读 · 3 评论 -
hadoop snapshot 备份恢复
hadoop snapshot 简单备份与恢复原创 2015-03-25 16:54:45 · 14556 阅读 · 3 评论 -
java 获取 hbase数据 springdatahadoop -- hbasetemplate
java 利用 sping-data-hadoop HbaseTemplate 操作hbase原创 2015-01-15 10:00:15 · 36373 阅读 · 9 评论 -
云计算(十一)- HDFS快照(HDFS Snapshots)
目录(?)[-]综述可以被快照的目录快照的目录操作管理员操作用户操作综述HDFS快照是一个只读的基于时间点文件系统拷贝。快照可以是整个文件系统的也可以是一部分。常用来作为数据备份,防止用户错误和容灾。HDFS实现了:Snapshot 创建的时间 复杂度为O(1),但是不包括INode 的寻找时间只有当修改SnapShot时,才会有额外转载 2015-03-23 15:10:02 · 6463 阅读 · 0 评论 -
eclipse hadoop 插件安装步骤
eclipse hadoop的插件安装与使用方法原创 2015-03-19 16:27:41 · 1161 阅读 · 0 评论 -
官网MapReduce实例代码详细批注
引言1.本文不描述MapReduce入门知识,这类知识网上很多,请自行查阅2.本文的实例代码来自官网http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html最后的WordCount v2.0,该代码相比源码中的org.apache转载 2015-03-19 16:43:49 · 2250 阅读 · 0 评论 -
hadoop2.x 伪分布安装部署
hadoop2.0安装环境,安装步骤,配置过程,启动方式。原创 2015-01-14 14:35:57 · 2714 阅读 · 0 评论