大三暑期实习(有关于Hadoop)
d344498093
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hbase的Coprocessor应用(1)
基础知识(转自网络):hbase Coprocessor是很多人对hbase-0.92的重大期待之一。 现在hbase的coprocessor有两种完全不同的实现,分别是observer模式与endpoint模式,它们分别对应2000和2001两个issue。我们可以将observer模式看成数据库中的触发器,而endpoint可以看成是存储过程。 关于coprocessor我们可原创 2012-08-02 11:18:55 · 921 阅读 · 0 评论 -
ZZ:HBase技术介绍
From:http://www.searchtb.com/2011/01/understanding-hbase.htmlHBase简介HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现,类似Goog转载 2012-08-02 11:14:27 · 366 阅读 · 0 评论 -
Hbase安装
一、配置linux环境(由于权限等,未进行此修改)在使用HBase的时候,通常需要访问很多文件和开很多进程,因此需要在linux中提高相应用户的访问上限值,通过如下方式配置:在/etc/security/limits.conf文件中增加以下配置:hdadmin - nofile 32768hdadmin hard nproc 32000hdadmin soft nproc 32原创 2012-08-02 11:15:32 · 376 阅读 · 0 评论 -
ZZ:Hadoop Kerberos安全机制介绍
作者:Dong |可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://dongxicheng.org/mapreduce/hadoop-kerberos-introduction/1. 背景在Hadoop1.0.0或者CDH3 版本之前, hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的,值得信赖的。用户与HDFS或者M/R进行交互转载 2012-08-02 11:16:11 · 371 阅读 · 0 评论 -
Mahout 初步:搭建 测试样例
一、安装配置1、安装、配置JDK,Hadoop(略)2、下载Mahout,http://mahout.apache.org/ ,非源码下载解压即可用(src为源码包,需要用maven编译)。3、添加环境变量修改/etc/profile ,添加##根据实际情况修改export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdkexpo原创 2012-08-02 11:13:41 · 361 阅读 · 0 评论 -
zookeeper的安装
一、下载、解压从http://zookeeper.apache.org/上下载当前的稳定版zookeeper-3.3.5;解压到家目录下,得到zookeeper-3.3.5目录二、配置在zookeeper-3.3.5/conf/路径下(1)cp zoo_sample.cfg zoo.cfg(2)vim zoo.cfg,如下:# The numbe原创 2012-08-02 11:15:01 · 331 阅读 · 0 评论 -
基于Mapreduce的推荐器原理和实现
<!--@page {margin:2cm}h3 {margin-bottom:0.21cm; direction:ltr; color:#000000; widows:2; orphans:2}h3.western {font-family:"Liberation Sans","Arial",sans-serif}h3.cjk {font-fami原创 2012-08-22 16:41:00 · 656 阅读 · 0 评论 -
Mapreduce 结果写入Hbase两种方法对比
由于能力有限,对性能的评价皆出于主观感受,见谅。方法一:通过Hbase提供的写入接口在setup中配置Hbase信息,检测表是否存在,不存在创建表;在reduce函数中,调用table.put(put1)方法把结果写入到Hbase中public class hbaseStatisticsReducer extends Reducer { public sta原创 2012-09-06 15:33:02 · 948 阅读 · 0 评论
分享