
hadoop
achuo
IT码农,技术菜鸟,十年经验,技术渣渣
展开
-
HBase vs. MongoDB vs. MySQL vs. Oracle vs. Redis,三大主流开源 NoSQL 数据库的 PK 两大主流传统 SQL 数据库
HBase vs. MongoDB vs. MySQL vs. Oracle vs. Redis,三大主流开源 NoSQL 数据库的 PK 两大主流传统 SQL 数据库类别HBaseMongoDBMySQLOracleRedis描述基于 Apache Hadoop 并提供 BigTable 能力的列存储最受欢迎的文档存储数据库之一广泛转载 2016-01-22 22:43:52 · 679 阅读 · 0 评论 -
Java笔记--CenOS6.5搭建hadoop2.7.1伪分布式环境
一、前言很以前就搭建过hadoop的伪分布式环境,为了搭建环境特意弄的双系统,还把毕业论文给毁了。不过当时使用的是 hadoop1.x 的,而且因为一些原因,就搭建了环境,而没继续学习了。现在开始,准备好好的学习一下hadoop二、Hadoop 简介Hadoop 是Apache软件基金会旗下的一个开源分布式计算平台是云计算中 PaaS(平台即服务)一层的实现HDFS 和 M转载 2016-04-23 11:55:00 · 426 阅读 · 0 评论 -
CentOS64位6.4下Hadoop2.7.1、Mysql5.5.46、Hive1.2.1、Spark1.5.0的集群环境部署
部署环境:CentOS 6.4 64bitHadoop2.7.1、Mysql5.5、Hive1.2.1、Scala2.11.7、Spark1.5.0jdk1.7.0_79 主机IP:master(namenode):10.10.4.115slave1(datanode):10.10.4.116slave2(datanode):10转载 2016-05-18 14:46:10 · 1065 阅读 · 1 评论 -
eclipse/intellij idea 远程调试hadoop 2.6.0
很多hadoop初学者估计都我一样,由于没有足够的机器资源,只能在虚拟机里弄一个linux安装hadoop的伪分布,然后在host机上win7里使用eclipse或Intellj idea来写代码测试,那么问题来了,win7下的eclipse或intellij idea如何远程提交map/reduce任务到远程hadoop,并断点调试?一、准备工作1.1 在win7中,找一个目录,转载 2016-05-12 19:42:53 · 1552 阅读 · 0 评论 -
centos单机安装Hadoop2.6
集群安装:http://blog.youkuaiyun.com/linghe301/article/details/9184453Hadoop2.6单机安装一,安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:10.51.121.10 主机名:datanode-4 安装用户:root二,安装JDK 安装JDK1.6或者以上版本。这里安转载 2016-04-17 21:18:25 · 405 阅读 · 0 评论 -
centos 单机安装hadoop
准备jdk环境:安装jdk.高版本:hadoop 0.23我选择低版本:hadoop 0.21一、准备阶段1. 由于是单机,需要能ssh localhost,配一下ssh.[root@jolly /usr/share/hadoop-0.20.1]# ssh-keygen -t dsa -P '' -f ~/.ss转载 2016-04-17 21:16:42 · 511 阅读 · 0 评论 -
超详细单机版搭建hadoop环境图文解析
前言: 年前,在老大的号召下,我们纠集了一帮人搞起了hadoop,并为其取了个响亮的口号“云在手,跟我走”。大家几乎从零开始,中途不知遇到多少问题,但终 于在回家之前搭起了一个拥有12台服务器的集群,并用命令行在该集群上运行了一些简单的mapreduce程序。想借此总结我们的工作过程。安装过程: 一、安装Linux操作系统二、在Ubuntu下创建hadoop用户组和用户转载 2016-04-17 21:15:28 · 709 阅读 · 0 评论 -
centos安装配置hadoop超详细过程
1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。转载 2016-04-16 23:10:08 · 6242 阅读 · 2 评论 -
手把手教你安装Hbase,一次成功!
安装环境:OS: Centos 6.5JDK: jdk1.6.0_18Hadoop: hadoop-0.20.2Hbase: hbase-0.90.5 安装准备:1. Jdk环境已安装:版本为1.6以上2. hadoop环境已安装:完全分布模式安装如下http://blog.youkuaiyun.com/lic转载 2016-04-16 23:04:19 · 34932 阅读 · 1 评论 -
Win7+Eclipse+Hadoop2.6.4开发环境搭建
Hadoop开发环境搭建感谢参考网站:http://www.cnblogs.com/huligong1234/p/4137133.html一、软件准备JDK:jdk-7u80-windows-x64.exehttp://www.oracle.com/technetwork/java/javase/archive-139210.htmlEclipse:ecli转载 2016-05-11 10:00:27 · 3184 阅读 · 0 评论 -
win7下Eclipse开发Hadoop应用程序环境搭建
写这篇文章只是大概记录一下,安装的步骤以及问题 安装hadoop步骤 1、实现linux的ssh无密码验证配置.(如果不是分布式模式,这一步其实可以不那么强求) 2、在linux下安装jdk,并配好环境变量 3、修改linux的机器名,并配置 /etc/hosts 4、在windows下下载hadoop 1.0.4(其他版本也行,但是这个版本是一个稳定转载 2016-05-10 20:23:09 · 1637 阅读 · 0 评论 -
CentOS上hadoop伪分布式配置
Hadoop是用作处理大数据用的,核心是HDFS、Map/Reduce。虽然目前工作中不需要使用这个,但是,技多不压身,经过虚拟机很多遍的尝试,终于将Hadoop2.5.2的环境顺利搭建起来了。 首先准备一个CentOS,将主机名改为master,并且在/etc/hosts里面加入master对应的本机ip地址。Linux基本配置?转载 2016-05-10 19:57:22 · 585 阅读 · 0 评论 -
Hadoop、Spark、HBase与Redis的适用性见解
问题导读:1.你认为Hadoop适用什么场景?2.Spark适用于什么场景?3.HBase与 Redis各有什么特点?最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业,估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验,与大家讨转载 2016-04-14 22:10:46 · 2378 阅读 · 0 评论 -
Hadoop Web项目--Mahout0.10 MR算法集锦
版权声明:本文为博主原创文章,未经博主允许不得转载。目录(?)[+]1. 涉及技术及下载项目开发使用到的软件有:Myeclipse2014,JDK1.8,Hadoop2.6,MySQL5.6,EasyUI1.3.6,jQuery2.0,Spring4.1.3,Hibernate4.3.1,Struts2.3.1,Maven3.2.1,Mahout0.转载 2016-06-14 17:51:07 · 1152 阅读 · 0 评论