
Hadoop
jiabiao1602
目前就职于世界百强企业!已经从事数据分析工作10年以上。曾经从事过咨询、电商、电购、电力、互联网等行业,了解不同领域的数据特点,目前主要用R语言做大数据分析和建模、数据可视化研究工作。撰写书籍《R语言与数据挖掘》、《R语言游戏数据分析与挖掘》等书籍
展开
-
hadoop的伪分布安装步骤
2. hadoop的伪分布安装步骤使用root用户登陆2.1 设置静态ip 在centos桌面右上角的图标上,右键修改。 重启网卡,执行命令service network restart 验证:执行命令ifconfig2.2 修改主机名 修改当前会话中的主机名,执行命令 hostname hadoop 修改配置文件原创 2014-11-23 21:54:28 · 743 阅读 · 0 评论 -
Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
原文地址:http://blog.youkuaiyun.com/hitwengqi/article/details/8008203最近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文。首先要了解一下Hadoop的运行模式:单机模式(standalone) 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装转载 2015-08-19 16:14:39 · 490 阅读 · 0 评论 -
利用Cloudera实现Hadoop
原文地址:http://wiki.ubuntu.org.cn/%E5%88%A9%E7%94%A8Cloudera%E5%AE%9E%E7%8E%B0Hadoop目录[隐藏]1 利用 Cloudera 部署 Hadoop1.1 前言1.2 规划1.2.1 运行模式1.2.2 主机规划1.2.3 Hadoop环境规划1.3转载 2016-01-08 16:09:47 · 577 阅读 · 0 评论 -
ubuntu12.04 64bit安装hadoop2.2.0
原文地址:http://blog.chinaunix.net/uid-23062171-id-4217333.html1 安装准备 此集群共三台机器,一台作为master: NameNode/ResouceManager,其余作为slaves: DataNode/NodeManager 三台机器都增加一个用户名,比如:hadoop1.1 安装jdk转载 2016-01-08 18:39:25 · 480 阅读 · 0 评论 -
Ubuntu14.04安装配置Hadoop2.6.0(完全分布式)与 wordcount实例运行
原文地址:http://www.linuxidc.com/Linux/2015-01/112029.htm我的环境是:Ubuntu14.04+Hadoop2.6.0+JDK1.8.0_25官网2.6.0的安装教程:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCl转载 2016-01-08 18:50:28 · 751 阅读 · 0 评论 -
hadoop2.6.0版本集群环境搭建
一、环境说明1、机器:一台物理机 和一台虚拟机2、linux版本:[Spark@S1PA11 ~]$ cat /etc/issueRed Hat Enterprise Linux Server release 5.4 (Tikanga)3、JDK: [spark@S1PA11 ~]$ Java -versionjava version "1.6.0_27"J转载 2016-04-19 10:43:19 · 395 阅读 · 0 评论 -
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
原文地址:http://www.powerxing.com/install-hadoop/当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是坑,导致新手折腾老几天愣是没转载 2016-04-20 12:58:17 · 537 阅读 · 0 评论 -
Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Hadoop安装及测试
原文地址:http://blog.youkuaiyun.com/meng___xia/article/details/54617959在上一篇环境安装完成的基础上进行Hadoop的安装和配置。3.7Hadoop安装需要在3台服务器上都安装 Hadoop。首先通过sftp将下载下来的二进制的 Hadoop包上传到Master,将Hadoop 压缩包 hadoop-2.6.3.ta转载 2017-08-14 00:07:42 · 451 阅读 · 0 评论 -
Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin 安装过程-环境准备
原文地址:http://blog.youkuaiyun.com/meng___xia/article/details/546175791、虚拟机安装虚拟机安装工具:vSphere 登录虚拟服务器工具:SecureCRT在虚拟机上装好3台服务器,环境情况:内存:16GCPU:两个四核硬盘:320G2、版本选择组件版本安装服务器操转载 2017-08-14 00:08:51 · 347 阅读 · 0 评论 -
ubuntu 12.04 安装 Cloudera Manager5及CDH5(Mysql)【添加yum源方式安装集群】
原文地址:http://www.aboutyun.com/thread-9107-1-1.html问题导读:1.如何不使用cloudera-manager-installer.bin来安装Cloudera Manager?2.如何添加源?3.添加源的作用是什么?为了节省大家时间,这里做一些说明:如果使用的是虚拟机,那么这些虚拟机共同有的内容例如sud转载 2015-08-17 23:40:25 · 2023 阅读 · 0 评论 -
Cloudera Manager (centos)安装详细介绍
原文地址:http://www.aboutyun.com/thread-9190-1-1.html这里已经有很多关于CDH的文章,此篇虽然不是把所有的问题都描述了。但是整体的过程还算描述的比较清楚。问题导读:1.安装需要做哪些准备?2.如何安装CM?3.如何通过CM安装CDH?4.CM及CDH安装的过程都包含什么?相信通过这篇文章大家都对Cloudera转载 2015-08-17 23:38:35 · 803 阅读 · 0 评论 -
Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
原文地址:http://blog.youkuaiyun.com/hitwengqi/article/details/8008203最近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文。首先要了解一下Hadoop的运行模式:单机模式(standalone) 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装转载 2014-12-23 09:15:56 · 524 阅读 · 0 评论 -
Step-by-Step Guide to Setting Up an R-Hadoop System
Step-by-Step Guide to Setting Up an R-Hadoop System30 May 2014This is a step-by-step guide to setting up an R-Hadoop system. I have tested it both on a single computer and on a转载 2014-12-23 23:42:01 · 1220 阅读 · 0 评论 -
R and Hadoop Data Analysis – RHadoop
R and Hadoop Data Analysis – RHadoopPosted on February 25, 2013 15 VotesIntroductionR is a programming language and a software suite us转载 2014-12-23 23:45:22 · 1494 阅读 · 0 评论 -
Hive几种数据导出方式
转自:http://www.iteblog.com/archives/955谈到了Hive中几种数据的导入方式,不同的数据导入方式用途不一样。今天我们再谈谈Hive中的几种不同的数据导出方式。可以根据导出的地方不一样,将这些方式分为三种:(1)、导出到本地文件系统;(2)、导出到HDFS中;(3)、导出到Hive的另一个表中。为了避免单纯的文字,我将一步一步地用命令进行说明。 一转载 2015-02-15 10:21:26 · 450 阅读 · 0 评论 -
hive mapjoin使用
原文地址:http://blog.youkuaiyun.com/xqy1522/article/details/6699740今天遇到一个hive的问题,如下hive sql:select f.a,f.b from A t join B f on ( f.a=t.a and f.ftime=20110802) 该语句中B表有30亿行记录,A表只有100行转载 2015-03-05 09:57:50 · 438 阅读 · 0 评论 -
Hadoop Hive sql语法详解
原文地址:http://blog.youkuaiyun.com/hguisu/article/details/7256833Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过转载 2015-03-05 10:01:29 · 482 阅读 · 0 评论 -
Hive函数大全
一、关系运算:1. 等值比较: = 语法:A=B 操作类型:所有基本类型 描述: 如果表达式A与表达式B相等,则为TRUE;否则为FALSE 举例: hive>select 1 from lxw_dual where 1=1; 12. 不等转载 2015-03-05 12:43:55 · 592 阅读 · 0 评论 -
SparkR终极解决方案
原文地址:http://blog.youkuaiyun.com/wangjunji34478/article/details/70906537问题:Spark支持sparkR需要安装R如果R需要支持强大的内库,就需要安装第三方内库(需要连网)。解决步骤: 第一:安装开发工具集R对操作系统有一定的要求,所以先安装开发工具集,因为里面有c++的编译转载 2017-08-14 00:15:43 · 1118 阅读 · 0 评论