
hadoop
文章平均质量分 92
deywós
长风破浪会有时,直挂云帆济沧海。
展开
-
windows上搭建大数据环境之-hadoop2.7不用Cygwin
windows7 64位上构建大数据环境不用Cygwin-hadoop2.7构建步骤1.软件下载地址2. 首先你需要配置环境变量下载对应版本的hadoop.dll,winutils.exe配置相应的xml文件格式化namenode启动hadoopbat 脚本启动构建步骤如果你想最近需要经常在大数据平台上做些实验,所以需要一个就在本地的开发环境,但是又不想在虚拟机里面捣鼓,这样子的话,效率太慢了...原创 2019-11-09 14:12:27 · 594 阅读 · 0 评论 -
mahout0.9的安装和配置(1)
Mahout是Hadoop的一种高级应用。运行Mahout需要提前安装好Hadoop。Hadoop的安装网上很多,并不复杂,这里不再讲述,接下来阐述怎么安装Mahout。本人使用的环境是windows7_64位操作系统、wmware 10、ubuntu 64位 14.0 、hadoop2.2.0、mahout 0.9,虚拟机内存1个G原创 2015-04-06 10:22:34 · 3327 阅读 · 0 评论 -
hadoop2.6.0+hive1.2启动报错java.lang.IncompatibleClassChangeError
hadoop2.6.0+hive1.2启动报错java.lang.IncompatibleClassChangeError原创 2015-10-25 22:18:39 · 630 阅读 · 0 评论 -
Hadoop 2.6.0+Hbase1.12+mahout0.9 集群搭建
建议配置1台,克隆两台,修改/etc/hostname即可创建hadoop用户组和用户创建用户组 sudo addgroup hadoop创建用户sudo adduser -ingroup hadoop hadoop给hadoop用户添加权限,打开/etc/sudoers文件sudo gedit /etc/sudoers在roo原创 2015-09-24 00:34:11 · 1128 阅读 · 0 评论 -
java.lang.IncompatibleClassChangeError
不兼容的类变化错误。当正在执行的方法所依赖的类定义发生了不兼容的改变时,抛出该异常。一般在修改了应用中的某些类的声明定义而没有对整个应用重新编译而直接运行的情况下,容易引发该错误。【报错信息】[ERROR] Terminal initialization failed; falling back to unsupportedjava.lang.IncompatibleClassChangeError原创 2016-03-19 17:46:38 · 4884 阅读 · 0 评论 -
hadoop2.x集群的log4j配置文件
log4j.properties原创 2016-04-05 19:37:15 · 3275 阅读 · 0 评论 -
超大数据去重的处理办法
#! /bin/bashsed -i '1d' action_201602.csvsed -i '1d' action_201603.csvsed -i '1d' action_201603_extra.csvsed -i '1d' action_201604.csvawk '!a[$0]++' action_201602.csv >201602.csv原创 2017-04-05 21:33:12 · 3662 阅读 · 1 评论 -
apache hadoop 2.6.4 64bit 在windows8.1下直接安装指南(无需虚拟机和cygwin)
转载链接:官方文档首先需要下载Apache hadoop 2.6.4的tar.gz包,到本地解压缩到某个盘下,注意路径里不要带空格。否则你配置文件里需要用windows 8.3格式的路径!第二确保操作系统是64bit,已安装.netframework4.0以上版本,这个你懂的,微软的天下,没有这个怎么混!第三确保安装了64 bit 版本的JDK1.8,笔者使用的就是JD转载 2017-08-08 18:18:06 · 699 阅读 · 0 评论