shaopeng5211的专栏

1、解压与安装解压hive-0.9.0.tar.gz到/opt/目录下：tar -zxvf hive-0.9.0.tar.gz -C /optmv /opt/hive-0.9.0 /opt/hive2、配置hive-env.shHive提供了一个模版文件hive-env.sh.template，复制一份改名为hive-env.shcp hive-env.sh.

Pig大的运行方法：1、脚本2、Grunt3、嵌入式Grunt1、自动补全机制 （命令补全、不支持文件名补全）2、autocomplete文件3、Eclipse插件PigPen进入Grunt shell命令[hadoop@master pig]$ ./bin/pig2013-04-13 23:00:19,909 [main] INFO  or

[hadoop@master hbase]$ bin/hbase shell进入shellhbase(main):001:0> help******（Shell命令说明）hbase(main):002:0> status1 servers, 0 dead, 4.0000 average load （服务器，dead，负荷）hbase(main

前面搭建好了hadoop的平台，然后我们可以使用简单的hadoop命令体验下hadoop，不至于搭建平台后不知道干嘛。$ pwd/home/opt/hadoop 格式化分布式文件系统$ bin/hadoop namenode -format启动hadoop的守护进程$ bin/start-all.sh停止hadoop的守护进程$ bin/s

初学Hadoop，在此写下学习笔记，与各位大神们交流共享。第一步：右键点击已创建虚拟机--》Manager（管理）--》clone（克隆）因为需要多台虚拟机同时启动，在这里选完全复制，其他默认即可。第二步：进入克隆虚拟机，修改以下配置：1：配置IP（我用的VM，克隆后Mac地址自动就改了，这里可不做修改）vi /etc/sysconfig/network-s

今天使用Hive的时候遇到一个这样的bug，上网查下原来是个小问题，在此记录下 。FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Failed to start database 'metastore_db', see the next exception for details.NestedThrowa

转载：本文首先会讨论搜索引擎的核心难题，同时讨论早期搜索引擎关于结果页面重要性评价算法的困境，借此引出PageRank产生的背景。第二部分会详细讨论PageRank的思想来源、基础框架，并结合互联网页面拓扑结构讨论PageRank处理Dead Ends及平滑化的方法。第三部分讨论Topic-Sensitive PageRank算法。最后将讨论对PageRank的Spam攻击方法：Spam Farm

1、解压与安装解压pig-0.10.0.tar.gz到/opt/目录下：tar -zxvf pig-0.10.0.tar.gz -C /opt/mv /opt/pig-0.10.0 /opt/pigchown -R hadoop:hadoop /opt/pigsu hadoop2、配置/opt/pig/bin/pig文件打开pig文件# #

本文来讲 hadoop搭建教程之三（Hbase伪分布安装） 先决条件：配置apache hadoop append，默认这个属性是false，需要设置为true修改（hadoop/conf/hdfs-site.xml） dfs.support.append true dfs.datanode.max.xcievers 4096一、解压与安装

伪分布式模式的安装和配置步骤1、下载并解压Hadoop安装包，这里我们使用hadoop-1.0.4.tar版本这里是下载地址：http://apache.dataguru.cn/hadoop/common/hadoop-1.0.4/2、添加用户和组添加组groupadd hadoop添加用户useradd hadoop -g