老胡的笔记

一、准备工作操作系统 centOS 64 位JDK 1.7  maven hadoop 2.6github下载HiBench 4.0运行 bin/build-all.sh编译 （参考HiBench 的说明，因没有安装spark，直接运行run-all.sh 会报错，忽略）。二、 编译运行1. conf 目录下的benchmarks.lst文件设置测试项，一行一个测试

配置好hive后，spark sql 配置就很简单了，实际上只要配置一个hive-site.xml文件，拷贝到spark/conf目录下。这个文件是给spark使用的，hive的配置文件用自己的配置文件。1. 配置hive-site.xml hive.metastore.uris thrift://localhost:9083 Thrift URI for t

hbase 1.2.0安装配置序号主机名IP安装软件1d-hdp-client192.1.131.199hadoophbase 不运行2d-hdp-01192.1.131.201hadoop namenodezo

Tensorflow on Spark 安装

Hive 安装 python thrift 连接hiserver2

spark 安装

用hdfs getconf 和  hdfs dfsadmin 可以获得hdfs的基本信息。

一 目标    基于前面安装的hadoop单机伪分布环境安装配置eclipse和eclipse hadoop 插件，并运行wordcount程序检验是否正确。参考了网上的资料。二  配置过程 1. 准备软件 eclipse-jee-juno-SR2-linux-gtk-x86_64.tar.gzhadoop-eclipse-plugin-2.2.0.jar2.安装   1）

一 目标  虚拟机安装ubuntu14.04（64位），然后安装hadoop 2.6.0（伪分布），pig、hive和mahout，用作开发调试。二 安装1. 配置ssh ssh-keygen -t rsacd ~/.sshcat id_dsa.pub >> ~/.ssh/authorized_keys2.软件准备Jdk和mysql-server 直接用apt-g

用MultipleInputs实现Reduce-side join

ChainMapper、DistributedCache和Context

Hadoop Streaming 和 Python

一、运行WordCounthdfd和yarn已运行，如果没有运行，用start-dfs.sh和start-yarn.sh运行。1. 创建目录和准备文件$hdfs dfs -mkdir /user$hdfs dfs -mkdir /usr/hadoop$hdfs dfs -ls / $echo "This is a test." >> test.txt$cat test.tx

hadoop实验环境安装部署

Spark Streaming 是一个基于spark的实时计算框架。详细说明参考Spark Streaming Programming Guide. 以下是编程指南WordCount例子的在spark-shell了实验记录。运行前，把spar/conf目录下的log4j.properties里的日志级别由INFO改为WARN，否则或打印太多的日志。1. 运行 nc 模拟数据源输入文中的命令