fyj的博客

vm 大家 centos  hadoop第一步安装 vm安装 centos6第二步配置 centos6 host_namevi /etc/sysconfig/network用任一款你喜爱的编辑器打开该文件，里面有一行 HOSTNAME=localhost.localdomain (如果是默认的话），修改

安装 cygwin 遇到的坑http://mirrors.ustc.edu.cn/cygwin/ （使用这个url ，163 镜想不行，不知道怎么回事）具体安装 步骤

先粗略说一下“hadoop fs”和“hadoop dfs”的区别：fs是各比较抽象的层面，在分布式环境中，fs就是dfs，但在本地环境中，fs是local file system，这个时候dfs不可用。1、列出HDFS文件：hadoop fs –ls    a) –ls后面不跟任何内容的话是列出HDFS的"/user/用户名/"目录下的内容    b) 如果要列出某个文件夹中

原创文章，转载请标注来自http://blog.youkuaiyun.com/lsttoy/article/details/53406840。 首先，去apache看官方的支持版本可以看到hadoop2.4.X以后的版本基本都支持hbase1.2.4。 接下来开始安装。第一步，从apache基金会下载最新版本https://mirrors.tuna.tsinghua.edu.cn/

第一步 下载 zookeeper 并解压    /opt/zookeeper-3.4.8 导入环境变量 export ZOOKEEPER_HOME=/opt/zookeeper-3.4.8 export PATH=$PATH:$ZOOKEEPER_HOME/bin source /etc/profile第二步 配置在zookeeper目录下建立data目

前提 已经安装 jdk hadoop 下载 scale 最新版本 解压 配置 环境变量（这里不再赘述）下载 hadoop 2.7.3 对应的spark 最新版本解压到 /opt 目录下tar -xzvf spark.xxxxmv spark.xxx spark陪值环境变量vi ~/.bashrcexpo

问题 1 regionserver.HRegionServer: error telling master we are up com.google.protobuf.ServiceException: java.net.SocketException: Invalid argumentat org.apache.hadoop.hbase.ipc.AbstractRpcClient.cal

进入 spark 目录下 创建 test.py 文件#!/usr/bin/python# -*- coding: utf-8 -*-from pyspark import *def test():    sc = SparkContext('spark://xxxxxx:7077','master-test')    print sc    textFile =

第一步 下载IDEA 安装 scala 插件第二步 新建Scala 项目 TFinn           导入 spark-assemble-hadoop.jar 文件（具体可百度 下载）          我下载的是 spark-assembly-1.3.1-hd-2.6.0.jar  因为我使用的hadoop2.7.3 (吃过亏，嘿嘿) 本来以为版本不一致会出差错，试过可以