提笔写忧伤

hadoop常用命令： hadoop fs 查看Hadoop HDFS支持的所有命令  hadoop fs –ls 列出目录及文件信息  hadoop fs –lsr 循环列出目录、子目录及文件信息  hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.t

SPARK配置参数的两个地方：1. $SPARK_HOME/conf/spark-env.sh  脚本上配置。 配置格式如下：export SPARK_DAEMON_MEMORY=1024m2. 编程的方式（程序中在创建SparkContext之前，使用System.setProperty（“xx”，“xxx”）语句设置相应系统属性值)，即在spark-shell下配置如：scal

一、安装需求安装java 1.6及hadoop 0.20.x二、安装zookeeper1、下载zookeeperwget http://mirror.bit.edu.cn/apache//zookeeper/zookeeper-3.4.3/zookeeper-3.4.3.tar.gz（本次安装3.4.3版本）其他版本下载地址（最好使用stable版本）：http://zoo

环境：操作系统Centos 5.5 64-bit三台节点，计划部署分配如下： ip                       主机名             用途172.16.48.201 sg201 namenode 172.16.48.202 sg202 datanode172.16.48.203    sg203            datanode

sqoop作用： 用于将hdfs上的数据导到关系数据库中，或将关系数据库中的数据导入到hdfs上，本文以mysql为例一、安装从官网上下载http://mirrors.hust.edu.cn/apache/sqoop/1.4.4/， 我安装的hadoop版本为1.0.2所以下载的sqoop为：sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz将sqoop-1.4.