hadoop
关注
分享
扫一扫
kaiseu
把你的心给我一小部分，把我的整个拿去...
展开
-
上传本地文件到HDFS
1.上传文件切换到hadoop 安装目录，启动hadoop，然后输入命令：bin/hdfs dfs -mkdir /alidata，在hdfs上创建alidata文件夹浏览器查看hdfs：上传文件到alidata文件夹：命令：bin/hdfs dfs -put /home/kaiseu/TianChi /alidata/查看结果：原创 2015-04-05 09:32:43 · 49966 阅读 · 2 评论 -
hdfs查看集群目录报javaIO异常
查看日志发现：查看文件权限：于是修改权限为hadoop：再次查看，问题解决：文件权限很关键啊！！原创 2015-05-31 11:06:25 · 884 阅读 · 0 评论 -
hadoop集群格式化namenode出现异常
安装完hadoop2.6.0的集群后，格式化namenode的时候出现异常：发现是hadoop数据存储目录权限的问题：可以看到mydata目录的所有者是root，修改其所有者为hadoop：然后再格式化：没有问题了。原创 2015-05-31 09:43:53 · 2781 阅读 · 0 评论 -
Spark-submit提交任务到集群
1 IDEA 打包示例代码参考AMPCamp2015之SparkSQL，开发环境使用idea。首先需要将程序打包成jar选择project structure --》artifacts ，由于集群已经有了运行依赖的jar包，打包时可以将这些jar包排除出去，以减小打包后的jar包的大小。点击ok，然后选择build --》build artifacts，原创 2015-06-19 16:01:26 · 73674 阅读 · 0 评论 -
Ubuntu 客户端安装handoop2.6.0并连接到集群
1 将hadoop1上安装的hadoop260目录拷贝到客户端/app/hadoop/目录下：2 修改相关配置文件配置文件在目录：hadoop260/etc/hadoop修改此目录下hadoop-env.sh,指定本机的java安装目录，本客户端与集群上hadoop1的java安装目录相同，所以不用修改。修改/etc/profile文件：原创 2015-06-01 15:39:32 · 969 阅读 · 0 评论 -
CentOS安装hadoop2.6.0
1 下载hadoop2.6.0版本，解压到目录/app/hadoop，重命名文件夹名为hadoop2602 文件配置修改环境变量：修改hadoop变量的值：修改slaves文件root@kaiseu-ubuntu:/app/hadoop/hadoop260/etc/hadoop# vi slaves原创 2015-05-29 19:06:44 · 1287 阅读 · 0 评论 -
Spark1.3.1集群部署
1 java安装2 ssh无密码登陆3 spark安装包解压4 spark配置文件配置文件 conf/slaves：增加3个节点文件 conf/spark-env.sh：拷贝安装目录到hadoop2，hadoop3：启动集群：浏览器访问：5 客户端安装原创 2015-06-01 18:57:11 · 1414 阅读 · 0 评论 -
AMPCamp2015之SparkSQL
1 数据准备1.1 实验数据基于AMPCamp2015的exercise，原始数据在U盘的/data目录中，首先将数据上传到hdfs2 开始实验2.1 启动spark-shell监控界面如下：2.2 代码2.2.1 创建SQLContextval sqlContext = new org.apache.spark.sql.原创 2015-06-09 16:11:04 · 2318 阅读 · 0 评论 -
AMPCamp2015之SparkStreaming wordCount
1 之前已经搭建好hadoop和spark集群2 练习使用sparkStreaming对文本单词计数2.1 首先启动集群这是hadoop集群监控页面：这是spark监控页面：2.2 在hdfs上创建文件夹/test/tmp，用于存放待计数的文件创建后的hdfs系统如下：2.3 在客户端/app/hadoop/下有一个待计数原创 2015-06-06 11:02:11 · 1272 阅读 · 0 评论