hdfs
关注
分享
扫一扫
kaiseu
把你的心给我一小部分，把我的整个拿去...
展开
-
上传本地文件到HDFS
1.上传文件 切换到hadoop 安装目录，启动hadoop，然后输入命令：bin/hdfs dfs -mkdir /alidata，在hdfs上创建alidata文件夹 浏览器查看hdfs： 上传文件到alidata文件夹： 命令：bin/hdfs dfs -put /home/kaiseu/TianChi /alidata/ 查看结果：原创 2015-04-05 09:32:43 · 49966 阅读 · 2 评论 -
hdfs查看集群目录报javaIO异常
查看日志发现： 查看文件权限： 于是修改权限为hadoop： 再次查看，问题解决： 文件权限很关键啊！！原创 2015-05-31 11:06:25 · 884 阅读 · 0 评论 -
hadoop集群格式化namenode出现异常
安装完hadoop2.6.0的集群后，格式化namenode 的时候出现异常： 发现是hadoop数据存储目录权限的问题： 可以看到mydata目录的所有者是root，修改其所有者为hadoop： 然后再格式化： 没有问题了。原创 2015-05-31 09:43:53 · 2781 阅读 · 0 评论 -
Ubuntu 客户端安装handoop2.6.0并连接到集群
1 将hadoop1上安装的hadoop260目录拷贝到客户端/app/hadoop/目录下： 2 修改相关配置文件 配置文件在目录：hadoop260/etc/hadoop 修改此目录下hadoop-env.sh,指定本机的java安装目录，本客户端与集群上hadoop1的java安装目录相同，所以不用修改。 修改/etc/profile文件：原创 2015-06-01 15:39:32 · 969 阅读 · 0 评论 -
AMPCamp2015之SparkSQL
1 数据准备 1.1 实验数据基于AMPCamp2015的exercise，原始数据在U盘的/data目录中，首先将数据上传到hdfs 2 开始实验 2.1 启动spark-shell 监控界面如下： 2.2 代码 2.2.1 创建SQLContext val sqlContext = new org.apache.spark.sql.原创 2015-06-09 16:11:04 · 2318 阅读 · 0 评论 -
AMPCamp2015之SparkStreaming wordCount
1 之前已经搭建好hadoop和spark集群 2 练习使用sparkStreaming对文本单词计数 2.1 首先启动集群 这是hadoop集群监控页面： 这是spark监控页面： 2.2 在hdfs上创建文件夹/test/tmp，用于存放待计数的文件 创建后的hdfs系统如下： 2.3 在客户端/app/hadoop/下有一个待计数原创 2015-06-06 11:02:11 · 1272 阅读 · 0 评论