全杰的博客

最重要的是检擦/etc/hosts下主机名和ip是否匹配正确，如果排除就按以下步骤就行：首选、防火墙关闭（每台机子）：service   iptables    stop其次、关闭safemode模式：hadoop  dfsadmin -safemode  leave再其次、先删除haoop文件夹下的log等格式化生成的文件，再重新格式化：hdfs namenode  -format

说明环境说明安装Rhadoop的准备环境必要的包环境变量的设置安装Rhadooprhdfs的安装只需要在user-client上安装即可rmr2的安装每个节点都需要安装测试rhdfsrmr2Rhadoop中各个包在集群中的安装情况补充相关类型的文章说明环境说明操作系统：centos7.2 hadoop环境使用的是2.7.2 java使用的是1.8安装Rhadoop的准备

问题描述： java.net.NoRouteToHostException: 没有到主机的路由 at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)

链接步骤下载eclipse for java 版下载插件hadoop_dll_winutil_271下载 hadoop-eclipse-plugin-272rar在eclipse中进行设置win上环境变量问题路径与配置文件问题缺少jar包链接步骤1.下载eclipse for java 版eclipse win64位下载链接–>解压2.下载插件hadoop_dll_winutil_2.

hive的基本使用新建表查看表和数据修改表删除表数据导入数据导出hive的基本使用新建表创建数据(文本以tab分隔) ~ vi /home/cos/demo/t_hive.txt16 2 3 61 12 13 41 2 31 17 21 3 71 2 31 1

NoRouteToHostExceptionCheck system time and time zonesNoRouteToHostException错误描述： INFO hdfs.DFSClient: Exception in createBlockOutputStreamjava.net.NoRouteToHostException: No route to host解决办法：是防火墙的

文件库问题1文件库权限问题文件上传问题文件库问题1、文件库权限问题问题描述： 错误1：Permission denied: user=dr.who, access=READ_EXECUTE, inode="/tmp":root:supergroup:drwx-wx-wx 错误2：java.lang.RuntimeException: The root scratch dir: /t

错误描述： 16/03/09 14:34:07 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /test/README.txt.COPYING could only be replicated to 0 nodes

NoClassDefFoundErrorNoClassDefFoundError错误描述： Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/spark/SparkConf 解决办法： maven加载依赖是 provided去掉 参考

直接看图：spark中flatM和Map的区别

spark中创建RDD的几种方式：1、使用程序中的集合创建RDD（一般用于测试）2、使用本地文件系统创建RDD（一般用于数据量大的文件的测试）3、基于HDFS创建RDD（生产环境最常用的RDD创建方式）4、使用s3创建RDD5、基于数据流创建RDDpackage com.dt.sparkimport org.apache.spark.{SparkConf, Sp