老肥码码码

今天在拷贝local文件到hdfs时发生错误，提示没有datanode在工作，查资料得在多次格式化文件hadoop namenode -format造成了datanode无法启动，在web界面观察到live node数目为0其原因是datanode的clusterID 和 namenode的clusterID 不匹配查询version 文件发现果然三个datanode的clus...

1.增加内存空间打开VirtualBox,选择相应的虚拟机>>设置>>系统>>设置内存大小（各虚拟机内存大小之和不要超过本机的内存大小，不然可能会宕机） 2.增加磁盘空间第一步：打开本机cmd,进入VirtualBox所在的安装目录    cd G:\virtualBox第二步：输入如下命令，显示已有虚拟机的信息G:\virtua...

1、MapReduce编程模型MapReduce采用分而治之的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单来说，MapReduce就是“任务的分解和结果的汇总”。在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是TaskTracker。JobTracker用于...

在装Hadoop集群时，虚拟机网卡的问题折磨了我一晚上目前已解决，记录如下：Q1：网络适配器没有 VirtualBox Host-Only Ethernet Adapter Solution:打开设备管理器，点击菜单栏选择添加过时硬件，选择“安装我手动从列表选择的硬件（高级），选择网络适配器，从磁盘安装，选择浏览，打开选中virtualbox-drivers-network...

若未更改路径，则虚拟机自动安装在C盘，造成C盘资源紧张，下面是迁移vdi文件的过程1.修改虚拟机的全局配置，将默认虚拟电脑位置更改为你想要存放的新位置。 2.vdi文件所在的位置你可以在该虚拟机的设置中找到，一般是在C盘，在cmd命令窗口中进入安装virtualbox所在位置，命令依次为：G://进入你安装virtualbox的所在盘cd virtualboxG:\vir...

1.Login to your linux server via SSH or putty2.Getting your data to and from the Linux host   via  scp, WinSCP   sshfs ftp  wget, curl3.Simple data files - examination and slicingfile an...

Hadoop Single Node Cluster是只以一台机器，建立hadoop环境，您仍然可以使用hadoop命令，只是无法发挥使用多台机器的威力。 因为只有一台服务器，所以所有功能都在一台服务器中，安装步骤如下:1 安装JDK2 设定 SSH 无密码登入3 下载安装Hadoop4 设定Hadoop环境变数5 Hadoop组态档设定6 建立与格式化HDFS目录7 启动Hadoo...

最近在安装Spark ,而Spark内核是由Scala语言开发的，所以在使用Spark之前，我们必须配置好Scala，而Scala又是运行在JVM上的，所以在配置Scala之前，先要配置好JDK。由于第一次尝试下载scala,发现scala的版本与linux自带的默认java版本不贴合，运行scala shell报错。2.12版本的scalax需要java8而默认java是7。java...