Bolong_的博客

为了提高动手能力，这学期选了一门课，大数据实践。从装虚拟机，到配置集群，到装hadoop，到跑通第一个小程序WordCount，遇到不少大大小小的坑，特别写下一篇博客，记录这些问题以及解决办法，希望能帮助到大家。首先，整体流程是这样的，需要在windows上下载一个虚拟机VMware，然后在虚拟机里装linux系统，为了搭建集群，我装了3台虚拟机，一个master，两个slave。接着就开始三个虚...

先整体上说一下整个流程是怎么弄的。首先我们需要有WordCount.java源程序，输入文档file1.txt，里面写上几行单词。接着对该源文件进行编译，编译之后打包成jar。然后把file1传到hadoop里，接着把file1、jar包扔给hadoop让他来帮我们统计每个单词出现的次数，结果输出在我们指定的路径里的part-r-00000。下面来看具体是怎么操作的吧！首先，需要Hadoop集群已...

在启动虚拟机时，经常遇到The VMware Authorization Service is not running：遇到这种情况，是虚拟机的服务没有启动，只需启动该服务就可以了。我的电脑——>右键——>管理找到左侧的【服务】，在右边点击【VMware Wworkstation Server】，点击左上角的【启动】即可。再次启动虚拟机就没有问题了。...

第二次实验在hadoop上跑WordCount时，遇到了让人头疼的问题：java.lang.ClassNotFoundException: Class WordCount$TokenizerMapper not found操作跟之前一样，而且编译java源文件之后，也确实看到了WordCount$TokenizerMapper.class实在不明白是哪里出了问题。上网查了一下，https://bl...

启动hadoop日常报错，今天是两台datanode只启动了一台，查看日志文件：WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool BP-406105891-192.168.31.129-1524063772org.apache.hadoop.ipc.RemoteException(org.apache.hadoop....

首先，来到smaba/smb.conf该配置文件下，查看允许smaba访问的文件夹是什么：就是path后面跟的路径，也就是在Windows下，通过\\192.168.31.129（我的虚拟机的ip地址）,可以查看到的文件夹。接着来个比较狠的权限设置，允许访问path下的所有文件即可。再次尝试打开刚才权限不够的文件，发现就可以打开了。chown -R nobody:nobody /opt/linux...

集群环境，全分布式，一个master,两个slave。启动hadoop后，两个slave结点进程正常，master缺少namenode。网上查了一翻，说是namenode元信息受损，需要修复，于是想起刚才急着去吃饭，hadoop没有关闭，电脑随手一合。。心塞。。尝试一翻无果后，只能格式化：cd /opt/linuxsir/hadop/bin./hdfs namenode -format接着清理日志...