Bolong_-优快云博客

原创通过smaba在windows上操作linux系统的文件夹，提示权限不够怎么解决？

首先，来到smaba/smb.conf该配置文件下，查看允许smaba访问的文件夹是什么：就是path后面跟的路径，也就是在Windows下，通过\\192.168.31.129（我的虚拟机的ip地址）,可以查看到的文件夹。接着来个比较狠的权限设置，允许访问path下的所有文件即可。再次尝试打开刚才权限不够的文件，发现就可以打开了。chown -R nobody:nobody /opt/linux...

2018-04-23 00:03:45 2059

原创从节点datanode启动报错：RemoteException(org.apache.hadoop.hdfs.protocol.UnregisteredNodeException): 993

启动hadoop日常报错，今天是两台datanode只启动了一台，查看日志文件：WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool BP-406105891-192.168.31.129-1524063772org.apache.hadoop.ipc.RemoteException(org.apache.hadoop....

2018-04-22 23:44:24 652

原创 namenode进程无法启动，datanode启动正常；格式化之后，namenode正常，datanode无法启动，怎么解决？

集群环境，全分布式，一个master,两个slave。启动hadoop后，两个slave结点进程正常，master缺少namenode。网上查了一翻，说是namenode元信息受损，需要修复，于是想起刚才急着去吃饭，hadoop没有关闭，电脑随手一合。。心塞。。尝试一翻无果后，只能格式化：cd /opt/linuxsir/hadop/bin./hdfs namenode -format接着清理日志...

2018-04-18 23:53:10 858

原创 java.lang.ClassNotFoundException: Class WordCount$TokenizerMapper not found

第二次实验在hadoop上跑WordCount时，遇到了让人头疼的问题：java.lang.ClassNotFoundException: Class WordCount$TokenizerMapper not found操作跟之前一样，而且编译java源文件之后，也确实看到了WordCount$TokenizerMapper.class实在不明白是哪里出了问题。上网查了一下，https://bl...

2018-04-18 18:14:12 1381

原创通过用Python输出进度条效果，学习perf_counter()和sleep()函数的用法。

首先声明一下，下面的代码是我在看中国大学mooc里的教学视频学来的。觉得很有意思，分享一下。先看一下，执行完毕的结果吧，进度条跑到了100%，停止之后的效果就是图中所示。下面分析一下代码：port time #引入time库，后面用到了该库的两个函数perf_counter()和sleep()。scale = 50 # ...

2018-03-30 23:56:28 7027 4

原创 Python里获取当前时间的三个函数，time()、ctime()、gmtime()有什么区别？

Python里有三个函数可以获取当前系统的时间，分别是time()、ctime()、gmtime()。那三者之间有什么区别呢？先来一张图：time()函数，返回的是一个浮点数，表示从1970年1月1日0点0分开始，到当前时间，一共经历了多少秒。这样看时间，简直太费劲啦。于是ctime()凭借返回易读的字符串形式获得大家的喜爱。而gmtime()呢，是为了获取别的计算机程序可以处理的当前时间格式。如...

2018-03-28 22:40:57 10149

原创启动虚拟机遇到The VMware Authorization Service is not running该怎么解决？

在启动虚拟机时，经常遇到The VMware Authorization Service is not running：遇到这种情况，是虚拟机的服务没有启动，只需启动该服务就可以了。我的电脑——>右键——>管理找到左侧的【服务】，在右边点击【VMware Wworkstation Server】，点击左上角的【启动】即可。再次启动虚拟机就没有问题了。...

2018-03-27 16:05:56 6569

原创如何在Hadoop上跑通WordCount

先整体上说一下整个流程是怎么弄的。首先我们需要有WordCount.java源程序，输入文档file1.txt，里面写上几行单词。接着对该源文件进行编译，编译之后打包成jar。然后把file1传到hadoop里，接着把file1、jar包扔给hadoop让他来帮我们统计每个单词出现的次数，结果输出在我们指定的路径里的part-r-00000。下面来看具体是怎么操作的吧！首先，需要Hadoop集群已...

2018-03-27 15:26:33 764

原创搭建hadoop集群注意事项

为了提高动手能力，这学期选了一门课，大数据实践。从装虚拟机，到配置集群，到装hadoop，到跑通第一个小程序WordCount，遇到不少大大小小的坑，特别写下一篇博客，记录这些问题以及解决办法，希望能帮助到大家。首先，整体流程是这样的，需要在windows上下载一个虚拟机VMware，然后在虚拟机里装linux系统，为了搭建集群，我装了3台虚拟机，一个master，两个slave。接着就开始三个虚...

2018-03-27 14:19:06 1116

Bolong_的博客