2018年10月_yelena_scr_优快云博客

原创 pycharm中读取文本文件换行strip('\n')问题

今天写Python读取一个txt文件，被字符串的操作折磨了一早上，一直报错could not convert string to float: '37 76 117 169 204'我的输入文件原本格式是这样的 (字符间以tab键分隔)37 76 117 169 204本来按照如下编码应该读取到的 x 是一个个单个字符‘37’ ‘76’ ‘117’ ‘169’ ‘204’的...

2018-10-28 21:44:52 5517

原创 hadoop 解决内存溢出问题 2.1 GB of 2.1 GB virtual memory used. Killing container

hadoop集群启动成功之后，牛刀小试一下自带的jar包里的程序，计算一下pi值：报如下错误：2.1 GB of 2.1 GB virtual memory used. Killing container1.在etc/hadoop/yarn-site.xml文件中，修改检查虚拟内存的属性为false，如下： <property> <name>yar...

2018-10-26 17:51:18 4969 2

原创 hadoop 集群 master无法免密登录slave2

因为这集群是半年前配置好的，现在重新启动执行一些任务，发现 ssh服务无法连通，但是slave2是可以免密登录master 的，考虑到是公钥和私钥的问题，master想要免密登录slave2，那么 slave2必须拥有master的公钥，百度了很多教程，但都没有用，最后考虑到是秘钥更新的问题，因此先执行 ll 命令看一下 ~/.ssh目录下的用户权限有没有属于系统文件的，...

2018-10-26 17:43:40 1556

原创 hadoop启动集群报错： ssh: connect to host slave1 port 22: No route to host

网上有好多好多解决办法，全部试了一遍检测防火墙禁用，port22端口是否打开，sshd服务是否开启，、/etc/hosts 目录下各个节点IP地址映射是否正确。都没有错，但最后还是连接不上，猛然划拉到一个百度知道，网都 ping不同，连接什么ssh，，所以赶紧试了一下，！！！果然slave是Ping不通自己的，我的电脑没联网。。。。开了热点之后，可以了。。所以尝试以上方法之前...

2018-10-26 17:35:26 8037

原创 Ubuntu 搭建hadoop集群成功，但MobaXterm无法远程连接集群各个节点

由于我是在VMware上使用的ubuntu系统，因此解决这个问题需要先了解一下VMware三种网络工作模式：原文请参考此链接https://www.linuxidc.com/Linux/2016-09/135521.htm我们可以看到有VMnet0（桥接模式）、VMnet1（仅主机模式）、VMnet8（NAT模式）其中：VMnet0表示的是：用于桥接模式下的虚拟交换机；VM...

2018-10-26 17:28:13 641

原创 Ctex 安装注意系统变量 path 被覆盖!!!!! ,只剩 CTEX自己的Path了

俗话说，不听老人言，吃亏在眼前，论文小白准备着手写论文前先下载离线编辑软件ctex还是建议大家安装某个不太熟悉的软件之前先上网查一下相关的安装注意事项，不然就只能留下悔恨当初的泪水啊！在”计算机“上右键，找到”属性“，然后点击高级系统设置。点击“环境变量”，找到“系统变量”中的path，将里面的值拷贝出来，随手新建记事本备份。注意：上述操作很重要一定要先备份，否则，如果你没关机就还有救。...

2018-10-16 17:08:06 4912 2

原创正确无误启动MongoDB的步骤（不容易报错的那种~~）

注意：前提是你的相关几个文件夹数据库路径（data目录）、日志路径（logs目录）和日志文件（mongo.log文件），配置文件mongo.conf 都已创建好（最好是和安装MongoDB一个目录下）管理员身份打开命令行进入G:\MongoDB\Server\3.4\bin（或者已将bin目录放进环境变量） net start mongodb运行（此时打开你的任务管理器也可以看到）...

2018-10-14 21:34:25 345

原创 Anaconda和python的关系

1、anaconda 是一个python的发行版，包括了python和很多常见的软件库, 和一个包管理器conda。常见的科学计算类的库都包含在里面了，使得安装比常规python安装要容易。2、Anaconda是专注于数据分析的Python发行版本，包含了conda、Python等190多个科学包及其依赖项。其实不用Anaconda，直接从官网下载对应的Python版本的编译器...

2018-10-14 21:27:51 27243 1

原创 Pyhton3.x 爬虫网页下载器 urllib 和 Pyhton2.x 网页下载器urllib2 的不同（pycharm编程细节）

Q1:AttributeError: 'module' object has no attribute 'request'遇到builtins.AttributeError: 'module' object has no attribute 'xxx'的时候，直接import urllib.xxx就可以解决！（因为python3.X有时候不会将子模块自动导入进去，所以改成import urll...

2018-10-14 21:12:43 261