yumi6666-优快云博客

原创虚拟机centos系统 import tensorflow出错：CXXABI_xx和GLIBC_xx not found错误解决

虚拟机centos系统 import tensorflow出错：CXXABI_xx和GLIBC_xx not found错误解决安装tensorflow第一步错误（CXXABI_1.3.8 not found）第二步错误：（GLIBC_2.xx not found）安装tensorflowpip install tensorflow==2.0.0-beta0（python对应版https://...

2019-09-02 16:33:43 346

原创 MapReduce中FileInputFormat的文件切片机制

1、mapTask并行度的决定机制一个job的map阶段并行度由客户端在提交job时决定而客户端对map阶段并行度的规划的基本逻辑为：将待处理数据执行逻辑切片（即按照一个特定切片大小，将待处理数据划分成逻辑上的多个split），然后每一个split分配一个mapTask并行实例处理这段逻辑及形成的切片规划描述文件，由FileInputFormat实现类的getSplits()...

2018-09-08 09:31:10 2134

转载编译HADOOP x64本地库教程

Hadoop2.4.0 重新编译 64 位本地库环境：虚拟机 VirtualBox，操作系统 64 位 CentOS 6.4 下载重新编译需要的软件包apache-ant-1.9.4-bin.tar.gzfindbugs-3.0.0.tar.gzprotobuf-2.5.0.tar.gzapache-maven-3.0.5-bin.tar.gz下载 hadoop2.4.0 的...

2018-09-07 20:26:26 701 1

原创使用JavaAPI进行HDFS文件系统的增删改查

0、事前准备。0.1 完成HADOOP的集群安装，完成HDFS的配置和初始化。（具体请参考https://blog.youkuaiyun.com/yumi6666/article/details/81735638）0.2 配置好Linux或Win环境下的Java开发环境。本文环境为WIN10 + Java1.8 + Eclipse。（具体参考https://blog.csdn....

2018-09-07 20:24:15 1678

原创 Docker环境下Scrapy项目环境的搭建

0、卸载本机上已安装的Docker/OracleVM BOX/Git/Vagrant如本机是全新安装，没有任何上述软件，可直接跳过本步骤。0.1 Git和Vagrant在卸载时无脑下一步即可。0.2 Docker卸载后，原安装目录会留存有项目文件夹，建议可修改文件夹名进行备份留存。0.3 OracleVM卸载前，请务必删除BOX内所有虚拟机。（一般会有名为Default和xx...

2018-09-01 07:55:46 1630

原创 MySQL txt库文件转储

1、安装MySQL（命令行版）参考https://blog.youkuaiyun.com/yumi6666/article/details/81433761。如果已安装，请确保记得密码以及能正常进入mysql命令行。检测方法：在cmd命令行输入：net start mysql正常情况下会提示 2、安装Navicat(MySQL可视化界面)网盘链接：https://pan....

2018-08-30 19:39:23 530

原创 HADOOP集群安装完成后的设置

验证初始化安装是否成功：1、启动namenode，在网关验证http://namenode.hostname:50070(如http://hadoop.mini01:50070)是否能正常刷出Jetty页面namenode机上键入命令：cd $HADOOP_HOME/sbinhadoop-daemon.sh start namenodejps启动成功后访问本地页面(如...

2018-08-16 10:24:24 872

转载 Hadoop框架无法访问50070端口页面

转载自：http://blog.youkuaiyun.com/gingerredjade/article/details/53364682 最近搭建Hadoop伪集群时，HDFS文件系统成功格式化，节点启动了，jps也有显示，但http://IP :50070就是访问不了。困扰很久发现问题仅仅出现在防火墙没有关闭。。。。。伪集群搭建采用的是CentOS 7.0，而CentOS7.0默认...

2018-08-15 16:00:49 6059 2

原创 CentOS下的HADOOP集群安装

准备工作：3台装有CentOS的虚拟机，分别命名为hadoop.mini01/02/03。推荐采用最小安装。虚拟机上需要安装JDK（JAVA_HOME本文使用 /usr/local/jvm/jdk1.8.0_172）本地可使用SecureCRT访问以上3台虚拟机在hadoop.apache.org下载hadoop（2.6.5版下载地址）集群安装步骤： 1.添加had...

2018-08-15 15:36:51 344

转载 CentOS7 最小化安装后所需做的事

参考https://blog.youkuaiyun.com/douzi303569528/article/details/72861954修改IP和DNS用虚拟机装CentOS7，使用的NAT的网络模式，为了防止再次启动系统的时候网络IP发生变化，因此设置静态IP和DNS。由于CentOS是最小化安装，没有ifconfig命令，因此可以采用ip命令查看。查看IP分配情况：# ip addr...

2018-08-15 10:00:06 1250

原创 MySQL 5.7 Community Sever绿色版安装及采坑指南

(以下过程在WIN7和WIN10系统环境下均测试通过)0、卸载原有的MySQL参考文章：https://www.cnblogs.com/jpfss/p/6652701.html1、下载5.7版MySQL当前5.7.23版下载地址（注意选择32或者64位版本） 2、解压缩将下载好的zip文件解压缩，记录下路径。以下路径默认为C:\MySQL，如须自定义，之后步骤都须...

2018-08-05 20:00:49 542

原创 Ubuntu 安装 JDK8 的方法

参考原文：https://www.jb51.net/article/115507.htm安装环境：WinVM/Ubuntu 18.04/JDK1.8.0_172 原文中的添加ppa源方法，由于该源无法连接（可能被墙）导致方法无法使用，故采用直接官网下载JDK的方式进行安装。 1.官网下载JDK　　　地址：http://www.oracle.com/technetw...

2018-06-09 16:12:19 1902

yumi6666的博客