玻璃汽水的博客

一、阿里云CentOS服务器的页面IP地址下有一个公有IP和一个私有IP，要想远程连接当属公有IP啦，私有IP是用来主键云局域网的。在VPC（Virtual Private Cloud,简称专有网络）环境下的ECS（云服务器Elastic Compute Service）有两种IP地址。一个是网卡上的内网IP地址，用于内网访问使用，同一个VPC下，并在同一个安全组下的ECS，默认内网互通，并...

1、现在Linux服务器将hadoop的安装包copy一份到window10系统下找个地方解压，例：F:\programming\hadoop-2.8.52、在网上下载winutils.exe工具和hadoop.dll动态链接库文件，winutils.exe放置到hadoop的bin目录中(不是sbin),hadoop.dll放置到window10的系统盘的system32文件夹下3、在win...

开始前：什么是Beeline？HiveServer2支持一个新的命令行Shell，称为Beeline，它是基于SQLLine CLI的JDBC客户端；在Hive0.14版本开始官方推荐Beeline来使用HiveServer2来替代HiveCLI，后续版本HiveCLI渐渐消失；Beeline支持嵌入模式（embedded mode）和远程模式（remote mode），嵌入模式运行嵌入式的H...

以下仅为我在正式通过javaapi来使用hive前的问题记录Hive-Hadoop-MySQL的安装，请阅读这里hive-site.xml新添加(以下都是默认配置)：<property> <name>hive.server2.thrift.port&

一、Sqoop2提供了能够使用REST接口与Sqoop 2服务器通信的命令行shell。客户端可以在两种模式下运行——交互模式和批处理模式。批处理模式目前不支持create、update和clone命令。交互模式支持所有可用的命令。二、Sqoop2新增了Sqoop中没有的链接器，我们主要是通过链接器的方式来实现数据的create、update和clone，简单说明一下链接器的使用过程并通过一个实...

ONE标题利用一个WordCount稍微改动的小MapReduce程序来统计自己数据库下歌曲艺人表中的艺人数量来进行MapReduce的初入门，我利用的数据源来源于天池阿里竞技的赛题所提供的数据源。歌曲明显是该表的唯一标识，艺人的字段明显可以存在复数个，现在假设需要统计艺人的数量：在用java写MapReduce时需要注意，使用的不是jdk中自带的基本数据类型，需要使用对应hadoop自定...

# Decompress Sqoop distribution tarballtar -xvf sqoop-<version>-bin-hadoop<hadoop-version>.tar.gz# Move decompressed content to any locationmv sqoop-<version>-bin-hadoop<hadoo

1、下载好：hadoop-eclipse-plugin-2.8.5.jar2、将hadoop-eclipse-plugin-2.8.5.jar放到eclipse安装目录下的plugins文件夹内3、重启eclipse后，就会在项目浏览器看到DFS Locations问题：重启后没有DFS上图所示？解决：删除eclipse安装目录下configuration文件夹内的org.eclipse...

一、输入AND输出Map/Reduce框架运转在<key, value> 键值对上，也就是说， 框架把作业的输入看为是一组<key, value> 键值对，同样也产出一组 &

一、解压压缩包tar -zxvf hbase-2.1.0-bin.tar.gz -C hbase/二、添加环境变量普通用户的环境变量的文件：~/.bashrc全局环境变量文件：/etc/profile两个都添加同样的配置：export HBASE_HOME=/然后在PATH中添加：${HBASE_HOME}/bin三、配置文件这里有三个重要的配置文件：hbase-site.x...

一、基本环境配置1、修改主机名命令操作（root用户下）：打开hostname配置文件：vim /etc/hostname进入vim编译器后，按“i”键可以进行修改，修改完毕后按ESC键再按“：”复合键后底部一行获取光标输入“wq！”，然后回车写入并强制退出，“！”是用来强制退出的，一般可以不用。最后输入“reboot”命令重启cloud服务器，hostname永久生效。待服务器重启完...

一、授权普通用户管理hadoop的文件将hadoopDir文件夹递归的授权给ljj用户。二、通过wget下载好tar包（hadoop、pig、hive、hbase）（看不清楚放大看）三、安装集群所需的软件注：ssh 必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。$ sudo yum -y install ssh $ sudo yum -...

一、背景刚部署好的伪分布式Hadoop（单节点），拥有完整的NameNode，DataNode，SecondaryNameNode，NodeManager，ResourceManager实例。部署好，启动Hadoop的dfs后需要检验网络的连通性等各种问题，以及外网访问Hadoop的某些节点的管理页面问题。下图为Hadoop集群的三个Web接口。Hadoop运行正常，查看log日志也并没...

卸载原本自动安装的JDK，改手动安装的JDK，这样文件结构好管理点，环境变量配置也方便点。卸载查看已安装的JDK：rpm -qa|grep jdk卸载命令：yum -y remove java-1.8.0-openjdk*卸载完成后：[root@hadoopmaster ~]# java -versionbash: java: command not found...安装去官网下...

查看进程：top c

问题描述：可以访问8088端口，无法访问50070端口状态：每个节点都正常启动（伪分布式）状态正常也就是说整个集群的运行状态是正常的，那访问不了50070端口的状况集群存在的问题的可能性较小，把这个问题优先级放到最后。1、既然访问得了8088说明防火墙已经关闭或者防火墙开放了8088端口以及其他需要使用的端口端口50070被开放了？开放端口命令：firewall-cmd --zone=...

背景：CentOS7默认安装了python2.7，原因是CentOS7的yum命令需要依赖此版本的包，实际情况我们可能会需要Python3.0及更高的版本，而且Python3.0及以上版本不作向下兼容。一、查看python的版本->查找python的位置->将原本的python软链接重命名为.bak备份文件二、下载python3.7.1，wget https://www.pyth...

一、下载HDF5：wget https://support.hdfgroup.org/ftp/HDF5/current/src/hdf5-1.10.4.tar.gz二、解压：tar -zxvf hdf5-1.10.4.tar.gz三、./configure --prefix=/usr/local/hdf/hdf5参考：Linux中的Configure选项配置参数详解四、makemake...

1. 安装最小化的系统，也就是什么多余的组件都没有，全部需要手动DIY，这样可以最大化保证系统的安全性，CentOS7中早就废弃了ifconfig这一命令来查询网络地址状态，我们可以通过ip addr命令来查询。2. ip addr查询网络地址状态后发现有两个值，第一个明显是本机服务的inet，第二个并没有inet这个属性值。下一步就是配置网卡，我的为ens333. 将onboot的no值改...