sparename的博客

本次利用云服务器搭建Hadoop集群， 在开始之前，你需要3台云服务器，可以在同一家购买也可以在不同家购买。此次教程采用百度云产品，可以换不同账号新手免费试用几个月，具体配置如下：（三）主机映射3个虚拟机均需要修改hosts文件使其生效测试三台机器,是否ping通2.选择时区3.时间同步协议NTPmaster作为ntp服务器，修改ntp配置文件屏蔽掉默认的server，设置master作为时钟源，设置时间服务器的层级为10。重启ntp服务(master上执行)slave1

数据库原理第一章1.四个基本概念：2.数据库系统的构成：3.数据库系统人员4.数据库管理系统DBMS的功能5.数据库系统DBS的特点6.数据模型的分类及三要素：7.关系数据模型8.数据库系统的三级模式二级映像9.数据独立性：第二章1.关系、关系模式概念2关系的完整性约束3.关系运算4.关系代数（表示、计算）5.会根据要求写出关系代数表达式6.会根据关系代数表达式计算结果7.SQL语句与关系代数互转第三章1.SQL语言、分类、语句命令（SELECT，排序，条件，分组，模式匹配，聚集函数统计）2.连接：3.连接

spark安装（伪分布安装）上传文件用xtfp上传文件至/root/softwares配置文件cd /root/softwares#解压tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /usr/local/cd /usr/local/#重命名mv spark-2.4.0-bin-hadoop2.7/ spark-2.4.0cd spark-2.4.0/conf/#配置spark-env.sh文件cp spark-env.sh.template s

Sqoop安装部署1 解压配置环境变量2 设置sqoop环境变量3 新建配置文件4 修改配置文件5 拷贝mysql驱动6 验证安装：7 Sqoop数据导出操作注意：在安装sqoop之前要配置好本机的Java环境和Hadoop环境1 解压配置环境变量cd /root/softwarestar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/localcd /usr/localmv sqoop-1.4.7.bin__hadoop-2.6.0

Hive的安装1. 嵌入式模式2. 本地模式2.1 配置安装MySql2.2 Hive配置3. 远程模式Hive常用的安装分三种(注意：Hive会自动监测Hadoop的环境变量，如有就必须启动Hadoop)先从本地上传Hive安装文件apache-hive-2.3.7-bin.tar.gz到/root/softwares1. 嵌入式模式使用Hive自带默认元数据库derby来进行存储，通常用于测试优点：使用简单，不用进行配置缺点：只支持单Session。# 对于Session,我们可以简单

Hive的安装1. 嵌入式模式2. 本地模式2.1 配置安装MySql2.2 Hive配置3. 远程模式Hive常用的安装分三种(注意：Hive会自动监测Hadoop的环境变量，如有就必须启动Hadoop)先从本地上传Hive安装文件apache-hive-2.3.7-bin.tar.gz到/root/softwares1. 嵌入式模式使用Hive自带默认元数据库derby来进行存储，通常用于测试优点：使用简单，不用进行配置缺点：只支持单Session。# 对于Session,我们可以简单

伪分布搭建zookeeper一. 环境变量的配置1.上传安装包2. 解压安装3. 更名4. 配置环境变量5. 使环境变量生效二. 集群模式的配置1. 修改zoo.cfg文件2. 创建myid3. 启动服务一. 环境变量的配置1.上传安装包使用XFTP或者使用scp将安装包apache-zookeeper-3.6.3-bin.tar.gz上传到/root/softwares下2. 解压安装tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz -C /usr/loca

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

伪分布式搭建hadoop伪分布模式准备工作以root权限修改ip，配置关网等修改完IP地址后，需要重启网络服务查看ip和是否能ping通修改主机名修改域名映射文件关闭防火墙ssh免密登陆安装JDK卸载之前的JDK上传JDK安装包到指定的路径创建目录伪分布模式伪分布式模式也是只需要一台机器，但是与本地模式的不同，伪分布式使用的是分布式的思想，具有完整的分布式文件存储和分布式计算的思想。只不过在进行存储和计算的时候涉及到的相关的守护进程都运行在同一台机器上，都是独立的Java进程。因而称为伪分布式集群。比本

python爬虫第一章 Python 爬虫学习入门的使用`爬虫练习第一周python爬虫前言一、什么是网络爬虫？二、爬虫有什么用？三、练习题dome1dome2dome3dome4dome5dome6dome7dome8dome9dome10前言大数据时代，要进行数据分析，首先要有数据源，而学习爬虫，可以让我们获取更多的数据源，并且这些数据源可以按我们的目的进行采集，去掉很多无关数据。一、什么是网络爬虫？网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组

本章以学生——课程数据库为例来讲解SQL的数据定义、数据操纵、数据查询和数据控制语句。记一次上机课操作：-- 创建数据库studentcreate database student;-- 使用数据库use student;-- 创建学生表create table student( id_sno char(12) primary key, sname char(8), sex char(2), sdept char(20) );-- 创建课程表create table co

HDFS命令行使用帮助命令创建命令查看命令删除命令获取命令帮助命令hdfs dfs -help创建命令新建目录hdfs dfs -mkdir <path>创建多级目录#-p递归创建hdfs dfs -mkdir -p <path>新建一个空文件hdfs dfs -touchz <filename>查看命令列出文件系统目录下的目录和文件# -h 以更友好的方式列出，主要针对文件大小显示成相应单位K、M、G等# -r 递归列出,类似

搭建Hadoop集群