- 博客(25)
- 收藏
- 关注
RSS订阅原创 使用python绘制一个柱形图
文章目录前言一、数据二、代码三、图像前言使用python绘制一个柱形图一、数据十个城市，以及各个城市对应的平均空气指数。这个数据是从虚拟机中导入的，大家也可以从txt文件中导入。二、代码三、图像该图像的横轴为城市，纵轴为空气质量指数，图像的名称为各城市全年平均空气质量指数图。提示：这里对文章进行总结：例如：以上就是今天要讲的内容，本文仅仅简单介绍了python绘制柱状图的使用，供大家参考。...
2022-04-11 14:30:25
6232
原创 在集群创建目录时报错Name node is in safe mode的解决方案
原因：namenode处于安全模式解决：关闭安全模式方法：运行以下代码hadoop dfsadmin -safemode leave
2021-05-26 10:57:38
420
原创 启动hbase的相关命令及流程
启动hbase的命令1.关闭三台虚拟机的防火墙systemctl stop firewalld2.开启zookeeper节点zkServer.sh start3.开启所有集群节点start-all.sh4.开启hbasestart-hbase.sh5.启动shellhbase shell
2021-05-25 15:49:34
2199
原创 启动hive的相关命令
启动hive的相关命令1.关闭防火墙systemctl stop firewalld三台虚拟机都关闭2.开启所有集群start-all.sh3.开启mysql服务systemctl start mysqld.service4.开始hive-script.shhive-script.sh start5.开启hivehive
2021-05-25 15:41:53
1851
原创 制作一个电影推荐系统的案例
前言下面主要介绍一个电影推荐系统，随机选取1000个用户对电影的评分记录，然后计算用户之间的皮尔逊系数，进而得出用户之间的电影喜好相关度，对用户进行电影推荐。提示：以下是本篇文章正文内容，下面案例可供参考代码如下（示例）：import osimport jsonimport randomimport mathclass FirstRec: """ 初始化函数 filePath: 原始文件路径 seed：产生随机数的种
2021-05-25 15:34:31
957
原创 centos7安装jq的命令
安装jq命令首先安装EPEL源：yum install epel-release之后查看以下jq包是否存在：yum list jq安装jq:yum install jq
2021-05-25 14:58:55
940
1
原创 Hive上传表到hdfs上的流程
在hdfs创建目录我准备上传的是Hive上面的tab1表，同时我在hdfs上创建一个路径为/flume/tab1输入下面的命令，在集群上创建一个路径hadoop fs -mkdir /flume/tab1接下来在Hive中输入下面命令，把Hive中的表上传到hdfs上上传成功进行展示...
2021-02-20 17:06:02
2084
原创 Hive创建数据库以及数据表的相关操作（以天气为例，去进行统计）
文章目录前言一、实验数据二、Hive的一些操作1.启动Hive2.创建数据库3.使用这个库4.创建数据表tem5.创建表tab16.创建表ta17.创建表tab3总结前言下面内容详细的介绍了Hive数据仓库的一些使用。提示：以下是本篇文章正文内容，下面案例可供参考一、实验数据总共有15X365条数据，分别是id号，城市，温度，天气，空气质量指数。（是使用shell写出来的日志文件，我前面的博文有介绍）二、Hive的一些操作1.启动Hive2.创建数据库3.使用这个库4.创建数
2021-02-20 16:56:48
1012
原创 Hive的下载，安装，配置以及连接的非常详细的过程
文章目录前言一、下载、上传、解压、配置Hive1.下载2.上传3.解压4.改名5.配置环境变量6.配置hive-site.xml文件二、Mysql1.上传2.启动mysql,查看mysql状态3.连接数据库（失败）4.修改错误三、再次连接数据库，启动Hive1.修改完错误之后，再次来进行连接2.启动Hive成功总结前言下面主要介绍了Hive数据库的相关配置，最后连接成功。提示：以下是本篇文章正文内容，下面案例可供参考一、下载、上传、解压、配置Hive1.下载2.上传3.解压4.改
2021-02-20 16:38:48
1281
原创 Azkaban的安装，编译，配置、启动测试以及启动的非常详细的步骤
文章目录前言一、安装git二、Azkaban的查看、下载以及变异过程1.查看2.下载3.上传4.解压5.编译6.编译成功后生成的文件夹三、Mysql数据库的安装1.Mysql查看、下载与安装2.查看mysql状态并且启动3.修改密码四、Azkaban数据库初始化1.连接mysql2.创建azkaban数据库3.初始化数据库表五、Azkaban web服务器安装配置1.ssl创建2.Azkaban Web服务器安装3.配置六、Azkaban Executor服务器安装1.解压2.配置七、启动测试1.启动Azk
2021-02-20 16:04:31
1937
原创 Flume案例之监控某个文件的变化，把变化的内容存储的hdfs上
文章目录前言一、创建exec-hdfs.conf，进行配置1、打开官网，有相关的采集方案2、配置文件内容二、写shell脚本，并监控它的变化，存储到hdfs上1.shell脚本2.启动flume3.测试4.上传到hdfs成功总结前言下面主要介绍flume监控某个文件的变化，把变化的内容存储的hdfs上的案例。提示：以下是本篇文章正文内容，下面案例可供参考一、创建exec-hdfs.conf，进行配置1、打开官网，有相关的采集方案2、配置文件内容二、写shell脚本，并监控它的变化，
2021-02-19 20:56:56
773
原创 Flume的下载，使用，采集测试以及监控文件夹的变化并将添加的文件存入hdfs
文章目录前言一、Flume的下载和使用二、Flume入门使用三、flume采集数据测试四、监控某个文件夹的变化，将添加的文件存入hdfs总结前言下面主要介绍Flume的下载以及使用的过程，以及flume采集的测试，以及监控某个文件夹的变化并且将添加的文件存入hdfs。提示：以下是本篇文章正文内容，下面案例可供参考一、Flume的下载和使用1、下载2、上传到虚拟机3、解压4、改名5、配置环境变量并且使生效添加生效查看版本6、配置一些文件进入conf，查看
2021-02-19 20:42:01
414
原创 启动Hadoop HA集群的详细步骤
文章目录前言一、详细步骤总结前言下面主要讲述Hadoop HA集群的启动，使用三台虚拟机，分别为node-1,node-2,node-3，对这三台虚拟机提前进行配置，有HDFS分布式文件系统相关配置以及zookeeper分布式集群部署，进行完上述步骤后，开始启动HA集群。提示：以下是本篇文章正文内容，下面案例可供参考一、详细步骤1、启动集群各个节点监控namenode的管理日志journalNode结果2、在export下的data中新建hadoop文件夹，hadoop下新建data
2021-02-19 19:57:15
3214
原创 Zookeeper分布式集群部署
文章目录前言详细步骤总结前言本篇介绍的是Leader+Follower模式的Zookeeper集群的部署过程。提示：以下是本篇文章正文内容，下面案例可供参考详细步骤下载安装包上传到服务器上解压解压成功修改名字，为zookeeper配置环境变量让配置起作用进入zookeeper进入配置文件夹，配置示例文件分别在三个服务器上创建myid文件第一个分发服务器1上面的zookeeper相关文件夹到其他服务器上分发到服务器2，服务器3上将prof
2021-02-18 21:47:32
336
原创 MapReduce本地统计词频的应用
文章目录前言一、打开IDEA软件二、修改pom.xml三、WordCountMapper四、WordCountReducer五、WordCountDriver六、结果展示总结前言本篇文章主要介绍MapReduce统计词频，MapReduce的核心思想是分而治之，分别找出各部分的结果，把各部分的结果组成整个问题的结果，是一种分布式计算模型。提示：以下是本篇文章正文内容，下面案例可供参考一、打开IDEA软件按需求创建，下面我创建的是名称为mapreduce，创建一个rm包，在里面创建三个项目，分
2021-02-18 21:09:01
536
1
原创 HDFS分布式文件系统相关配置
文章目录前言一、集群规划二、步骤1.打开Notepad++2.对一些文件进行配置3.将主节点的配置文件分发到其他子节点上4.格式化文件系统5.启动hadoop集群6.通过UI查看hadoop运行状态总结前言在进行完免密登录之后，可以进行Hadoop集群规划，HDFS是Hadoop体系中的重要组成部分，主要用于解决海量大数据文件存储的问题，是目前应用最广泛的分布式文件系统。提示：以下是本篇文章正文内容，下面案例可供参考一、集群规划下面是对三个虚拟机进行的集群规划。（记得关闭防火墙）二、步骤
2021-02-07 20:26:12
460
原创 linux虚拟机之间ssh免密登录配置
文章目录前言一、Hadoop01的免密登录二、重复上述步骤，在其它虚拟机上也做免密登录。总结前言下面详细的介绍给四台虚拟机之间做免密登录。提示：以下是本篇文章正文内容，下面案例可供参考一、Hadoop01的免密登录以hadoop01为例，分别做它和其他虚拟机之间的免密登录。1、输入ssh-keygen -t rsa之后一直回车2、打开配置文件vi /etc/hosts打开3、输入ip加主机名4、输入ssh-copy-id +主机名密码是你的root密码5、给自己做免密登
2021-02-06 20:33:21
4289
1
原创 给虚拟机下载安装jdk，hadoop等(非常详细的步骤）
文章目录前言一、创建文件夹并且安装小工具1.创建文件夹2.yum安装几个小工具二、安装jdk1.安装jdk压缩包2.解压3.配置环境变量4.保存退出，让配置起作用5.查看Java是否配置成功三、安装并配置hadoop1.将Hadoop包导入到里面2.解压、3.改名4.配置hadoop环境变量5.保存退出，并使之生效6.查看配置是否成功四、总结前言下面主要介绍虚拟机上安装jdk以及hadoop的相关操作及步骤，详细的记录在下面。提示：以下是本篇文章正文内容，下面案例可供参考一、创建文件夹并且安装小
2021-02-06 20:04:23
4131
原创 虚拟机网络配置（配置动态ip和静态ip）
文章目录前言一、动态网络配置二、静态网络配置总结前言下面主要介绍动态和静态两种网络配置方法，大家可以根据自己的需求求进行配置。提示：以下是本篇文章正文内容，下面案例可供参考一、动态网络配置经过动态网络配置的IP在重新启动虚拟机时容易发生改变，对后续的操作会有一定的影响。1，启动虚拟机2，登录，查看网络地址3，修改网卡的配置文件，在 /etc/sysconfig/network-scripts/文件夹下的ifcfg-ens334，用vi打开该配置文件5，使用dhcp动态获取ip
2021-01-31 20:08:25
5064
原创 创建一个虚拟机（非常详细的步骤）
文章目录前言创建虚拟机master01步骤总结前言本篇文章主要详细的介绍了虚拟机master01的创建过程。提示：以下是本篇文章正文内容，下面案例可供参考创建虚拟机master01步骤在下载安装完成虚拟机之后，开始进行虚拟机的创建。打开VMware总结提示：上面是对虚拟机创建的详细步骤，下一篇文章将会对虚拟机的网络配置进行详细的介绍，主要有静态和动态网络配置，大家如果需要，可以去参考我的下一篇文章。...
2021-01-31 12:17:49
1730
原创 下载安装虚拟机VMware Workstation Pro（非常详细的步骤）
文章目录前言一、下载虚拟机二、安装虚拟机步骤总结前言本篇文章介绍了非常详细的虚拟机下载和安装步骤提示：以下是本篇文章正文内容，下面案例可供参考一、下载虚拟机先看一下自己电脑的操作系统是32位还是64位，下载对应的版本。二、安装虚拟机步骤总结上述步骤是完整的虚拟机安装步骤，如果想了解虚拟机的创建步骤，请查看我的下一篇文章。...
2021-01-29 20:32:43
926
原创 R语言，向量x=c(“我“,“你“,“我“,“我“,“你“,“他“,“们“,“他“,“人“)中，统计向量x中的字出现的次数。 写出R代码。
文章目录前言一、创建向量x二、统计词频方法1方法2前言这篇文章主要讲述R语言的运用，统计向量中各个字出现的次数，下面有一个例子，用两种方法解决。提示：以下是本篇文章正文内容，下面案例可供参考一、创建向量x代码如下（示例）：二、统计词频方法1代码如下（示例）：方法2代码如下（示例）：...
2021-01-29 20:07:37
1404
原创 用R语言随机生成30个自然数, 然后把3的倍数的储存到一个向量,3k+1形式的数储存到另外一向量, 3k+2形式储存到第三个向量。写出R代码。
此篇博客主要讲述R语言的应用，随机生成30个自然数(范围0-100）,存入向量x, 然后把3的倍数的储存到一个向量x1,3k+1形式的数储存到另外一向量x2, 3k+2形式储存到第三个向量x3。写出R代码。文章目录一、随机生成30个自然数，存入变量x二、把3的倍数的储存到一个向量x1三、3k+1形式的数储存到另外一向量x2四、3k+2形式储存到第三个向量x3五、全部步骤一、随机生成30个自然数，存入变量xX<-trunc(runif(30,0,100))二、把3的倍数的储存到一个向量x1
2021-01-29 19:55:06
2133
原创 R语言数据框的应用（创建数据框，修改数据框索引，拼接数据框）
关于数据框的一些应用，比如创建数据框，修改数据框的索引，拼接数据框。一、创建数据框二、修改数据框索引三、拼接两个数据框提示：以下是本篇文章正文内容，下面案例可供参考一、创建数据框 创建如下数据框name sex date1 刘涛 Female 2000-01-022 张硕 Male 2001-12-123 海岩 Male 2003-10-12二、修改数据框索引 把海岩改成海燕，海燕的性别改成Female。三、拼接两个数据框假设有两个数据框（bus1，
2021-01-26 21:05:04
4717
原创 日志
编写一个日志，生成15个城市365天的天气状况过程创建日志编写日志启动日志查看日志生成的txt文件文件内容过程大家好！这是本人的第一次发布,接下来，我也会坚持发布，发布的内容主要是本人学习过程遇到的问题以及做过的作业，希望对大家有帮助。这次发布的内容主要是在SecureCRT中利用日志随机获取气象数据，过程：创建日志，编写日志，采集日志，保存在一个txt文件中。说明：所有数据都是随机生成的。创建日志vi data.sh创建了一个名为data的日志。编写日志a_ran()函数是一个随机生
2021-01-26 20:35:35
283
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人