- 博客(54)
- 收藏
- 关注
RSS订阅原创 sqoop部署
Sqoop是一款开源的工具，主要用于在Hadoop Hive与传统的数据库mysql间进行数据的传递，可以将一个关系型数据库 MySQL中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。本次实验主要完成了Sqoop的安装及验证通过Sqoop将MySQL数据导入到Hive数据仓库中。
2022-11-18 15:05:24
1255
原创 Hive集群部署实验
在Hadoop集群上部署Hive数据仓库，使用MySQL作为元数据存储。在Hive集群平台创建测试表，验证HiveQL在Hadoop Mapreduce中的执行情况。本次实验中，Hive采用MySQL数据库保存Hive的元数据，而不是采用Hive自带的derby来存储元数据。Hive常用的HiveQL操作命令主要包括：数据定义、数据操作。Hive实现最大的优势是，对于非程序员，不用学习编写Java MapReduce代码，也可以完成MapReduce任务。
2022-11-18 12:24:40
1899
原创 Kafka部署实验
Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。Kafka的使用依赖于zookeeper,安装Kafka前必须先安装zookeeper。Kafka集群包含一个或多个服务器，这种服务器被称为broker,Producer负责发布消息到Kafka broker,Consumer消息消费者，从Kafka broker读取消息的客户端。
2022-11-17 16:43:10
1221
原创 Flume部署实验
本实验包括分布式海量日志采集、聚合和传输系统Flume的部署以及flume和Kafka整合实现信息收集传递的实例。Flume部署Flume消息收集Flume+Kafka整合apache-flume-1.8.0网易云平台flume安装部署（flume安装、flume验证）进入实验列表，找到Flume，点击开启实验，启动master、slave1及salve2，slave3。可以参考上篇文章完成Zookeeper集群部署#hosts文件末尾加入如下内容(masterip、slave1ip及slave2i
2022-11-17 16:06:21
1445
原创 完成Zookeeper集群部署
基于Hadoop生态系统的大数据平台之上部署Zookeeper集群,Zookeeper被应用与一些集群上，可以提高集群的可用性。它可以帮助你避免单点故障，使企业大数据平台更加可靠。本实验采用4台机器搭建Zookeeper集群，其中1台机器作为Leader节点，另外三台机器作为Follower节点。Zookeeper分布式协调技术，主要用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种临界资源，防止造成"脏数据"的后果。
2022-11-17 15:30:28
893
原创 接上篇文章，完成Hadoop集群部署实验
基于开源软件搭建满足企业需求的Hadoop生态系统,构建基础的大数据分析平台。本实验采用4台机器搭建Hadoop完全分布式集群，其中1台机器作为Master节点，另外三台机器作为Slave节点，主机名分别为Slave1，Slave2和Slave3。本次实验采用完全分布式集群安装方式，需要提前部署JDK环境、SSH验证等过程。安装并启动后可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。
2022-11-17 14:49:04
2478
原创 搭建Hadoop集群环境，安装jdk，环境配置，免密登录，关闭防火墙
其中，rsa表示加密算法，键入上面一条命令后连续敲击三次回车键，系统会自动在~/.ssh目录下生成公钥（id_rsa.pub）和私钥（id_rsa），可通过命令。查看，认证文件authorized_keys已经生成。可以通过cat命令查看authorized_keys内容是否包含有id_rsa.pub的内容。我们以本机登录本机自己为例（连接本机），将公钥追加到~/.ssh/authorized_keys文件中。修改host (四台虚拟机都要修改)安装完成后，关机，进行快照备份。做完后可以进行关机，快照。
2022-11-13 18:21:40
1638
原创 VM16中安装CentOS7.4保姆级教程
1、点击创建虚拟机图标2、选择典型安装，并点击下一步3、选择稍后安装，点击下一步4、选择Linux，版本选择CentOS7 64位，并点击下一步5、输入虚拟机的名称（此处可自己取名）,点击浏览按钮6、点击浏览，选择虚拟机存放的位置（也可以自己创建一个文件夹），，选择好后，点击确定7、设置虚拟机磁盘大小，最小20G。8、点击自定义硬件9、推荐内存设置为4G，若本机内存只有4G，则设置为2G，然后对处理器进行设置10、处理器数量设置为2，然后对新CD/DVD（IDE）进行设置11、选择iso
2022-11-13 16:33:26
827
原创 ceph的组件和功能以及部署三个节点的ceph集群
一个Ceph的存储集群，至少两个Ceph OSD来实现 active + clean健康状态和有效的保存数据的双副本（默认情况下是双副本，可以调整）。Ceph Monitor: Ceph的监控器，主要功能是维护整个集群健康状态，提供一致性的决策，包含了Monitor map、OSD map、PG（Placement Group）map和CRUSH map。OSD (事实上是其他OSD的deamon) 通信以维护更新系统状态，与其他OSD共同完成数据的存储和维护， 与client通信完成各种数。
2022-11-09 16:45:34
2695
原创 部署zabbix服务以及监控linux服务器
2. 测试zabbix客户端（172.25.10.100）与zabbix服务端（172.25.10.20）通信是否正常。请输入主机名或主机IP地址和zabbix服务器的端口号，以及安装的名称（可选）。以下操作通过zabbix web 管理界面完成。安装zabbi server mysql。为zabbix server配置数据库。用户/密码：Admin/zabbix。安装前汇总，信息没有问题了，下一步。然后和安装linux8一样安装。安装zabbix agent。安装zabbix web。
2022-11-09 15:36:08
678
原创 CentOS7搭建keepalived+DRBD+NFS高可用共享存储
配置root用户免密钥互信。等待一段时间，检查同步情况。来观察资源的连接状态。
2022-11-07 18:37:53
503
原创 haproxy+keepalived案例
开启web1的服务，断掉keepalived主调度器网络，继续访问http://172.25.10.200/test.html，访问成功即keepalived负载均衡成功（此时应能看到172.25.10.120和172.25.10.130两个网页）。断开web1，在次访问刷新两次测试高可用（此时应只能看到172.25.10.130）。客户端打开浏览器访问http://172.25.10.200/test.html，编译安装的步骤与Nginx1相同，不同之处在于建立的测试网页。搭建nginx可以参考。
2022-10-26 21:14:51
1100
原创 Keepalived，基于 CentOS 7构建nginx的Keepalived 高可用群集。
VRRP的热备方式，Keepalived可以用做服务器故障切换，常用于双机热备，在双机热备的方案中，故障切换主要针对虚拟IP地址的漂移来实现，因此能够适用于各种应用服务器（如：web、ftp、fail、还是ssh、dns等）因为master宕机，Keepalived集群的backup服务器收不到来自master的心跳包，所以backup认为master死亡，backup会重新选举新的master。其他备用服务器的优先级可依次递减，但不要相同，以免在争夺VIP控制权时发生冲突。
2022-10-26 17:34:01
1655
原创 源码编译安装haproxy2.4.8，配置服务启动脚本，实现web负载均衡，配置日志，实现智能负载均衡
由于HAProy可以工作在七层模型下，因此，要实现 HAProxy的强大功能，一定要使用强大灵活的ACL规则，通过ACL规则可以实现基于HAProy的智能负载均衡功能。如果符合ACL规则要求，那么就将放行，反正，如果不符合规则，则直接中断请求。可以配置文件示例中复制，配置文件示例位置：/usr/local/src/haproxy-2.4.8/examples/2）符合ACL 规则要求的请求将被提交到后端的backend 服务器集群，进而实现基于ACL 规则的负载均衡。
2022-10-26 14:26:50
1745
原创 基于 CentOS 7 构建 LVS群集
NAT模式（网络地址映射）IP TUN模式（IP Tunneling IP隧道）DR模式（Direct Routing 直接路由）不同的转发模式决定了不同的的网络结构。
2022-10-19 18:00:55
1940
原创 配置LNMP，并部署php应用。
LNMP通常指的是一组自由运行网站的一套系统的网站服务器架构组成，它集合了linux，nginx，mysql，php，全部都是开源免费的产品组成的。其中也可以有很多替代品，比如LNMP以前是没有的，以前是LAMP，A就是Apache，LAMP现在和LNMP都同样盛行。下面是LNMP的替代简介L：Linux是计算机操作系统的一种，是目前最流行的免费操作系统。代表版本有debian、centos、ubuntu等。N:Nginx是一个高性能的HTTP和反向代理服务器。
2022-10-16 17:54:16
1919
原创 教你centos7.9安装tomcat8，配置服务启动脚本，部署jpress应用
与web1.0网站单项信息发布的模式不同，web2.0网站的内容通常是用户发布的，使得用户既是网站内容的浏览者也是网站内容的制造者，这也就意味着web2.0网站为用户提供了更多参与的机会，例如博客网站和wiki就是典型的用户创造内容的指导思想，而tag技术（用户设置标签）将传统网站中的信息分类工作直接交给用户来完成。动态网页可以根据不同的用户请求，时间或者环境的需求动态的生成不同的网页内容，并且动态网页一般以数据库技术为基础，可以大大降低网站维护的工作量。简单说，GET是只读，POST是写。
2022-10-12 20:35:56
1395
原创 docker常用命令
Docker利用容器(Container)独立运行的一个或一组应用，应用程序或服务运行在容器里面，容器就类似于一个虚拟化的运行环境，容器是用镜像创建的运行实例。就像是Java中的类和实例对象一样，镜像是静态的定义，容器是镜像运行时的实体。所以，最佳的解决方案是,将你要运行的程序以前台进程的形式运行，常见就是命令行模式，表示我还有交互操作，别中断。在大部分场景下，我们希望docker的服务是在后台运行的，我们可以通过-d指定容器的后台运行模式。attach直接进入容器启动命令的终端，不会启动新的进程。
2022-09-26 15:25:31
401
原创 还不会安装dockers嘛？亲手教会你在Red Hat 8.5安装docker以及万能的hello world
登录账号，进入控制台，找到弹性计算下的容器镜像服务，镜像加速器下有个地址。前面讲到docker的安装其中测试也是使用的hello world。在安装docker之前可以查看一下自己虚拟机是什么版本的。官网上面说，安装docker之前设置docker存储库。选择版本，参照下面的操作文档操作。学什么都是从hello world开始的。这是第二次执行hello world的截图。看的到我的是Red Hat8.5版本的。可能需要等待一会，安装完成。这是第一次测试时的截图。可以参考官网进行安装。
2022-09-24 11:35:26
1296
1
原创 Redis主从复制配置
在rediscluster目录下分别创建三个文件： redis-6379.conf、redis-6380.conf 和 redis6381.conf。当一个 master 宕机后，后面的 slave 可以立刻升为 master，其后面的 slave 不用做任何修。另外，Master 和 Slave 的数据不是一定要即时同步的，但是在一段时间后 Master 和 Slave。为了演示方便，把 redis.conf 中的 appendonly no，即关闭 AOF。的数据是趋于同步的，这就是最终一致性。
2022-09-19 13:55:22
305
原创 mysql备份与还原和视图索引存储过程练习
2、创建一个存储过程avg_sai，有3个参数，分别是deptno，job，接收平均工资， 功能查询emp表dept为30，job为销售员的平均工资。1、创建一个可以统计表格内记录条数的存储函数 ，函数名为count_sch()2.为student表和score表增加记录。数据库备份，数据库为school，素材如下。1.创建student和score表。9. 备份服务器上所有数据库。
2022-09-12 15:38:31
577
原创 MySQL主从复制
通过将MySQL的某一台主机（master）的数据复制到其他主机（slaves）上，并重新执行一遍来执行 复制过程中一台服务器充当主服务器，而其他一个或多个其他服务器充当从服务器。在主服务器上执行SQL语句，在从服务器上执行同样的语句。找到原因：从5.6开始复制引入了uuid的概念，各个复制结构中的server_uuid得保证不一样。默认采用基于语句的复制，一旦发现基于语句的无法精确复制时，就会采用基于行的复制。是否和日志类型，数据过大有关从库性能，有没开启binlog 从库查询是否优化。
2022-09-12 09:20:16
323
原创 mysql体系结构及四种部署方式
它根据MySQL AB公司提供的文件访问层的一个抽象接口来定制一种文件访问机制,这种访问机制就叫存储引擎。预先在缓冲池中放入一定数量的连接,当需要建立数据库连接时,只需从“缓冲池”中取出一个，使用完毕之后再放回去。管理用户的连接，线程处理等需要缓存的需求。从备份和恢复的安全性、复制、集群、管理、配置、迁移和元数据等方面管理数据库。进行DML、DDL,存储过程、视图、触发器等操作和管理;为解决资源的频繁分配-释放所造成的问题，为数据库连接建立一个“缓冲池”。比如表缓存，记录缓存，key缓存,权限缓存等。
2022-09-11 18:36:30
1768
原创 sql单表和多表练习题
从student表查询所有学生的学号（id）、姓名（name）和院系（department）的信息。6、创建一个只有职工号、姓名和参加工作的新表，名为工作日期表。2、查询所有职工所属部门的部门号，不显示重复的部门号。8、列出1996年以前出生的职工的姓名、参加工作日期。11、列出所有部门号为102的职工号、姓名、党员否。查询都是湖南的学生的姓名、年龄、院系和考试科目及成绩。7、列出所有姓刘的职工的职工号、姓名和出生日期。13、显示工资最高的前3名职工的职工号和姓名。
2022-09-08 21:07:39
427
原创 SHELL的案例
2.有文件chengji.txt内容如下’’张三 40李四 50王五 60使用Linux命令计算第二列的和并输出。3.Shell脚本里如何检查一个文件是否存在？4.用shell写一个脚本，对文本中无序的一列数字排序5.请用shell脚本写出查找当前文件夹（/home）下所有的文本文件内容中包含有字符”shen”的文件名称6.一个文本文件info.txt的内容如下：aa,201zz,502bb,1ee,42每行都是按照逗号分隔，其中第二列都是数字，请对该文件按照第二列数字从大到
2022-09-04 19:10:16
261
原创 一篇完整教会shell三剑客----awk
awk是Linux以及UNIX环境中现有的功能最强大的数据处理工具。简单地讲，awk是一种处理文本数据的编程语言。awk的设计使得它非常适合于处理由行和列组成的文本数据。而在Linux或者UNIX环境中，这种类型的数据是非常普遍的。除此之外，awk 还是一种编程语言环境，它提供了正则表达式的匹配，流程控制，运算符，表达式，变量以及函数等一系列的程序设计语言所具备的特性。它从C语言中获取了一些优秀的思想。awk程序可以读取文本文件，对数据进行排序，对其中的数值执行计算以及生成报表等。
2022-09-02 14:50:33
1690
原创 shell编程之sed
sed是一种流编辑器，它是文本处理中非常有用的工具，能够完美的配合正则表达式使用，处理时，把当前处理的行存储在临时缓冲区中，称为模式空间，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。-n，–quiet，–silent：不输出模式空间中的内容，使用安静模式，在一般sed的用法中，所有来自STDIN的数据一般都会被列出到屏幕上，但如果加上-n参数后，则只有经过sed特殊处理的那一行才会被列出来；（1）sed命令是将一系列的编辑命令应用于一批文本的理想工具。-r：使用扩展正则表达式；
2022-09-01 18:46:31
1171
原创 正则表达式
正则表达式是通过一些特殊字符的排列，用以查找、替换、删除一行或多行文字字符串，简单的说，正则表达式就是用在字符串的处理上面的一项表示式。由于正则表达式语法简练，功能强大，得到了许多程序设计语言的支持，包括Java、C++、Perl以及Shell等。...
2022-09-01 16:51:42
1361
原创 一篇文章教会shell函数
通俗地讲，所谓函数就是将一组功能相对独立的代码集中起来，形成一个代码块，这个代码可以完成某个具体的功能。从上面的定义可以看出，Shell中的函数的概念与其他语言的函数的概念并没有太大的区别。从本质上讲，函数是一个函数名到某个代码块的映射。也就是说，用户在定义了函数之后，就可以通过函数名来调用其所对应的一组代码。使用shell函数优势1、把相同的程序段定义为函数，可以减少整个程序段代码量，提升开发效率。2、增加程序段可读性、易读性，提升管理效率。...
2022-08-27 11:42:58
530
原创 shell流程控制之循环----步进循环语句for
do和done之间的所有的语句称为循环体，即循环结构中重复执行的语句。在带列表的for语句执行时，Shell会将in关键字后面的list列表的第1个元素的值赋给变量variable，然后执行循环体；当list列表中的所有的元素都被访问后，for循环结构终止，程序将继续执行done语句后面的其他的语句。按照循环条件的不同，for循环语句可以分为带列表的for循环、不带列表的for循环以及类C风格的for循环。在某些特殊情况下，for循环的条件列表可以完全省略，称为不带列表的for循环语句。
2022-08-21 14:59:28
577
原创 shell流层控制之条件判断和循环
在上面的语法中，当整个if elif语句结构中的第1个条件表达式为真，则执行第1个then子句中的语句statement1；如果所有的条件表达式的值都为假，则执行最后的else子句中的语句。case语句会将该变量的值与每个值相比较，如果与某个值相等，则执行该value所对应的一组语句。在上面的语法中，variable称为循环变量，list是一个列表，可以是一系列的数字或者字符串，元素之间。在某些特殊情况下，for循环的条件列表可以完全省略，称为不带列表的for循环语句。按照循环条件的不同，for循环语。..
2022-08-18 20:43:35
376
原创 一篇文章让你搞懂shell变量的运算和条件测试
在shell程序中，用户可以使用测试语句来测试指定的条件表达式的条件的真或假。反之，如果指定的条件为假，则条件测试语句的返回值为非0值。负数的补码的补码即为它的原码 或 补码减1为反码，再符号位不变其他位按位取反即得原码。3.${}中的使用，并举例包含(#, ##,%,%%,:, /, //),并举例使用。实验：计算用户输入的任意两个整数的和、差、乘积、商、余数（采用多种运算操作符）。2、负数的反码等于它的原码符号位不变，其它位按位取反；1、正数的原码 = 反码 = 补码；负数的补码等于它的反码加1；...
2022-08-17 10:28:20
443
原创 HCIP--VLAN实验
PC1 所在接口为access;PC3所在接口为access;PC4可以访问PC5，不能访问PC6。PC4可以访问PC5，不能访问PC6。PC1可以访问PC2/4/5/6。PC2可以访问PC4/5/6。
2022-08-07 17:03:02
417
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人