- 博客(418)
- 资源 (5)
- 收藏
- 关注
原创 【服务器】RAID0、RAID1、RAID5、RAID6、RAID10异同与应用
磁盘阵列(Redundant Arrays of Independent Disks,RAID),有“数块独立磁盘构成具有冗余能力的阵列”之意。磁盘阵列是由很多块独立的磁盘,组合成一个容量巨大的磁盘组,利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术,将数据切割成许多区段,分别存放在各个硬盘上。磁盘阵列还能利用同位检查(Parity Check)的观念,当数组中任意一个硬盘发生故障时,仍可读出数据。在数据重构时,可将数据经计算后重新置入新硬盘中。
2025-03-18 08:58:12
1642
52
原创 【Ambari】Ranger KMS
它允许用户创建、列出和管理加密区域,以及处理与加密相关的其他任务。创建名为“winner_kms_key”的kms 策略,并选择用户为 "winner_spark"如下我们用hdfs直接查看文件未授权,切换到 winner_spark用户可正常查看加密分区数据。Encryption中选择“winner_kms”服务,选择 “Add New Key”“winner_kms”策略中配置winner_spark用户操作HDFS的权限。"winner_kms_key"策略添加完成。选择 Ranger KMS安装。
2025-02-25 09:33:16
702
52
原创 【HBase】HBaseJMX 接口监控信息实现钉钉告警
JMX (Java管理扩展)提供了内置的工具,使您能够监视和管理Java VM。要启用远程系统的监视和管理,需要在启动Java VM时设置系统属性com.sun.management.jmxremote.port(希望通过该端口号启用JMX RMI连接)。} ]如上监控主要是HBase 内某个RegionServer 详细信息。具体有gc, scan,flush ,block,compaction 等细粒度的监控。
2025-02-18 11:38:24
1293
55
原创 【Hadoop】大数据权限管理工具Ranger2.1.0编译
一、下载 ranger源码并编译ranger官网由于Ranger不提供二进制安装包,故需要maven编译。安装maven查看版本信息修改maven源为阿里源或网易源下载 ranger源码开始编译二、报错信息。
2025-02-10 10:12:06
1527
50
原创 【Linux】华为服务器使用U盘安装统信操作系统
华为服务器智能管理系统(Huawei Intelligent Baseboard Management Controller,以下简称iBMC)是面向服务器全生命周期的服务器嵌入式管理系统。提供硬件状态监控、部署、节能、安全等系列管理工具,标准化接口构建服务器管理更加完善的生态系统。iBMC基于华为自研的管理芯片Hi1710/Hi1711,采用多项创新技术,全面实现服务器的精细化管理,具有高可靠、高能效、高可用、高安全、高开放的优势。
2025-01-21 15:37:13
3106
50
原创 【Linux】统信UOS服务器安装MySQL8.0(RPM)
统信1060a 操作系统对应 redhat8 ,我们下载对应MySQL RPM包。适配hive需要增加jar包,修改jdbc 连接URL。点击MySQL Community Server。可能报错如下,加上面的参数可避免。选择对应系统的MySQL版本号。
2025-01-13 09:30:05
2295
49
原创 【Hadoop】Hadoop安全之Knox网关
Apache Knox网关是一个用于与Apache Hadoop部署的REST api和ui交互的应用程序网关。Knox网关为所有与Apache Hadoop集群的REST和HTTP交互提供了一个单一的访问点。Apache Knox Gateway是一款用于保护Hadoop生态体系安全的代理网关系统,为Hadoop集群提供唯一的代理入口。Knox以类似反向代理的形式挡在集群前面,隐匿部署细节(例如端口号和机器名等),接管所有用户的HTTP请求(例如WEB UI 控制台访问和RESTful 服务调用),以
2024-12-30 09:17:19
11224
63
原创 【Ambari】使用 Knox 进行 LDAP 身份认证
Apache Knox网关是一个用于与Apache Hadoop部署的REST api和ui交互的应用程序网关。Knox网关为所有与Apache Hadoop集群的REST和HTTP交互提供了一个单一的访问点。Apache Knox Gateway是一款用于保护Hadoop生态体系安全的代理网关系统,为Hadoop集群提供唯一的代理入口。Knox以类似反向代理的形式挡在集群前面,隐匿部署细节(例如端口号和机器名等),接管所有用户的HTTP请求(例如WEB UI 控制台访问和RESTful 服务调用)
2024-12-25 08:49:19
1550
51
原创 【LDAP】LDAP概念和原理介绍
LDAP(Lightweight Directory Access Portocol),它是基于X.500标准的轻量级目录访问协议。目录是一个为查询、浏览和搜索而优化的数据库,它呈树状结构组织数据,类似文件目录一样。目录数据库和关系数据库不同,它有优异的读性能,但写性能差,并且没有事务处理、回滚等复杂功能,不适于存储修改频繁的数据。所以目录天生是用来查询的,就好象它的名字一样。
2024-12-16 09:27:26
3130
56
原创 【MySQL】RedHat8安装mysql9.1
安装包:mysql-enterprise-9.1.0_el8_x86_64_bundle.tar。日志中获取mysql初始密码。下载对应版本的jdbc。
2024-11-18 09:29:09
5036
77
原创 【DataSophon】集成Dinky1.0.1
Dinky 是一个开箱即用、易扩展,以 Apache Flink 为基础,连接 OLAP 和数据湖等众多框架的一站式实时计算平台,致力于流批一体和湖仓一体的探索与实践。致力于简化Flink任务开发,提升Flink任务运维能力,降低Flink入门成本,提供一站式的Flink任务开发、运维、监控、报警、调度、数据管理等功能。实时即未来,Dinky 为 Apache Flink 而生,让 Flink SQL 纵享丝滑。最后,Dinky 的发展皆归功于 Apache Flink 等其他优秀的开源项目的指导与成果。
2024-11-04 08:50:21
1225
72
原创 【DBeaver】连接带kerberos的hive[Apache|HDP]
配置C:\ProgramData\MIT\Kerberos5\krb5.ini文件,将KDC Server服务器上/etc/krb5.conf文件中的部分内容,拷贝到krb5.ini中,如果直接将krb5.conf文件更名为krb5.ini并替换krb5.ini,会出现文件格式问题导致MIT Kerberos客户端无法正常启动。因为DBeaver通过JDBC的方式访问Hive,底层也是基于Java环境,所以这里需要在DBeaver的配置中增加JVM的参数,主要添加关于Kerberos相关的配置。
2024-10-31 08:53:48
10370
66
原创 【Linux】 su 和 sudo 的区别剖析
su 命令介绍及主要用法2.1 参数-2.2 切换到指定用户2.3 参数-c三、sudo 命令介绍及主要用法3.1 主要用法3.2 sudo 工作原理四、二者的差异对比首先需要解释下 代表什么意思。su 表示 ,它提供的功能就是切换用户。官方释义: 的一般使用方法是:或者两种方法只差了一个字符 ,会有比较大的差异:光解释会比较抽象,我们看一个例子就比较容易理解了。我们从kangll 用户以 的方式切换到 root 用户,比较两种用户状态下环境变量中 的值( 命令不跟任何
2024-10-24 08:53:44
3619
65
原创 【DataSophon】DataSophon1.2.1 整合Zeppelin并配置Hive|Trino|Spark解释器
Zeppelin是Apache基金会下的一个开源框架,它提供了一个数据可视化的框架,是一个基于web的notebook。后台支持接入多种数据引擎,比如jdbc、spark、hive等。同时也支持多种语言进行交互式的数据分析,比如Scala、SQL、Python等等。本文从安装和使用两部分来介绍Zeppelin。
2024-10-09 08:44:20
6700
75
原创 【HDP】zookeeper未授权漏洞修复
ruok命令的输出仅仅只能表明当前服务器是否在运行,准确的说是2181端口打开着,同时四字命令执行流程正常,但不能代表ZooKeeper服务器是否运行正常。wchp命令和wchc命令非常类似,也是用于输出当前服务器上管理的Watcher的详细信息,不同点在于wchp命令的输出信息以节点路径为单位进行归组。srvr命令和stat命令的功能一致,唯一的区别的是srvr不会将客户端的连接情况输出,仅仅输出服务器自身的信息。srst是一个功能性的命令,用于重置所有服务器的统计信息。
2024-09-27 09:06:04
6017
64
原创 【Prometheus】jmx_prometheus_javaagent监控java应用
promethues采集数据的方法很多,常用的是通过各种exporter去主机采集,然后有些程序是没有相关的exporter,所以有些时候会通过脚本采集服务的数据,还有一些程序的metrics自身也没有暴露,通过 脚本采集的方法也不常用,工作中java程序又比较常见,所以有人开发了jmx_prometheus_javaagent.jar专门用来采集java程序metrics的。
2024-09-19 08:50:50
5836
74
原创 【DataSophon】Yarn配置历史服务器JobHistory和Spark集成historyServer
HistoryServer服务可以让用户通过Spark UI界面,查看历史应用(已经执行完的应用)的执行细节,比如job信息、stage信息、task信息等,该功能是基于spark eventlogs日志文件的,所以必须打开eventlogs日志开关。方便在xxxx:8088查看历史任务运行日志信息。
2024-09-13 08:55:15
6575
70
原创 【虚拟化】KVM-virsh离线工具进行客户机虚拟机磁盘访问
Red Hat Enterprise Linux 7 提供多个 libguestfs 工具,可访问、编辑和创建客户机虚拟机磁盘或其他磁盘镜像。这些工具有多种用途,包括:查看或下载位于客户机虚拟机磁盘中的文件。在客户机虚拟机磁盘上编辑或上传文件。
2024-09-09 10:50:53
1906
82
原创 【虚拟化】KVM存储卷和存储池
在KVM(Kernel-based Virtual Machine)虚拟化平台中,存储池(Storage Pool)是用来管理和存储虚拟机镜像及其相关数据的概念。存储池是一个由libvirt管理的文件、目录或存储设备,提供给虚拟机使用。存储池被分为存储卷,这些存储卷保存虚拟镜像或连接到虚拟机作为附加存储。libvirt通过存储池的形式对存储进行统一管理、简化操作。基于目录创建存储池(dir: Filesystem Directory),在本地创建一个测试目录,dir为存储池格式。查看池kvm池的信息。
2024-09-05 08:54:42
1853
71
原创 【虚拟化】KVM常用命令操作(virsh磁盘管理)
libvirt是用来管理虚拟机或虚拟化功能的软件集合,主要包括:libvirt API,libvirtd进程和virsh工具集三部分。最初的目的是为不同的hypervisor提供统一的管理接口。
2024-09-02 08:53:38
2279
71
原创 【虚拟化】KVM常用命令操作(virsh虚拟机常用操作之开关|连接|自启|克隆|快照)
libvirt是用来管理虚拟机或虚拟化功能的软件集合,主要包括:libvirt API,libvirtd进程和virsh工具集三部分。最初的目的是为不同的hypervisor提供统一的管理接口。(1)远程代理所有remote client发送来的命令,由该进程监测执行;(2)本地环境初始化libvirt服务的启停,用户connection的响应等;(3)根据环境注册各种Driver(qemu, xen, storage…)的实现查看libvirtd服务状态。
2024-08-27 09:22:55
2646
75
原创 【虚拟化】KVM命令行安装linux虚拟机
QEMU是个独立的虚拟化解决方案,从这个角度它并不依赖KVM。而KVM是另一套虚拟化解决方案,不过因为这个方案实际上只实现了内核中对处理器(Intel VT, AMD SVM)虚拟化特性的支持,换言之它缺乏设备虚拟化以及相应的用户空间管理虚拟机的工具,所以它借用了QEMU的代码并加以精简,连同KVM一起构成了另一个独立的虚拟化解决方案:KVM+QEMU。KVM可以运行多个其本身运行未改动的镜像的虚拟机,例如Windows,Mac OS X ,每个虚拟机都有各自的虚拟硬件,比如网卡、硬盘核图形适配器等。
2024-08-19 08:52:41
2016
76
原创 【虚拟化】KVM安装和WebVirtMgr创建虚拟机
KVM 的工作原理是使用 Linux 内核的虚拟化模块,将物理服务器划分为多个虚拟机。KVM 在 Linux 内核之上构建一个虚拟化层,该虚拟化层允许多个虚拟机共享物理服务器上的计算资源(如 CPU、内存和 0 设备)。在此虚拟化层中,每个虚拟机都被视为单独的计算机,每个虚拟机可以运行不同的操作系统和应用程序。KVM使用硬件虚拟化技术,即通过 intel VT-x 和 AMD-V 等 CPU 虚拟化指集的支持,将虚拟化性能提升到接近原生性能。此外,KVM 还使用 QEMU 作为其虚拟机监控程序,
2024-08-13 09:25:25
4109
71
原创 【虚拟化】KVM使用virt-manager部署及管理虚拟机
KVM 是 Kernel-based Virtual Machine 的缩写,是一种用于虚拟化的开源硬件虚拟化技术。它使用 Linux 内核的虚拟化模块,将物理服务器划分为多个虚拟机。KVM 允许虚拟机直接访问物理硬件资源,从而提供出色的性能和稳定性,同时还支持许多常见的操作系统和应用程序。 KVM 使用了 QEMU (Quick Emulator) 作为其默认的虚拟机监控程序。除此之外,KVM 还支持多种嵌入式和云计算场景,并且得到了广泛的应用。
2024-08-05 08:54:23
5276
88
原创 【虚拟化】KVM概念和架构
vm就是一个普通的linux进程,由linux内核调度程序进行调度,vm因此可以使用linux内核已有的功能。vm的执行本质就是vm中cpu的执行,因此vm的每个cpu就是普通的linux进程。
2024-07-29 08:48:58
4807
83
原创 【虚拟化】虚拟化简介 | Hypervisor介绍
虚拟化是一种能够更有效地利用物理计算机硬件的过程,是云计算的基础。虚拟化技术使用软件,在计算机硬件上创建一个抽象层,能够将单台计算机的硬件元素(处理器、内存、存储等)分成多个虚拟计算机(通常称为虚拟机 (VM))。 每个虚拟机都会运行自己的操作系统 (OS),其行为就像一台独立的计算机,即使它只在一部分实际底层计算机硬件上运行。
2024-07-26 09:22:39
7411
70
原创 【Linux】Wmware ESxi 无法创建 VMFS 数据存储 datastore2 - 无法更新 /vmfs/devices/disks/naa.5000c500c05b3276 的磁盘分区。
提示错误:主 GPT 表指出备份 GPT 位于磁盘末尾之外。如果磁盘缩小或分区表损坏,则可能会发生这种情况。通过在最后写入备份表来修复。ESxi 中选择 打开主机“启用 SSH”然后我们可以直接 远程到主机。创建新的VMFS数据存储。然后重新创建新盘完成。
2024-07-22 09:30:15
4343
64
原创 【堡垒机】jumpserver安装和基本使用
JumpServer 是全球首款完全开源的堡垒机, 使用 GNU GPL v2.0 开源协议, 是符合 4A 的专业运维审计系统。为互联网企业提供了认证,授权,审计,自动化运维等功能。JumpServer 使用 Python / Django 进行开发, 遵循 Web 2.0 规范, 配备了业界领先的 Web Terminal 解决方案, 交互界面美观、用户体验好。JumpServer 采纳分布式架构, 支持多机房跨区域部署, 中心节点提供 API, 各机房部署登录节点, 可横向扩展、无并发访问限制。
2024-07-17 08:59:56
2904
71
原创 【Linux】WMware ESXi 插入新磁盘并扩容
概念在 Linux 中,每一个硬件设备都映射到一个系统的文件,对于硬盘、光驱等 IDE 或 SCSI 设备也不例外。Linux把各种 IDE 设备分配了一个由 hd 前缀组成的文件;而对于各种 SCSI 设备,则分配了一个由 sd 前缀组成的文件。磁盘分区是将物理磁盘划分为独立的逻辑区域,每个区域可以作为一个独立的文件系统挂载到系统中。通过磁盘分区,我们可以更好地组织和管理磁盘空间。逻辑卷管理(LVM)在虚拟机挂载新的磁盘选择添加新盘位置浏览选择[datastore2]磁盘置备中,选择硬盘的格式。
2024-07-11 09:16:28
5151
69
原创 【DataSophon】DataSophon1.2.1 ranger usersync整合
一、简介一、简介如下是DDP1.2.1默认有的rangerAdmin, 我们需要将rangerusersync整合进来 ,实现将Linux机器上的用户和组信息同步到RangerAdmin的数据库中进行管理。
2024-07-08 09:20:11
2727
69
原创 【DataSophon】DataSophon1.2.1服务组件开启 kerberos
DataSophon也是个类似的管理平台,只不过与智子不同的是,智子的目的是锁死人类的基础科学阻碍人类技术爆炸,而DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的,帮助您快速构建起稳定,高效的大数据集群服务。
2024-07-04 09:26:03
11101
73
原创 【linux】虚拟机安装 BCLinux-R8-U4-Server-x86_64
移动云Linux系统订阅服务 CLS (Cloud Linux Service)为使用BC-Linux操作系统的用户提供标准维保服务以及高级技术支持服务,购买Linux系统订阅服务的用户可在第一时间获得BC-Linux操作系统的补丁、漏洞修复、更新、升级的推送,为用户提供商业化Linux操作系统和相关服务,让您的系统安全、可靠的运行。
2024-07-02 09:15:46
2631
51
原创 【Linux】虚拟机安装 openEuler 24.03 X86_64
1.1 openEuler 覆盖全场景的创新平台openEuler 已支持 x86、Arm、SW64、RISC-V、LoongArch 多处理器架构,逐步扩展 PowerPC 等更多芯片架构支持,持续完 善多样性算力生态体验。openEuler 社区面向场景化的 SIG 不断组建,推动 openEuler 应用边界从最初的服务器场景,逐步拓展到云计算、边缘计算、 嵌入式等更多场景。
2024-07-01 09:39:39
6351
58
原创 【Linux】Wmware Esxi磁盘扩容
在 Linux 中,每一个硬件设备都映射到一个系统的文件,对于硬盘、光驱等 IDE 或 SCSI 设备也不例外。它允许我们在不改变物理磁盘配置的情况下,动态调整逻辑卷的大小。通过使用LVM,我们可以更灵活地管理磁盘空间,满足不断增长的数据需求。ps:使用fdisk工具只是将分区信息写到磁盘,如果需要mkfs磁盘分区则需要重启系统,而使用partprobe则可以使kernel重新读取分区信息,从而避免重启系统.磁盘分区是将物理磁盘划分为独立的逻辑区域,每个区域可以作为一个独立的文件系统挂载到系统中。
2024-06-26 11:07:02
4874
79
原创 【Linux】ss 命令使用详解
Linux下的ss命令是Socket Statistics的缩写,也被称为IPC(Inter-Process Communication)套接字统计。这是一个强大的网络管理命令,主要用于获取系统中socket的统计信息,可以帮助系统管理员诊断和排查网络问题,包括检查当前网络连接及端口状态、搜索网络问题、统计网络情况、过滤网络数据等等,从而解决网络问题,节省管理工作量,保证网络安全。首先ss命令能显示更多更详细的TCP和连接状态的信息。其次,它在处理大量socket连接时,比netstat更快更高效。
2024-06-21 10:41:16
11486
78
原创 【Linux】使用 iptables 验证访问HDFS 所使用到的端口
当一个数据包到达一个链时,iptables就会从链中第一条规则开始检查,看该数据包是否满足规则所定义的条件。否则iptables将继续检查下一条规则,如果该数据包不符合链中任一条规则,iptables就会根据该链预先定 义的默认策略来处理数据包。,iptables内置了4个表,即filter表、nat表、mangle表和raw表,分别用于实现包过滤,网络地址转换、包重构(修改)和数据跟踪处理。背景: 在客户有外网的服务器需要访问内网大数据集群HDFS,使用iptable模拟测试需要开放的端口。
2024-06-17 09:28:12
2976
79
原创 【中间件】Pulsar集群安装
一、Pulsar介绍一、Pulsar介绍1.1 Pulsar基本介绍pulsar是一个云原生企业级的发布订阅(pub-sub)消息系统,最初由Yahoo开发,并于2016年底开源,现在是Apache软件基金会顶级开源项目。Pulsar在Yahoo的生产环境运行了三年多,助力Yahoo的主要应用,如Yahoo Finance、Yahoo Sports、Flickr、Gemini广告平台和Yahoo分布式键值存储系统Sherpa。
2024-06-13 08:42:49
3355
78
原创 【Linux】ip命令详解
IP命令是一个非常强大的命令行工具,用于管理与配置网络接口和路由表。vrf }对象释义link网络设备address设备的协议地址(IP或IPv6)addrlabel用于协议地址选择的标签配置route路由表项rule路由策略数据库中的规则neighbour管理ARP或NDISC缓存项ntable管理邻居cache的操作tunnelIP隧道tuntap管理TUN/TAP设备maddress多播地址mroute组播路由缓存项mrule。
2024-06-07 08:49:39
25241
111
原创 【Linux】ifconfig命令详解
ifconfig是Linux中常用的网络配置工具之一,它的主要功能是用于配置和管理网络接口,包括设置IP地址、子网掩码、网络广播地址等。随着计算机网络的发展,ifconfig逐渐成为Linux系统中网络管理的重要工具。然而,在最新版本的Linux系统中,ifconfg已被ip addr和ip link 慢慢取代。。尽管如此,ifconfig仍然是许多用户和管理员常用的工具,具有广泛的应用场景。
2024-06-04 08:44:59
4365
98
python基础语法入门
2024-05-01
HBase数据库性能调优
2024-05-01
2024 Redis面试宝典
2024-05-01
全国计算机二级十套历年真题
2024-04-30
Java最新大厂面试宝典
2023-10-11
程序猿面试简历模板精选
2023-10-10
dbeaver-ce-6.3.1-win32.win32.x86_64.zip
2020-02-14
SublimeText3_Build3083_x64_XiaZaiBa.zip
2019-08-15
eclipse-jee-2018-09-win32-x86-64.zip
2019-08-12
npp.6.9.2.Installer.zip
2019-08-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人