- 博客(62)
- 收藏
- 关注
RSS订阅原创 hadoop3.x版本集群部署
修改主机名关闭防火墙，避免后面因防火墙问题导致端口范围不通。创建用户，赋予sudo权限，后期使用该账号进行安装创建安装目录，并修改目前的所述祖，后面jdk和hadoop都安装在此目录下。
2025-03-21 10:22:16
878
原创 CDH-大数据集群部署
Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。
2025-03-18 15:04:12
718
原创 golang学习笔记-变量与常量
在编程语言中标识符就是程序员定义的具有特殊意义的词,比如变量名,常量名,函数名等.go语言中标识符有字母数字和_(下划线)组成,并且只能以字母和_开头。iota在const关键字出现时江北重置为0.const中每新增一行常量声明将使iota计数一次。相对于变量,常量是恒定不变的值,多用于定义程序运行期间不会改变的 那些值。iota是go语言的常量计数器,只能在常量的表达式中使用。变量必须经过声明后才能使用,同一个作用域不支持重复声明。关键字是指变成语言中预先定义好的特殊含义的标识符。
2024-12-23 16:39:47
431
原创 rocky linux修改静态ip
修改method=auto ,改成manual。查看系统 一般来说9以上的话就可以使用这个方法。下面分别是ip地址和网关。
2024-12-16 22:39:56
533
原创 同一网段下,解决相互ping不通的原因
今天在配置开发环境的jenkins流水线时,发现gitlab代码拉取失败,这里去查看了一下报错报错信息显示代码拉取超时,无法访问gitlab仓库地址,找不到主机路由,但是我们的jenkins和gitlab还有开发环境服务器都是在同一网段下的,所以这里应该给是不可能网络不互通的,这里去gitlab服务器 ping内部的开发服务器,这里网络是正常的,然后再切换到开发服务器ping代码仓库服务器,发现ping不通,这里应该能排除出来 ,问题出现在开发环境的服务器上查看开发环境主机路由ip route。
2024-12-05 09:12:30
380
原创 常见的负载均衡
Nginx 通过反向代理的方式实现负载均衡。反向代理是指客户端不直接访问后端服务器，而是通过代理服务器来转发请求。Nginx 作为代理服务器，根据配置文件中定义的规则，将客户端的请求分发到不同的后端服务器上，再将处理结果返回给客户端。Nginx 的核心在于其高效的请求处理能力和灵活的配置方式。它采用了多进程+异步非阻塞IO事件模型，能够同时处理成千上万个请求。此外，Nginx 还支持多种负载均衡策略，以满足不同场景下的需求。ha-proxy是一款高性能的负载均衡软件。
2024-10-08 10:43:10
1593
原创 Ansible使用kubeadm方式一键安装k8s
TASK [温馨提示1] *************************************************************************************************************************************************************************************************
2024-09-13 08:47:38
2311
原创 OpenVPN服务和pritunl管理工具的搭建部署
VPN 直译就是虚拟专用通道，是提供给企业之间或者个人与公司之间安全数据传输的隧道，OpenVPN 无疑是Linux 下开源 VPN 的先锋，提供了良好的性能和友好的用户 GUI。OpenVPN 是一个基于 OpenSSL 库的应用层 VPN 实现。和传统 VPN 相比，它的优点是简单易用。OpenVPN 允许参与建立 VPN 的单点使用共享金钥，电子证书，或者用户名/密码来进行身份验证。它大量使用了 OpenSSL 加密库中的 SSLv3 /TLSv1 协议函式库。
2024-09-12 11:34:18
1926
原创 MegaCli RAID管理工具
MegaCli是由LSI原厂提供的LSI，MegaCli是一款管理维护硬件RAID的软件，可以通过它来了解当前raid卡的所有信息，包括 raid卡的型号，raid的阵列类型，raid 上物理磁盘和逻辑盘状态，等等。通常，我们在操作系统下对硬盘当前的状态不太好确定，一般通过登录硬件管理口或机房巡检发现故障。
2024-09-12 09:48:06
1268
原创 Ubuntu安装python虚拟环境及pypi模块仓库搭建
启动PyPI服务器，可以通过浏览器访问 http://localhost:8989/ 以打开PyPI服务器的默认欢迎页。3）查看pip是不是和python相匹配，使用 pip --version查看pip版本，如果没有则安装。1）首先需要在基础目录下把python指派到我们需要的版本上（如果系统中有多个Python版本）。下面是在Ubuntu22.04中安装虚拟环境的方法，其他版本类似。2）安装irtualenvwrapper（可以用sudo）2）指派指定的python版本。
2024-09-10 15:00:30
575
原创 Ubuntu22.04安装nginx
或者，在浏览器中输入你的服务器IP地址，如果看到Nginx的欢迎页面，说明Nginx已经成功安装并运行。curl IP地址 # 能看见返回的前端代码就是正确的。
2024-09-10 13:59:07
614
原创 linux系统之proc文件系统详解及代码实现
因此，当用户试图访问/proc文件系统中的文件时，proc文件系统会借助内核中的信息创建该文件的内容。但是第一反应,我不知道这个文件系统是干嘛用的,总得来说,就是突然发现自己对于linux的内核系统,以及一卸基础知识不是那么的牢固,除了常用的一些知识点和命令,真的很少有仔细的研究过./proc中的文件不是真正的文件，它们充当内核数据结构和进程信息的接口。系统中当前运行的每一个进程都有对应的一个目录在 proc 下，以进程的 PID 号为目录名，它们是读取进程信息的接口。中几乎所有文件的大小都是0字节。
2024-09-10 09:33:01
1035
原创 mysql免密码登录, 及使用-e 参数执行sql脚本
实现了免密码登录之后, 在脚本中就可以直接使用 -e 参数来执行sql脚本了, 而不用像交互式一样登录到mysql之后执行了.然后按提示输入密码, 登录. 如果在脚本中, 我们就不得不把密码写在 –p 参数后面. 这样 很容易暴露密码.幸好mysql提供的有解决方案. 在 “~/.my.cnf” 文件中保存密码就行了.再次使用 mysql 命令的时候,就无需输入用户名和密码了,可以自动登录.到这里, 基本上就可以实现完全的无值守 mysql脚本操作了.如果是交互环境,可能使用这样的命令登录到mysql。
2024-09-09 15:51:08
408
原创 内网穿透frp部署安装
frp 是一款高性能的反向代理应用，专注于内网穿透。它支持多种协议，包括 TCP、UDP、HTTP、HTTPS 等，并且具备 P2P 通信功能。使用 frp，您可以安全、便捷地将内网服务暴露到公网，通过拥有公网 IP 的节点进行中转。
2024-09-04 09:02:09
1255
原创 二进制安装docker
原文链接：https://blog.youkuaiyun.com/qiuchenjun/article/details/128107633。下载地址：https://download.docker.com/linux/static/stable/x86_64/docker 有很多种安装方式：yum 源、rpm 包、便携脚本。参考文件：docker.socket、 containerd.service、 docker.service。这个命令下载一个测试镜像，并在容器中运行它。说明：参数-p保持原来的属性。
2024-08-26 13:54:22
316
原创 MySQL数据库连接超时问题排查报告
该报错在云端所有接口调用中都有出现，出现频率不定，有时频发有时偶发，并且具有两个特点发生超时错误后不进行任何操作，一段时间后会服务自动恢复正常发生超时错误后重启数据库或licloud-api服务，服务立即恢复正常发生超时错误时licloud-api所在主机与MySQL数据库主机之间网络连接正常发生超时错误时可以正常使用Navicat、DataGrip等GUI工具连接至MySQL数据库。
2024-08-20 11:33:47
1777
原创 MySQL频繁超时原因调查
如果你的更新操作涉及到更大的数据量，例如大型 BLOB 数据的插入或更新，你可能需要增加这个参数的设置。就更新大量的数据来说，可以进行两个方面的设置：将系统变量net_read_timeout设置得大一点，再将配置文件中的max_allowed_packet设置大一点。这类连接通常是由应用程序或脚本通过连接池管理的，比如 Web 应用与数据库之间的连接。这类连接通常是用户直接通过命令行或 GUI 工具与数据库交互的连接。的值，使其在 MySQL 重启后仍然生效，需要修改 MySQL 的配置文件（通常是。
2024-07-29 15:56:04
957
原创 MySQL迁移以及灾备方案
选择传统方式还是Docker部署MySQL取决于具体的需求和环境。如果需要最佳性能和精细的资源控制，传统方式可能更合适。如果追求环境一致性、快速部署和易于管理，Docker则是一个很好的选择。在实际应用中，许多组织会根据具体情况结合使用这两种方法。
2024-07-19 13:37:39
1518
原创 Python自动化与系统安全
信息安全是运维的根本，直接关系到企业的安危，稍有不慎会造成灾难性的后果。比如经年发生的多个知名网站会员数据库外泄事件，信息安全体系建设已经被提到了前所未有的高度。如何提升企业的安全防范水准是目前普遍面临的问题，主要有，安全设备防护、提高人员安全意识、实施系统平台安全加固、安全规范融合到ITIL体系、关注安全设备防护、提高人员安全意识、实施系统平台安全加固、安全规范融合到ITIL体系、关注最新安全发展动向，通过上述几个方面可以在很大程度上避免出现安全事故。
2024-07-08 15:09:33
1438
2
原创 python运维开发 业务服务监控详解
业务监控是运维体系中最重要的环节，是保证业务服务质量的关键手段，python在监控方面提供了大量的第三方工具，可以帮助我们快速、有效的开发企业级服务监控平台。
2024-07-05 14:09:10
635
原创 C语言学习笔记--第一个程序
设置3个变量，a和b用来存放两个整数，sum用来存放和数。用赋值运算符“=”把相加的结果传送给sum。#define _CRT_SECURE_NO_WARNINGS //一定要放在第一行。：用一个函数来实现求两个整数中的较大者。在主函数中调用此函数并输出结果。定义 _CRT_SECURE_NO_WARNINGS。从键盘读取数据scanf用法。
2024-07-03 08:47:28
239
原创 python自动化运维--DNS处理模块dnspython
dnspython是Pyhton实现的一个DNS工具包，他几乎支持所有的记录类型，可以用于查询、传输并动态更新ZONE信息，同事支持TSIG（事物签名）验证消息和EDNS0（扩展DNS）。在系统管理方面，我们可以利用其查询功能来实现DNS服务监控以及解析结果的效验，可以代替nslookup及dig等工具，轻松做到与现有平台的整合。
2024-07-02 22:06:27
1184
原创 Python自动化运维 系统基础信息模块
read_count(读io数)、write_count(写io数)、read_bytes(io读字节数)、warite_bytes（IO写字节数）、read_time（磁盘读时间）、write_time(磁盘写时间)total(内存总数)、used(已使用的内存数)、free(空闲的内存数)、buffers(缓冲使用数)、cache(缓存使用数)、swap(交换分区使用数)方法可以非常简单的得到这些信息，同时也可以获取CPU的硬件相关的信息，比如CPU的。系统利用率 - cpu、内存、磁盘、网络等。
2024-06-30 21:07:57
1007
原创 Python笔记 json数据格式的转换
pyecharts模块如果想要做出数据可视化效果图，可以借助pyecharts模块来完成概况：Echarts是个由百度开源的数据可视化，凭借着良好的交互性，精巧的图标设计，得到了众多开发着的认可，而Python是门富有表达力的语言，很适合用于数据处理，当数据分析遇上数据可视化时pyecharts诞生了。
2024-06-27 11:37:09
379
原创 Python笔记 异常、模块与包
制作自定义模块Python中已经帮我们实现了很多的模块，不过有时候我们需要一些个性化的模块，这里就可以通过自定义模块实现，也就是自己制作一个模块案例：新建一个Python文件，命名为my_modulel.py，并定义test函数注意：每个Python文件都可以作为一个模块，自定义模块的名字必须符合规范_all_如果一个模块文件中有_all_变量，当使用from xxx import * 导入时，只能导入这个列表中的元素"""演示自定义模块"""# 导入自定义模块使用test(1,2)
2024-06-25 16:01:16
1036
原创 Python笔记 文件的写，追加，备份操作
for循环内容，判断是否是测试不是测试就write写出，是测试就continue跳过。直接调用write，内容并为真正的写入文件，二十会积攒在程序的内存中，称之为缓冲区。这样做是避免频繁的操作硬盘，导致效率下降（攒一堆，一次性写磁盘）open和w模式打开另一个文件对象，用于文件写出。open和r模式打开一个文件对象，并读取文件。w 模式，文件不存在，会创建新文件。w 模式，文件存在，会清空原有内容。a模式，文件存在，会在原有内容后面继续写入。a模式，文件不存在，会创建新文件。将2个文件对象均close（）
2024-06-25 11:31:55
444
原创 5款好用的python私有化模块仓库
在Python开发中，我们经常依赖于各种第三方库。PyPI（Python Package Index）是官方的包托管平台，但有时我们需要为内部项目创建私有库或者对包发布进行更严格的控制。这时，pypiserver项目应运而生。它是一个轻量级的解决方案，帮助你在本地或私有网络上轻松搭建自己的PyPI服务器pypiserver是一个简洁、易用的命令行工具，用于快速设置一个符合PEP 503标准的PyPI镜像或独立服务器。通过它可以实现对Python包的上传、管理和下载，让你的团队能够安全地共享和分发内部库。
2024-06-25 09:46:44
1665
原创 Python笔记 文件的读取操作
注意：此时的f是open函数的文件对象，对象是python中一种特殊的数据类型，拥有属性和方法，可以使用对象。readlines可以按照行的方式把整个文件中的内容进行一次性读取，并且返回的是一个列表，其中每一行的数据为一个元素。num表示要从文件中读取的数据的长度（单位是字节），如果没有传入num，那么就表示读取文件中所有的数据。再Python，使用open函数，可以打开一个已经存在的文件，或者创建一个新文件，语法如下。name:是要打开的文件名的字符串（可以包含文件所在的具体路径）for循环读取文件行。
2024-06-24 20:00:37
258
原创 jenkins构建完成之后发送邮箱通知
然后点开选取Editable Email Notification,如果没有这个选项的话就去插件商城，搜索email，相关的所有插件全都下载。增加完成之后，点击高级，这个时候弹出来这一栏，这里的三个红框的意思分别是 收件人，标题，内容。然后点击Add trigger添加，这个时候可以看见一个构建成功后通知，当然也有别的选项，根据自己需要去选取，里面的内容都是一样的。然后可以看到成功这一栏，点击下面的新增，里面也都是可以自己选的，这里我是指定构建人。前面创建项目这里我就直接省略了，都是一些常规操作。
2024-06-21 14:33:15
479
原创 解决Ubuntu修改完root密码还是不能登录
ubuntu使用Xftp、Xshell连接时，ssh服务器拒绝访问。一直显示输入密码，这是由于sshd的设置不允许root用户使用密码进行远程登录。#PermitRootLogin Prohibit-password #这句话本来就是注释了的，不用管。解决办法：修改sshd_config配置文件。如果不存在，检查是否安装了openssh。安装完成通过以下命令查看SSH是否启动。进入编辑sshd_config配置文件。
2024-06-21 13:46:14
1125
原创 【Docker】容器与系统时间同步宿主机时间
容器采用了UTC时区，UTC应该是指（Coordinated Universal Time，标准时间）宿主机采用了CST时区，CST应该是指（China Shanghai Time，东八区时间）发现两者之间的时间相差了八个小时！1）共享主机的localtime。2)复制主机的localtime。统一两者的时区有下面几种方法。
2024-06-20 13:57:21
365
原创 Python_编程基础
Python编程基础0、简单介绍解释型语言：一边编译一边运行，不需要进行编译，运行效率比较低 解释器 JavaScript-浏览器 python.exe php.exe编译型语言：运行前需要进行编译，运行效率比较高 C .c->.exe组合：anaconda+pycharm、python+pycharm/sublime/geany/vscode1、注释 单行注释 ## 多行注释 """ """ ''' ''' 2、pycharm快捷键
2024-06-19 11:53:08
516
原创 Docker私有化仓库Harbor安装流程
Harbor 是 VMware 公司开源的企业级 Docker Registry 项目，其目标是帮助用户迅速搭建一个企业级的 Docker Registry 服务Harbor以 Docker 公司开源的 Registry 为基础，提供了图形管理 UI 、基于角色的访问控制(Role Based AccessControl) 、AD/LDAP 集成、以及审计日志(Auditlogging) 等企业用户需求的功能，同时还原生支持中文。
2024-06-19 09:39:04
1438
原创 使用docker+jenkins构建前端项目发布到nginx
为了方便公司开发优化代码，不需要反复地将项目包发送给运维部署，我们对开发环境的前端项目利用jenkinsCI/CD进行自动化部署需要两台服务器 一台jenkins 一台发布服务器,这里发布服务器 我直接使用开发环境的服务器 将admin界面与云计算展示界面部署上去Jenkins服务器192.168.5.123docker+nginx192.168.5.177然后开始准备应用服务的部署首先在开发环境中利用docker部署nginx ，将nginx的发布页面路径映射到宿主机上，为了方便公司服务统一管理以及后期留
2024-05-22 11:24:38
1098
原创 开发环境部署sonarqube集成jenkins审查python代码（亲测无坑）
【代码】开发环境部署sonarqube集成jenkins审查python代码（亲测无坑）
2024-05-20 09:56:10
1351
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人