- 博客(54)
- 收藏
- 关注
原创 kettle运行报错:java.sql.SQLNonTransientConnectionException: Server has closed the connection.
Kettle在处理大数据量时,如果没有适当的配置,可能会逐行处理,导致整体处理时间过长,进而触发服务器的超时断开。另外,可能没有正确配置连接参数,比如没有启用流式结果集,导致一次性加载所有数据到内存,客户端处理慢。原理:避免一次性加载全部数据到内存,减少超时风险。注:根据实际数据量调整数值(单位:秒)。打开Kettle数据库连接配置。
2025-03-20 09:52:24
186
原创 PostgreSQL数据库访问限制详解
PostgreSQL通过pg_hba.conf限制用户访问指定数据库,pg_hba.conf基于客户端的IP地址、子网掩码、数据库名称、用户名和认证方法等因素的访问控制策略。
2024-12-19 17:26:14
710
原创 使用docker-compese部署SFTPGo详解
SFTPGo 是一款功能强大的文件传输服务器软件。它支持多种协议(SFTP、SCP、FTP/S、WebDAV、HTTP/S)和多个存储后端。借助 SFTPGo,您可以利用本地和云存储后端在内部或与业务合作伙伴交换和存储文件,并使用您已经熟悉的相同工具和流程。WebAdmin UI 允许轻松创建和管理您的用户、文件夹、组和其他资源。
2024-12-02 18:24:37
1265
原创 定时备份Docker部署的PostgreSQL数据库
本文解决旨在解决使用docker部署的postgresql数据库自动备份的业务场景,确保数据库能按照策略定期备份。保证业务数据丢失或损坏时能够快速恢复。注:系统必须已安装docker和docker-compose。
2024-08-07 10:08:04
777
原创 FC、NoF+、RoCE存储网络简介
全闪存时代背景下,传统的FC存储网络(Fibre Channel,网状通道)已经无法满足全闪存数据中心的要求,NVMe存储协议(Non-Volatile Memory express,非易失性内存主机控制器接口规范)的出现极大提升了 存储系统内部的存储吞吐性能、降低了传输时延,NoF存储网络(NVMe over Fabric)应运而生。在多种Fabric技术中,NVMe over RoCE (RDMA over Converged Ethernet)被广大存储厂商所接受,成为业界。
2024-07-04 10:37:56
1862
原创 SyncFolders文件备份—办公人员必备
SyncFolders支持在两个或多个文件夹之间同步文件,用户可以将重要文件同步到多个位置,如备份硬盘、网络共享文件夹或云存储等。通过设定同步规则,可以自动备份和同步更新,减少手动操作的繁琐,确保文件的安全和可访问性。可以有效解决办公人员数据因硬盘故障导致数据丢失的问题
2024-06-27 18:42:14
1332
原创 NocoDB开源的智能表格详解-腾讯文档本地替代品
可作为腾讯文档的本地电子表格替代品,通过拖拽形式DIY数据表格和表单,便于收集编辑数据。确保数据安全。 NocoDB是一个开源的智能表格解决方案,可将任何数据库转换为易于操作的在线电子表格。它不仅是Airtable的一个开源替代品,而且提供了丰富的特性与功能,适用于各种应用场景。
2024-06-03 17:21:39
6655
1
原创 CentOS8使用yum报错:Error: Failed to download metadata for repo ‘appstream‘: Cannot prepare internal mirr
CentOS8使用yum报错:Error: Failed to download metadata for repo 'appstream': Cannot prepare internal mirrorlist: No URLs in mirrorlist
2024-05-21 11:59:48
2741
1
原创 Harbor镜像仓库报错“Harbor被设置为只读模式,在此模式下,不能删除仓库、标签及推送镜像。”
由于Harbor镜像仓库空间不足,今天扩容的磁盘空间,扩容前做了垃圾清理操作,然后直接停止了服务。估计清理任务没完成,导致服务启动后Harbor被设置为只读模式,无法使用。下面是解决方法。
2024-04-12 19:57:37
507
原创 x86平台运行arm64平台docker 镜像
本文介绍在x86服务器上安装qemu-aarch64-statick仿真器,以实现x86服务器可以运行docker或docker-compose镜像。
2023-09-15 14:57:45
3313
原创 Docker容器内数据备份到系统本地
解决Docker运行容器时没将目录映射出来,或者因docker容器内外数据不一致,导致docker运行错误的问题
2023-09-06 21:16:27
837
原创 BookStack开源免费知识库docker-compose部署
BookStack(书栈)是一个功能强大且易于使用的开源且免费的知识管理平台,适用于个人、团队或企业的文档协作和知识共享。
2023-08-28 14:30:22
4187
原创 Docker Compose资源限制
Umami服务的CPU使用被限制在最多50%的CPU能力,内存使用被限制在最多500MB。同时,这个服务至少需要25%的CPU和200MB的内存。这里的关键在于添加--compatibility。参数以兼容模式来运行,否则限制不会生效。这个容器被成功限制为。
2023-06-20 14:30:56
2977
1
原创 PostgreSQL主备同步详解
PostgreSQL支持物理复制和逻辑复制,物理复制也可以称为流复制(Streaming Replication),通过流复制技术,可以从实例级复制出一个与主库一模一样的从库,主库可读写数据,从库仅能读取数据;另一种复制方式称为逻辑复制(Logical Replication),逻辑复制可以做到基于表级别的复制。生产环境我们常用的是流复制技术。流复制又分为同步流复制和异步流复制,如果主节点和备节点不是很忙,通常异步模式下备库和主库的延迟时间能控制在毫秒级。
2023-04-26 16:06:24
5581
原创 Jenkins无法启动:com.michelin.cio.hudson.plugins.rolestrategy.RoleBasedAuthorizationStrategy
Jenkins重启后无法启动提示:Please wait while Jenkins is getting ready to work。。。(Jenkins正在准备工作,请稍后。。。)
2023-04-17 11:11:41
1233
原创 Linux使用Logrotate做日志切割
服务器系统及应用长期运行将会产生大量的运行日志,若日志没有及时删除,日志文件日积月累将占满服务器所有存储空间,导致业务系统无法正常使用。nginx等日志较多的应用日常维护时日志管理及其重要。logrotate是一个Linux工具,用于管理系统中产生的日志文件。它可以自动将旧日志文件进行日志切割、压缩存档、删除和重命名等操作,以便释放磁盘空间。Nginx日志切割转存,每天转存生成一个压缩日志文件,当日志文件达到500M时也进行转存操作。注:一个规则文件内可添加多个日志规则文件。五、Logrotate示例。
2023-03-24 18:17:07
1161
原创 Navicat进行SSH加密方式连接MySQL数据库详解
近年来网络安全形式日趋严峻,为保障企业信息安全和业务连续性,越来越多的要求业务系统上线前需要满足等保要求。其中数据库作为存储数据的载体,安全更是重中之重。部分等保要求,mysql数据库不能通过直连方式连接,需使用SSH加密方式连接,保证数据的安全性。本章我们介绍如何通过Navicat使用SSH加密方式连接MySQL数据库。
2023-02-23 19:41:16
6391
1
原创 docker-compose安装SonarQube
前言SonarQube 是一个开源的代码分析平台, 用来持续分析和评测项目源代码的质量。通过SonarQube我们可以检测出项目中重复代码, 潜在bug, 代码规范,安全性漏洞等问题, 并通过SonarQube web UI展示出来。
2023-02-16 11:09:46
1915
原创 Sonarqube安装插件报错An error has occurred. Please contact your administrator
Sonarqube安装插件时提示:An error has occurred. Please contact your administrator。
2023-02-16 11:09:05
2603
1
原创 git clone提示:remote: The project you were looking for could not be found.
运行git clone拉取项目代码时候提示: remote: The project you were looking for could not be found. fatal: repository 'https://gitlab.demo.com/product/gitlab-instance-d8c9751f/devops.git/' not found
2023-02-15 18:54:49
717
原创 LVM管理详解手册(LVM创建、LVM扩容、LV减容)
LVM逻辑卷管理是所有运维工程师绕不开的门槛,本文将以为实例方式向大家展示讲解LVM逻辑卷创建、扩容、减容以及常见错误的处理方法。
2023-01-11 16:44:03
9210
5
原创 Ansible企业运维实例(一)—服务器批量免密认证
企业中为了维护服务器方便,我们第一次初始化时一般会创建服务器免密登录。这样后续管理服务器时只需在hosts文件中填写服务器IP即可维护。下面是ansible批量配置服务器免密登录方式。
2022-10-25 11:35:37
1702
原创 Ansible企业运维实例(二)—服务器信息收集
在互联网公司做运维,通常需要一个人维护几百上千台服务器。当项目需要紧急上线时,面对几十台服务器需初始化时,新入行运维就会慌乱阵脚,通宵达旦一台台服务器安装部署。这样不仅影响项目上线效率,也影响个人身体。这种情况下,推荐大家使用ansible自动化部署的方式,初始化服务器,上百台服务器硬盘初始化或配置修改,几分钟就能完成。下面是我日常运维过程中用到的部分ansible运维脚本,发出来给大家参考,如果不严谨的地方欢迎指出。大家如有好用的ansible脚本也欢迎分享到评论区,共同学习。
2022-10-25 09:52:12
1596
原创 Docker-Compose部署SVN服务器
网上很多手册步骤不全,部署时坑较多。以下是我趟过坑后整理的部署手册。欢迎大家多多交流。SVN是subversion的缩写,是一个开放源代码的版本控制系统,通过采用分支管理系统的高效管理,简而言之就是用于多个人共同开发同一个项目,实现共享资源,实现最终集中式的管理。
2022-09-22 18:32:19
3076
1
原创 二、JumpServer堡垒机管理员手册
JumpServer是一款非常简单好用的开源堡垒机,本文根据实际生产案例编辑的管理员手册,列出了JumpServer常用功能。JumpServer可以很好的保护公司内部服务器,并满足等保2.0安全需求。
2022-09-19 15:05:09
1603
转载 一、JumpServer堡垒机安装部署
JumpServer 是广受欢迎的开源堡垒机,可以满足等保双认证、管理员操作日志记录等需求,并提高系统运维安全性。简单易上手功能强大。注:系统为最小化安装,版本是CentOS7.6,分区为默认。
2022-09-16 18:09:19
1208
原创 Rufus刻录大于4G系统镜像
系统安装刻录U盘时经常会遇到ISO大于4G,使用UltraISO等工具无法刻录的问题。今天给大家介绍一款小巧好用的U盘刻录工具Rufus,Rufus相对于软碟通可以刻录UEFI系统,可以刻录大于4G系统镜像。2、插入U盘,运行Rufus软件,选择系统ISO镜像,选择刻录的分区类型,点击开始。3、提示将删除U盘数据,格式化U盘。
2022-09-07 10:54:20
3906
原创 四、JumpServer堡垒机多因子MFA认证使用
等保要求服务器登录需启用多因子MFA认证,使用多重认证方式保证服务器系统安全。本文介绍生产环境jumpserver如何使用MFA认证。
2022-09-07 10:42:53
8154
原创 三、JumpServer堡垒机用户使用手册
本文主要介绍JumpServer堡垒机的用户常用功能,包括使用ssh、web方式登录管理服务器、服务器文件上传、批量命令管理服务器等。
2022-09-07 09:59:31
6159
原创 二、Prometheus常用exporter安装详解
Prometheus常用exporter安装详解。node_exporter下载安装、elasticsearch_exporter下载安装、redis_exporter下载安装、rabbitmq_exporter下载安装、kafka_exporter下载安装
2022-08-16 17:05:39
8543
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人