- 博客(100)
- 收藏
- 关注
RSS订阅原创 Doris升级与迁移
除去 bin lib mysql_ssl_default_certificate外都要备份。最重要的是doris-meta ，里面有连接Doris-be节点的id与token。
2025-01-17 18:40:19
435
原创 全域数据集成平台ETL
RestCloud数据集成平台采用SpringCloud微服务架构技术开发，底层基于纯Java语言采用前后端分离架构，前端采用React技术进行开发。
2024-12-20 14:22:26
737
2
原创 Visual Studio Code 快捷键
选择所有匹配项并进入替换模式。：注释/取消注释当前行。：向上/向下添加多光标。：在整个工作区中查找。：在整个工作区中替换。：在侧边栏中打开定义。：跳转到文件中的符号。：显示键盘快捷键参考。
2024-12-20 13:50:41
1022
原创 PHP升级
首先，重置当前的 PHP 模块，以便清理所有已安装的 PHP 相关内容，并允许切换到新的 PHP 版本流。重置模块后，执行以下命令启用。
2024-12-05 18:05:46
354
原创 数据库锁机制
表级锁读锁（共享锁，S 锁）：允许多个事务同时读取同一张表，但不允许写操作。写锁（排他锁，X 锁）：只允许一个事务对表进行读取和写操作，排除其他事务的任何访问。元数据锁（Metadata Lock，MDL）：保护表的元数据，防止在事务执行过程中表结构被修改。自增锁（Auto-Increment Lock）：管理自增列的值分配，确保在并发插入时自增值的唯一性和连续性。行级锁记录锁（Record Lock）：锁定索引记录本身，确保对特定行的独占访问。间隙锁（Gap Lock）
2024-11-01 15:01:06
654
原创 消息队列RabbitMQ
消息队列是一种通信机制，基于AMQP（Advanced Message Queue Protocol高级消息队列协议）协议实现的消息队列，用于在分布式系统中实现不同应用程序或服务之间的异步消息传递。它通过在发送者和接收者之间提供一个临时存储的“队列”，帮助解耦服务之间的直接依赖，从而提升系统的可扩展性和可靠性。
2024-10-24 16:31:10
1388
原创 安装部署doris集群与基础使用
前期准备安装解压Doris安装包启动fe查看启动日志确保服务启动成功修改be配置启动be在192.168.218.221和192.168.218.227上都操作只需开启be在fe上添加be一键启停集群脚本。
2024-10-18 17:18:50
1049
原创 oralce的知识点总结
在 Oracle 数据库中，系统全局区（SGA，System Global Area）是一个共享内存区域，用于存储数据库的运行时信息。是Oracle数据库中非常强大的工具，能够高效地进行数据导出和导入，支持多种选项以满足不同的需求。在Oracle数据库中，日志记录是管理和监控的重要部分。SGA 的分割与管理是 Oracle 数据库性能优化的重要组成部分，合理配置各个组件的大小，有助于提升数据库的整体性能。在数据库备份和恢复的过程中，尤其是在Oracle数据库中，日志序列的完整性至关重要。
2024-09-29 13:19:39
1347
原创 Prometheus
Prometheus 是一个开源的监控和警报系统，主要用于收集和查询时序数据。其架构设计旨在高效地处理大规模的数据，并提供灵活的查询和可视化功能。Grafana :可视化组件，用于接受客户端的请求，到Prometheus服务端获取查询数据，经过自身渲染，再浏览器端显示给终端客户。通过这些组件和功能，Prometheus 提供了一个全面的监控解决方案，适用于多种规模和复杂度的系统。部署Node-exporter。部署Grafana可视化。
2024-09-05 12:19:15
546
原创 Secret
创建 Secret 时，你可以使用 Secret 资源的 type 字段，或者与其等价的 kubectl 命令行参数（如果有的话）为其设置类型。Secret 类型有助于对 Secret 数据进行编程处理。允许你以安全的方式将这些信息传递给 Pod，而不是硬编码在镜像或配置文件中。是一种用于存储敏感信息的资源，比如密码、OAuth 令牌、SSH 密钥等。配置管理中心：configMap、Secret。2.Secret 中的数据定义容器变量ENV。3.secret实现连接远程mysql。Secret 的类型。
2024-09-05 12:10:12
581
原创 ConfigMap
ConfigMap是 Kubernetes 中用于配置管理的资源对象。它允许你将配置信息从容器镜像中解耦，使得配置可以独立于应用程序进行管理和更新。以下是ConfigMap的详细介绍，包括其主要功能、用法以及常见的场景。
2024-08-30 17:10:44
617
原创 StatefulSet和DaemonSet
是 Kubernetes 中一种用于管理有状态应用的控制器。它确保应用的每个实例都有唯一的、持久化的身份，并提供稳定的网络身份和持久存储。web-0web-1的典型用例包括数据库、分布式缓存和其他需要稳定身份和持久存储的有状态应用。
2024-08-29 17:35:27
1006
原创 Volume存储
在 Kubernetes 中，Pod 的存储通常通过 Volume 对象来管理。Volume 提供了一种在 Pod 生命周期内持久化数据的机制，并且可以跨容器共享。
2024-08-27 08:03:28
1047
1
原创 污点Taints和Deployment
节点污点（Taints）：用于标记节点的特殊条件，防止不符合条件的 Pod 被调度到节点上。Pod 容忍度（Tolerations）：用于标记 Pod 可以容忍哪些污点，从而允许 Pod 在具有这些污点的节点上运行。示例：node节点污点metadata:spec:selector:app: myapptemplate:metadata:labels:app: myappspec:ports:Deployment。
2024-08-22 15:34:32
717
原创 Pod基础使用
在Kubernetes中，Pod的生命周期经历了几个重要的阶段。在Kubernetes中，Pod的生命周期包括初始化容器（Init Containers）的特殊阶段。初始化容器是用于在Pod的主容器启动之前执行一些初始化任务的容器。它们是Pod的一部分，通常用于执行一些准备工作，例如数据库迁移、配置准备、依赖检查等。了解这些状态对于管理和调试Kubernetes中的应用非常重要。每个阶段和状态都有其特定的含义和影响，掌握它们可以帮助你更好地理解和控制Pod的行为。
2024-08-21 18:50:25
1357
原创 Kubectl基础命令使用
在使用 kubectl apply -f 命令执行 YAML 文件时，确保文件格式正确是很重要的。确保你的 YAML 文件符合上述格式要求，并且每个部分都正确配置。遵循这些规则可以帮助避免在执行 kubectl apply 时遇到格式错误。如果你有任何特定的 YAML 文件或格式问题，可以提供更多细节，以便获得更具体的帮助。实战示例编辑yaml文件拉取apline镜像kind: Podmetadata:spec:sleep 10;done"]## imagePul1Policy有三个取值。
2024-08-20 17:21:41
889
原创 K8s部署安装
Kubernetes（通常缩写为K8s）是一个开源的容器编排平台，用于自动化容器化应用的部署、扩展和管理。它最初由Google开发，现在由云原生计算基金会（CNCF）维护。Kubernetes 的核心目标是提供一个一致且可扩展的框架来管理容器化应用的生命周期。单个容器没有价值，需要实现容器的编排功能常见的容器编排：docker-compose (单机 小型的容器编排工具)网络编排存储卷编排。
2024-08-19 16:15:20
904
原创 云原生和安装Ubuntu 22系统
云原生是一种提供了可应用于生产环境的方法论，方便企业快速运行应用程序，企业不需要将人效用于放在底层运行环境，而是主要聚焦在业务层功能开发，从而实现产品的快速交付、迭代及稳定性，从而整体降低成本支出并提高交付效率。
2024-08-15 18:26:40
1171
1
原创 Iptables防火墙SNAT和DNAT
DNAT原理与应用: DNAT应用环境:在Internet中发布位于局域网内的服务器 DNAT原理:目的地址转换，根据指定条件修改数据包的目的IP地址，保证了内网服务器的安全，通常被叫做目的映谢。DNAT：destination NAT 支持PREROUTING , OUTPUT，把本地网络中的主机上的某服务开放给外部网络访问(发布服务和端口映射)，但隐藏真实IP,请求报文：修改目标IP。DNAT：nat表的target，适用于端口映射，即可重定向到本机，也可以支持重定向至不同主机的不同端。
2024-08-14 17:15:17
1693
原创 LVS+keepalive高可用
主keepalived：192.168.240.11。备keepalived：192.168.240.13。vip（虚拟ip）：192.168.240.188。4.web服务配置（web1和web2都需要配置）LVS + Keepalived 高可用群集。
2024-08-13 14:25:07
109
原创 CA和证书
1994年，NetScape（网景）公司设计了SSL协议（Secure Sockets Layer）的1.0版，但是未发布1995：SSL 2.0 Netscape 开发2006：TLS 1.1 IETF(Internet工程任务组) RFC 4346，从2020年3月起，停止支持TLS 1.1及TLS 1.0版本安全协议，谷歌（Chrome）、Mozilla（Firefox）、微软（IE和Edge） 、苹果（Safari） 都会发布新版浏览器执行这个策略2008：TLS 1.2 当前主要使用。
2024-08-09 16:55:47
730
原创 Docker Compse单机编排
docker compose 文件是一个yaml格式的文件，所以注意行首的缩进很严格默认docker-compose命令会调用当前目录下的docker-compose.yml的文件，因此一般执行docker-compose命令前先进入docker-compose.yml文件所在目录。docker compose 文件可在任意目录，创建文件名为docker-compose.yml 配置文件，要注意前后的缩进。docke- compose文件的格式很不同版本，版本不同，语法和格式有所不同，参看以下列表。
2024-08-08 16:48:40
1377
原创 Docker--harbor私有仓库部署与管理
名称分别为：nginx、harbor-jobservice、harbor-ui、harbor-db、harbor-adminserver、registry、harbor-log。Harbor 是 VMware 公司开源的企业级 Docker Registry 项目，其目标是帮助用户迅速搭建一个企业级的 Docker Registry 服务。8、Harbor和docker registry的关系：Harbor实质上是对docker registry做了封装，扩展了自己的业务模板。由于要对用户进行访问控制，
2024-08-08 15:06:47
600
原创 Docker镜像制作与管理
从镜像大小上面来说，一个比较小的镜像只有1MB多点或几MB，而内核文件需要几十MB， 因此镜像里面是没有内核的，镜像在被启动为容器后将直接使用宿主机的内核，而镜像本身则只提供相应的rootfs，即系统正常运行所必须的用户空间的文件系统，比如: /dev/，/proc，/bin，/etc等目录，容器当中/boot目录是空的，而/boot当中保存的就是与内核相关的文件和目录。由于容器启动和运行过程中是直接使用了宿主机的内核，不会直接调用物理硬件，所以也不会涉及到硬件驱动，因此也无需容器内拥有自已的内核和驱动。
2024-08-01 17:03:19
915
原创 Docker容器基础篇
Docker 目前已经支持多种操作系统的安装运行，比如Ubuntu、CentOS、Redhat、Debian、Fedora，甚至是还支持了Mac和Windows，在linux系统上需要内核版本在3.10或以上。此系统状态和内存空间统称为内核空间。perf_event: 增加了对每 group 的监测跟踪的能力，可以监测属于某个特定的 group 的所有线程以及运行在特定CPU上的线程。用户空间或用户域是在操作系统内核环境之外运行的代码，用户空间定义为操作系统用来与内核连接的各种应用程序或程序或库。
2024-07-29 18:00:22
1040
原创 zabbix通知，自愈与批量添加主机
如果zabbix agent是使用zabbix用户启动的，那么要在zabbix 用户授权使用特权命令，负责有些命令zabbix没有权限执行，会导致定义好的自治愈策略因为权限拒绝为执行失败。当zabbix 监控到指定的监控项异常的时候，通过指定的操作使故障自动恢复，通常是重启服务等一些简单的操作，也可以调用脚本执行比较复杂的操作。设置监控项和触发器，新建动作，在触发条件里面添加操作，在远程主机通过zabbix 客户端执行命令。1.zabbix agent需要开启远程命令执行。2.zabbix用户授权。
2024-07-25 15:25:31
349
原创 Zabbix监控应用
而当对方回应ACK报文后，则进入到FIN_WAIT_2状态，当然在实际的正常情况下，无论对方何种情况下，都应该马 上回应ACK报文，所以FIN_WAIT_1状态一般是比较难见到的，而FIN_WAIT_2状态还有时常常可以用netstat看到。SYN_RCVD：三次握手的第二次握手后的端口状态，是收到了客户端发送的SYN_SENT数据包之后的状态，这个状态很短暂，正常在服务器上是很少看到的，除非服务器故意不发送最后一次握手数据包，服务器返回给客户端SYN确认之后就会将在自己的端口置为SYN_RCVD。
2024-07-23 17:53:14
937
原创 Zabbix介绍和架构
然后，Zabbix server 以每分钟一次的频率查询监控项表中的有效项，接着将它存储在 Zabbix server 中的缓存里。所以说监控是运维这个职业的根本。WEB 界面是 Zabbix server 的一部分，用于实现展示和配置的界面通常（但不一定）和 Zabbix server 运行在同一台物理机器上基于 Apache(Nginx)+PHP 实现,早期只支持LAMP架构,从Zabbix5.0开始支持LNMP。Zabbix Proxy 的部署可以很好的分担单个Zabbix server的负载。
2024-07-19 15:34:18
2302
1
原创 Haproxy服务
HAProxy（High Availability Proxy）是一个开源的负载均衡和代理服务器，它运行在 Linux 和其他类 Unix 系统上。HAProxy 最初是为了解决高可用性和负载均衡问题而开发的，因此它具有非常高的性能、稳定性和丰富的特性。1.主要特点和功能负载均衡： HAProxy 提供了强大的负载均衡能力，能够根据多种算法（如轮询、加权轮询、最少连接数等）将流量分发到多个后端服务器上，实现负载均衡。健康检查。
2024-07-18 19:17:09
913
原创 ELK日志管理与应用
通常在需要采集数据的客户端安装 Filebeat，并指定目录与日志格式，Filebeat 就能快速收集数据，并发送给 logstash 进行解析，或是直接发给 Elasticsearch 存储，性能上相比运行于 JVM 上的 logstash 优势明显，是对它的替代。●缓存/消息队列（redis、kafka、RabbitMQ等）：可以对高并发日志数据进行流量削峰和缓冲，这样的缓冲可以一定程度的保护数据不丢失，还可以对整个架构进行应用解耦。4.编辑tomcat日志的logstash配置文件。
2024-07-17 16:41:40
546
原创 GlusterFS 分布式文件系统
GlusterFS 是一个开源的分布式文件系统，最初由Gluster公司开发，后来被Red Hat收购并继续维护和支持。它的设计目标是为大规模的数据存储需求提供高可靠性、高性能和可扩展性的解决方案。
2024-07-15 19:00:47
1257
原创 数据的实时同步
inotify + rsync 方式实现数据同步sersync ：前金山公司周洋（花椒直播）在 inotify 软件基础上进行开发的，功能更加强大2.inotify异步的文件系统事件监控机制，利用事件驱动机制，而无须通过诸如cron等的轮询机制来获取事件，linux内核从2.6.13起支持 inotify，通过inotify可以监控文件系统中添加、删除，修改、移动等各种事件工作原理: inotify 是 Linux 内核提供的一种文件系统监控机制，能够监控文件系统事件（如文件或目录的创建、删除、修改等）
2024-07-12 15:28:56
1101
原创 Redis 主从复制，哨兵与集群
虽然Redis可以实现单机的数据持久化，但无论是RDB也好或者AOF也好，都解决不了单点宕机问题，即一旦单台 redis服务器本身出现系统故障、硬件故障等问题后，就会直接造成数据的丢失此外,单机的性能也是有极限的,因此需要使用另外的技术来解决单点故障和性能扩展的问题。
2024-07-10 18:24:00
1391
原创 Redis数据类型
列表是一个双向可读写的管道，其头部是左侧，尾部是右侧，一个列表最多可以包含2^32-1（4294967295）个元素，下标 0 表示列表的第一个元素，以 1 表示列表的第二个元素，以此类推。如果有多个 value 值，那么各个 value 值按从左到右的顺序依次插入到表尾：比如对一个空列表 mylist 执行 RPUSH mylist a b c ，得出的结果列表为 a b c ，等同于执行命令 RPUSH mylist a 、6.批量设置多个key mset。PERSIST 永远不过期。
2024-07-09 18:28:02
782
原创 Redis缓存
Redis从master主进程先fork出一个子进程，使用写时复制机制，子进程将内存的数据保存为一个临时文件，比如:tmp-.rdb，当数据保存完成之后再将上一次保存的RDB文件替换掉，然后关闭子进程，这样可以保证每一次做RDB快照保存的数据都是完整的因为直接替换RDB文件的时候,可能会出现突然断电等问题,而导致RDB文件还没有保存完整就因为突然关机停止保存,而导致数据丢失的情况.后续可以手动将每次生成的RDB文件进行备份，这样可以最大化保存历史数据。否则，内存申请失败，并把错误返回给应用进程。
2024-07-08 18:56:51
948
原创 MySQL中mycat与mha应用
替代Hbase，分析大数据，作为海量数据实时查询的一种简单有效方案，比如100亿条频繁查询的记录需要在3秒内查询出来结果，除了基于主键的查询，还可能存在范围查询或其他属性查询，此时Mycat可能是最简单有效的选择。多租户应用，每个应用一个库，但应用程序只连接Mycat，从而不改造程序本身，实现多租户化报表系统，借助于Mycat的分表能力，处理大规模报表的统计。apply_diff_relay_logs #识别差异的中继日志事件并将其差异的事件应用于其他的slave。
2024-07-05 17:17:32
893
原创 数据库主从复制
MySQL数据库的主从复制（Master-Slave Replication）是一种常见的数据库复制架构，用于提高数据库的可用性、可靠性和性能。
2024-07-04 19:24:19
1886
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人