自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(71)
  • 收藏
  • 关注

原创 redis部署和使用实战

Redis作为高性能内存数据库,提供多种数据结构(String、Hash、List等)和持久化方案(RDB/AOF),适用于缓存、消息队列等场景。其高可用方案包括Sentinel和Cluster模式,通过分片和故障转移保障服务连续性。在秒杀等并发场景中,Redis通过分布式锁、多级缓存和消息队列实现流量削峰。针对缓存问题(穿透/雪崩/击穿),建议采用布隆过滤器、随机过期等策略。优化方面需关注大Key拆分、热点Key处理及内存管理,同时确保安全配置(ACL、认证)和监控体系(Prometheus)的完善。合理

2025-07-30 09:41:03 786 1

原创 nacos技术(从部署到使用实战 高级提升)

Nacos是阿里巴巴开源的云原生平台组件,集服务发现、配置管理和服务治理功能于一体。它支持动态服务注册与发现、实时配置推送和多环境管理,具备健康检查、流量控制和元数据管理等核心能力。Nacos采用AP/CP混合一致性模型,支持集群部署和数据持久化,可与Spring Cloud等生态深度集成。相比Eureka、Consul等方案,Nacos功能更全面,特别适合微服务架构下的服务治理需求,在电商等分布式系统中具有重要应用价值。未来Nacos将加强云原生支持,优化大规模集群性能,并可能扩展Serverless和服

2025-07-30 09:08:59 1517

原创 nginx 安装使用深度解析

Nginx是一款高性能开源Web服务器软件,采用事件驱动异步架构解决高并发连接问题。自2004年发布以来,从静态内容服务发展为支持反向代理、负载均衡等多功能的服务器软件。其核心优势包括轻量级、低资源消耗、高吞吐量,支持HTTP/2、动态模块加载等特性。Nginx通过多进程模型、非阻塞I/O和高效内存管理实现卓越性能,广泛应用于Web服务、反向代理、API网关等场景。配置方面包含基础静态资源服务到高级负载均衡策略,可通过动态模块扩展功能。性能调优涉及连接数优化、压缩缓存等策略,安全配置包括SSL加密和请求限制

2025-07-23 11:10:57 2096

原创 Doris用户权限控制

本文介绍了创建安全受限的MySQL只读用户的方法。通过创建用户时指定IP段(10.0.0.0/8)和复杂密码,确保访问来源可控。使用精细化授权仅授予特定表的SELECT权限,并清除默认全局权限。补充安全措施包括限制查询/连接频率,配置审计日志记录所有操作,建议结合SELinux加强访问控制。该方案实现了最小权限原则,有效防范未授权访问和资源滥用风险。

2025-07-23 10:59:11 471

原创 Doris高可用连接方案

摘要:本文详细介绍了三种实现Doris FE节点高可用负载均衡的方案:1)应用层代码重试机制;2)JDBC自动重试配置;3)ProxySQL代理层部署。重点阐述了ProxySQL的安装配置过程,包括后端Doris FE节点注册、监控配置、用户权限设置等关键步骤,并验证了故障切换功能。通过ProxySQL的6033转发端口,可实现透明的连接负载均衡,当某个FE节点故障时能自动切换到其他可用节点。方案适用于需要保证Doris服务高可用的生产环境。

2025-07-21 11:02:32 779

原创 Dify+Doris mcp 构建ChatBi

是⼀个让你能在本地运⾏⼤语⾔模型的⼯具,为⽤⼾在本地环境使⽤和交互⼤语⾔模型提供了便利,具有以下。向量空间中,使得相似的数据点在向量空间中的位置相近,从而通过计算向量之间的相似度来衡量数据之。⽤⼾安装完成后,通过简洁的命令⾏界⾯就能与模型进⾏交互,降低了使⽤⼤语⾔模型的技术⻔槛。上⾯的机器⼈有个不⾜之处就是⽆法回答模型训练后的内容和专业垂直领域的内容,这时。模型是一种将数据转换为向量表示的技术,核心思想是通过学习数据的内在结构。模型默认是前⾯配置的模型,参数信息配置完,点击保存即可。络连接来访问云端服务。

2025-07-21 10:49:28 1285

原创 linux的ssh隧道创建(进行数据库连接)

在前置机上通过 SSH 连接跳板机,将本地端口(如本地 3307)转发到数据库端口(如远程 3306)。配合代理工具(如 Proxychains),可让前置机的应用通过跳板机访问数据库及其他服务。之后,前置机可通过1ocalhost:3307访问数据库,数据经 SSH 隧道加密传输。为解决这个问题编写脚本:ssh_tunnel_monitor.sh。此脚本可监控ssh隧道状态,若ssh隧道关闭,可以自动重启。

2025-07-21 10:14:31 516

原创 防火墙使用

摘要:本文介绍了Linux防火墙(firewalld)的基本操作指南,包括状态查询、端口管理和IP访问控制。主要涵盖:查看防火墙状态、开放/删除端口操作;基于IP的精细控制,如允许特定IP访问指定端口、批量添加IP访问权限;以及富规则(rich-rule)的查看与删除方法。所有配置变更后需执行reload命令立即生效。这些操作适用于服务器安全防护配置场景。

2025-07-21 09:53:55 217

原创 磁盘爆满排查

摘要:本文介绍了磁盘空间管理的常用命令。df -h可查看磁盘使用情况,du -sh可统计目录大小。重点分析了当df和du结果不一致时的解决方法:这通常是由于已删除文件仍被进程占用导致。通过lsof | grep deleted查找并终止相关进程(使用kill -9)即可释放空间,使df和du结果恢复正常。文章还推荐使用du -h --max-depth=1命令快速定位占用空间大的子目录。(150字)

2025-07-21 09:51:38 259

原创 部署 SeaTunnel Engine 分离模式集群

本文介绍了SeaTunnel的安装与配置流程。主要内容包括:1) 环境准备,需安装Java并设置JAVA_HOME;2) 下载SeaTunnel安装包和连接器插件;3) 配置SEATUNNEL_HOME环境变量;4) 设置Master和Worker节点的JVM参数;5) 配置SeaTunnelEngine引擎参数,包括检查点管理和MinIO存储;6) 配置集群网络服务,包括Master和Worker节点的网络设置;7) 启动SeaTunnelEngine集群服务;8) 配置客户端连接参数。文章详细说明了各配

2025-07-21 09:46:35 1781

原创 Doris创建UDF函数(基于高德接口的经纬度解析为具体地址)

本文介绍了在Doris中实现Java自定义函数的方法,重点展示了通过高德地图API将经纬度解析为地址信息的UDF开发过程。主要内容包括:1)Doris支持的三种Java函数类型(UDF、UDAF、UDTF)及使用注意事项;2)详细的高德地图地理位置解析UDF实现,包含Maven依赖配置、Java类GeoLocationParser的开发(实现HTTP请求和JSON解析)及测试验证;3)在Doris中创建UDF函数的SQL语法示例。开发过程中需注意数据类型匹配、JVM堆大小配置等关键点,该功能自Doris 3

2025-07-21 09:14:40 646

原创 四、电商数据仓库系统——第8章 数仓开发之DIM层

大数据自学笔记——电商数仓5.0搭建

2023-03-29 17:41:51 2125 1

原创 四、电商数据仓库系统——第7章 数仓开发之ODS层

大数据自学笔记——电商数仓5.0搭建

2023-03-29 17:36:59 1053

原创 四、电商数据仓库系统——第6章 数据仓库环境准备

大数据自学笔记——电商数仓5.0搭建

2023-03-29 17:31:44 562

原创 四、电商数据仓库系统——第5章 数据仓库设计

大数据自学笔记——电商数仓5.0搭建学习笔记

2023-03-21 18:02:21 1012

原创 四、电商数据仓库系统——第4章 维度建模理论之维度表

大数据自学笔记——电商数仓5.0搭建学习笔记

2023-03-21 17:55:23 605

原创 四、电商数据仓库系统——第3章 维度建模理论之事实表

大数据自学笔记——电商数仓5.0搭建学习笔记

2023-03-21 17:50:21 620

原创 四、电商数据仓库系统——第1章 数据仓库概述

大数据自学笔记——电商数仓5.0搭建学习笔记

2023-03-21 17:49:34 159

原创 四、电商数据仓库系统——第2章 数据仓库建模概述

大数据自学笔记——电商数仓5.0搭建学习笔记

2023-03-21 17:48:52 420

原创 三、数仓数据同步策略

大数据自学笔记——电商数仓5.0搭建学习笔记

2023-03-21 17:42:39 1034

原创 二、业务数据采集平台

大数据自学笔记——电商数仓5.0搭建学习笔记

2023-03-21 17:38:05 552

原创 一、用户行为采集平台

大数据自学笔记——电商数仓5.0学习笔记

2023-03-15 18:02:51 1370

原创 DataX

大数据自学笔记——DataX学习笔记

2023-03-15 17:57:52 1642

原创 superset可视化

大数据自学笔记——superset可视化学习笔记

2023-03-15 17:55:54 677 1

原创 Atlas数据治理

大数据自学笔记——Atlas数据治理学习笔记

2023-03-15 17:55:42 818

原创 Spark Streaming

大数据自学笔记——spark学习笔记

2023-02-27 10:10:25 534

原创 SparkSQL

大数据自学笔记——spark学习笔记

2023-02-23 17:09:52 13834

原创 第6章 Spark 案例实操

大数据自学笔记——spark学习笔记

2023-02-22 17:35:18 1222

原创 第5章 Spark 核心编程

大数据自学笔记——spark学习笔记

2023-02-20 15:38:50 1318

原创 第4章 Spark 运行架构

大数据自学笔记——spark学习笔记

2023-02-17 17:15:19 177

原创 第3章 Spark 运行环境

大数据自学笔记——spark学习笔记

2023-02-16 17:24:15 295

原创 第2章 Spark 快速上手

大数据自学笔记——spark学习笔记

2023-02-16 17:04:26 195

原创 第1章 Spark 概述

大数据自学笔记——spark学习笔记

2023-02-16 17:02:59 129

原创 第 12 章 Scala总结

大数据自学笔记——Scala学习笔记

2023-02-14 17:55:06 134

原创 第 11 章 Scala泛型

大数据自学笔记——Scala学习笔记

2023-02-14 17:46:42 86

原创 第 10 章 Scala隐式转换

大数据自学笔记——Scala学习笔记

2023-02-14 17:40:26 124

原创 第 9 章 Scala异常

大数据自学笔记——Scala学习笔记

2023-02-14 17:32:08 150

原创 第 8 章 Scala模式匹配

大数据自学笔记——Scala学习笔记

2023-02-14 17:27:32 118

原创 第 7 章 Scala集合

大数据自学笔记——Scala学习笔记

2023-02-13 17:56:19 395 2

原创 第 6 章 Scala面向对象

大数据自学笔记——Scala学习笔记

2023-02-07 17:51:12 307 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除