DiskStorage / Database / Cache
关注
分享
扫一扫
文章平均质量分 79
存储，持久化相关；开发应用数据库，磁盘存储等等
OxYGC
后端与架构方向开发者，关注 Java、Spring Boot、云原生、分布式系统、Web3 与 AI 工程化落地。持续分享大模型、AI Agent、RAG、MCP、智能工作流，以及真实项目中的技术选型与实践心得。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
四小时测试你的Sql能力--- MySQL经典练习50题
简介Sql能力是开发人员的业务能力之根，平常习惯了CRUD，可不要忘了回归根本哦！初始环境表结构–1.学生表Student(s_id,s_name,s_birth,s_sex) –学生编号,学生姓名, 出生年月,学生性别–2.课程表Course(c_id,c_name,t_id) – –课程编号, 课程名称, 教师编号–3.教师表Teacher(t_id,t_name) –教师编号,教师姓名–4.成绩表Score(s_id,c_id,s_score) –学生编号,课程编号,分数原创 2020-06-06 11:25:47 · 5382 阅读 · 6 评论
-
[工程] Redis redis.conf 逐段解析：85 个生效配置项与 4 处本地改动
官方 redis.conf 有 2739 行，真正生效的只有 85 条，被改动的仅 4 行——同时改掉「这台实例能不能被公网摸到」和「数据会不会掉」。逐段解析：bind、protected-mode、requirepass 三条合起来才算得出暴露面；生效行里没有 save 不等于关闭快照；appendonly no 让下面 9 行 append* 全部空转；maxmemory 在注释里，故障就从 Redis 报错变成进程被内核挑走。原创 2026-11-07 15:48:25 · 431 阅读 · 0 评论 -
[Database] MySQL 8.x Window / Partition Function (窗口/分区函数)
MySQL 8.0+版本开始支持窗口函数官方文档在之前的版本中已存在的大部分聚合函数，在MySQL 8 中也可以作为窗口函数来使用。原创 2023-10-24 14:26:04 · 667 阅读 · 0 评论 -
[NAS] QNAP/威联通 常用设置和操作
QNap 产品是一种可扩展的数据存储解决方案。它们包括具有 1 到 30 个驱动器托架的设备，并提供 HDMI、Thunderbolt 2 和 USB 3.1 等连接选项，以及 802.11ac/a/n Wi-Fi 和高达每秒 40 Gb 的以太网。内置软件提供基本服务，例如电子邮件管理、高级访问控制、域管理和自动系统备份。视频和音频转码向移动设备和支持网络的立体声设备或电视提供即用型媒体流。原创 2022-11-30 19:53:17 · 5537 阅读 · 0 评论 -
[云原生] [kubernetes] Kubesphere下的Springboot发布并使用外部配置文件
在平常开发中，我们都会在项目配置多个配置文件,有dev/prod/test等不同的yml文件，打包时候会把配置文件同时包含在内，或者在nacos之类的中间件，读取相关配置。在K8S配置文件支持ConfigMap配置表单独部署。该文章的思路的就是使用外部挂载文件结合ConfigMap配置表实现外部容器对spring boot的配置。原创 2022-11-10 02:38:20 · 1614 阅读 · 0 评论 -
[基础服务] [ELK] CentOS7.x安装ELFK / (ElasticSearch + Kibana + Logstash+Filebeat)
# 🍁简介 ## 🧲 相关资料 [参考资料](https://yanggc.blog.youkuaiyun.com/?原创 2022-11-08 15:51:52 · 1003 阅读 · 0 评论 -
[基础服务] CentOS7.x 安装Kafka3.x
环境CentOS 7.9。原创 2022-11-01 17:05:11 · 675 阅读 · 0 评论 -
[Redis] 使用Redis限制短信发送次数和发送频率
使用Redis实现比如 一小时内允许用户发送5次短信，一天内允许用户发送10条短信的需求，改需要怎么做呢。原创 2022-10-22 16:39:15 · 3190 阅读 · 0 评论 -
[云原生] [kubernetes] K8S常用命令
添加新节点需要在原master节点获取token和hash值。原创 2022-10-05 23:45:08 · 1969 阅读 · 0 评论 -
[ELK实战] 开发中的哪些坑
❗❗ 实测可用,但做聚合查询会有性能影响,推荐开始时候就定义好准确的字段在不重新索引数据的情况下向现有文档添加字段在不了解数据结构的情况下开始处理数据在查询时覆盖从索引字段返回的值为特定用途定义字段而不修改底层架构//1：按照周统计地震信息，也就是每周有几天地震了 "week_agg" : {"avg" : {"field" : "magnitude" } } } } , //一周中的每一天的震级 "day_of_week_magnitude" : {原创 2022-09-29 15:24:52 · 661 阅读 · 0 评论 -
[云原生] [kubernetes] K8S安装常见问题
1、对master节点：系统初始化，包括修改主机名，配置yum源，安装依赖包，设置防火墙，关闭selinux，调整内核参数，升级内核等。2、对master节点：部署K8s，包括配置kube-proxy，安装docker，配置docker镜像源，安装kubeadm，配置各个虚拟机的静态ip，3、把master节点拷贝为node1和node2初始化主节点，加入主节点以及其余节点，部署网络。原创 2022-09-26 11:55:03 · 1441 阅读 · 0 评论 -
[云原生] [kubernetes] 基于K8S安装kubesphere
说明：从 2.1.0 版本开始，KubeSphere 解耦了一些核心功能组件。这些组件设计成了可插拔式，您可以在安装之前或之后启用它们。如果您不启用它们，KubeSphere 会默认以最小化进行安装部署。不同的可插拔组件部署在不同的命名空间中。上面是官方解释为啥需要修改cluster-configuration集群配置。其实修改cluster-configuration集群配置就是额外启用一些KubeSphere插件，比如：启用DevOps的相关插件，开启ectd的监控功能，开启告警功能…原创 2022-09-26 04:43:59 · 1297 阅读 · 2 评论 -
[云原生] [kubernetes] K8S安装存储类 - StorageClass
Kubernetes提供了一套可以自动创建PV的机制，即：Dynamic Provisioning(动态配置)。而这个机制的核心在于StorageClass这个API对象。PV的属性。比如，存储类型，Volume的大小等。创建这种PV需要用到的存储插件，即存储制备器。有了这两个信息之后，Kubernetes就能够根据用户提交的PVC，找到一个对应的StorageClass，之后Kubernetes就会调用该StorageClass声明的存储插件，进而创建出需要的PV。原创 2022-09-26 03:18:20 · 1723 阅读 · 0 评论 -
[云原生] [kubernetes] 有了K8S的新基建,云原生起航了 !
Pivotal公司的Matt Stine于2013年首次提出云原生（CloudNative）的概念；而Pivotal最新官网对云原生概括为4个要点：DevOps + 持续交付 + 微服务 + 容器。定义是 能够在现代动态环境(如公共、私有和混合云)中构建和运行可伸缩的应用程序。容器、服务网格、微服务、不可变的基础设施和声明性 API 就是这种方法的例证。CNCF成立后备受推崇，越来越多的项目和成员加入进来。截至目前，CNCF聚集的会员超过15万，项目贡献者超过8.5万人。原创 2022-09-26 01:43:53 · 1266 阅读 · 0 评论 -
[OS-Linux] CentOS 7.x 安全登录策略设置
注意: 1) .ssh目录的权限必须是700 2) .ssh/authorized_keys文件权限必须是600。把公钥文件 ssh_login.pub上传到 /root/.ssh/ 目录下。restorecon -R -v /home #root用户为/root。给组员分配登录账号时候，只允许密钥登录的时候可以做以下操作。把id_rsa(私钥文件) 拷贝出来,就是可以登录该账号了。重启ssh服务即可使用ssh密钥登录。不设置私钥密码直接点击‘是’即可。直接填写ip然后换行即可。直接填写ip然后换行即可。原创 2022-09-23 19:26:47 · 1189 阅读 · 0 评论 -
[基础服务] [kubernetes] KubeSphere 基于 Kubernetes (K8S)的安装
简介KubeSphere是个全栈的Kubernetes容器云PasS解决方案1、KubeSphere是个容器云平台，即PaaS平台，而Kubernetes是个容器编排系统，二者不一样。而在DevOps时代，我们以Kubernetes为核心的技术展开，所以说KubeSphere是以Kubernetes为内核的，这就像Linux操作系统的内核一样，Linux操作系统依赖于内核，一样重要。但这并不能说明，KubeSphere只能基于Kubernetes去搭建，KubeSphere也能部署在裸机（虚拟机）中原创 2022-05-21 23:04:33 · 1401 阅读 · 0 评论 -
[基础服务] CentOS 7.x 安装 GitLab
GitLab 是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具，并在此基础上搭建起来的Web服务。安装方法是参考GitLab在GitHub上的Wiki页面。Gitlab是目前被广泛使用的基于git的开源代码管理平台, 基于Ruby on Rails构建, 主要针对软件开发过程中产生的代码和文档进行管理, Gitlab主要针对group和project两个维度进行代码和文档管理, 其中group是群组, project是工程项目, 一个group可以管理多个project, 可以理解为一个群组中有原创 2022-09-18 12:58:06 · 1506 阅读 · 0 评论 -
[基础服务] windows10安装WSL2
powerShell下载Linux内核更新程序包下载地址：https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi 下载安装即可。在程序和功能里面启用Windows子系统完成之后，需要重启电脑完成安装。原创 2022-09-16 10:42:35 · 1557 阅读 · 0 评论 -
[NAS] Synology(群晖) / QNAP(威联通) 设置 MariaDB 远程访问 (附带多设备DB速度测试)
MariaDB数据库管理系统是MySQL的一个分支，主要由开源社区在维护，采用GPL授权许可 MariaDB的目的是完全兼容MySQL，包括API和命令行，使之能轻松成为MySQL的代替品。在存储引擎方面，使用XtraDB来代替MySQL的InnoDB。MariaDB由MySQL的创始人Michael Widenius主导开发，他早前曾以10亿美元的价格，将自己创建的公司MySQL AB卖给了SUN，此后，随着SUN被甲骨文收购，MySQL的所有权也落入Oracle的手中。原创 2022-09-10 12:05:55 · 5271 阅读 · 3 评论 -
[Database] MySQL 5.7+ JSON 字段的使用的处理
MySQL5.7.x增加了对JSON字段的支持,根据一下常用的操作摘取。原创 2022-09-09 15:05:58 · 910 阅读 · 0 评论 -
[NAS] Synology (群晖) DSM7.0 使用自定义供应商DDNS
登录群辉DSN进入 控制面板 > 外部访问 > DDNS > 自定义供应商将显示一个对话框，提示您输入以下设置服务供应商：aliyun （这个可以随便填，只要你认识就行）单击保存可将自定义服务供应商添加到 DDNS 服务供应商的列表中。...原创 2022-08-28 22:46:41 · 9108 阅读 · 5 评论 -
[基础服务] Grafana/Prometheus/node-exporter 的安装和部署
其实这种像Grafana 这种无状态应用非常适合使用docker来部署，后续扩展迁移可以完全保证环境的一致性。下面我们使用docker快速部署一个Grafana 服务监控端安装：Prometheus Server(普罗米修斯监控主服务器 )Node Exporter (收集Host硬件和操作系统信息)cAdvisor (负责收集Host上运行的容器信息)Grafana (展示普罗米修斯监控界面）被监控安装：Node Exporter (收集Host硬件和操作系统信息)...原创 2022-08-23 23:43:21 · 1413 阅读 · 8 评论 -
[基础服务] [Docker] Jenkins的安装和部署
Jenkins的部署其实很简单，因为Jenkins本身就是一个war包 使用Java -jar jenkins.war就可以很方便启动一个jenkins服务，但是这种部署方式很容易受到运行环境的干扰，jdk版本，服务器环境等，如果后续服务需要迁移、扩容会比较麻烦。其实这种像jenkins这种无状态应用非常适合使用docker来部署，后续扩展迁移可以完全保证环境的一致性。下面我们使用docker快速部署一个jenkins服务🔗。...原创 2022-08-22 18:15:08 · 1449 阅读 · 0 评论 -
[Database] MySQL 系统表解析以及各项指标查询
MySQL 安装完成之后会生成, information_schema , mysql, performance_schema, sys 四个数据库,下面我们解析这几个数据库。原创 2022-08-16 17:13:11 · 1399 阅读 · 0 评论 -
[NAS] Synology (群晖) DSM同步数据到阿里云盘
群晖NAS通过webDAV同步阿里云盘的一些方法会因为某些开源项目的开发者放弃维护而失效，这里介绍一个最新同步到阿里云盘的方法。原创 2022-08-15 15:59:29 · 7817 阅读 · 1 评论 -
[NAS] Synology (群晖) DSM相关服务及套件安装
✨Hyper Backup可备份NAS套件数据主要特点是有两台群晖NAS机器, 进行相关定时检测同步。原创 2022-08-14 19:31:21 · 3873 阅读 · 0 评论 -
[NAS] Synology (群晖) DSM 7.X 挂载NTFS硬盘
群晖默认支持的文件系统有btrfs和ext4,对于一些媒体影音游戏等比较大的文件,组RAID做热备对于笔者个人来说不太划算, 而在系统升级或者换设备备份时候把这些挟裹进去,备份文件则是巨大无比.笔者的分盘策略是RAID5只存系统软件类电子书之类的软件, 挂载NTFS做云备份 + 冷备, 视频影音等媒体文件做成外挂NTFS（DSM默认不支持SATA只读）所以就有了这篇文章。...原创 2022-08-14 05:49:21 · 21316 阅读 · 5 评论 -
[基础服务] [数据库] ClickHouse的安装和配置
使用Docker安装ClickHouse ClickHouse原理解析与应用实战|localhost|数据表|磁盘|索...原创 2022-07-24 10:00:00 · 1263 阅读 · 0 评论 -
[ELK实战] Elasticsearch 常用操作 (基于DSL)
为什么不能修改一个字段的type？原因是一个字段的类型修改以后，那么该字段的所有数据都需要重新索引。Elasticsearch底层使用的是lucene库，字段类型修改以后索引和搜索要涉及分词方式等操作。索引库一旦mapping创建后无法修改和删除，但是可以添加新的字段。query下面的参数有match/...原创 2022-07-21 15:19:26 · 966 阅读 · 7 评论 -
[ELK实战] Elasticsearch 聚合查询二: Bucketing/桶聚合
指标聚合有参数有聚合类型聚合参数简介Bucketing-范围聚合查询Bucketing-时间范围聚合查询Bucketing-分组统计Bucketing-直方图统计Bucketing-时间直方图统计。原创 2022-07-19 15:32:32 · 1816 阅读 · 2 评论 -
[ELK实战] Elasticsearch 聚合查询一: Metric/指标聚合
指标聚合有参数有聚合类型聚合参数简介Metricmin最小值Metricmax最大值Metricavg平均值Metricsum求和Metricstats综合统计Metric统计某字段有值的文档数Metric-值去重计数Metric-高级统计，比stats多4个统计结果平方和、方差、标准差、平均值加/减两个标准差的区间。Metric-求文档集中的地理位置坐标点的范围Metric-求地理位置中心点坐标值Metric-占比百分位对应的值统计。......原创 2022-07-19 13:57:49 · 1221 阅读 · 0 评论 -
[基础服务] [数据库] MySQL 主从复制部署与配置
重启完成执行以下SQL1.2: 创建从库账号从数据库修改配置后执行SQL然后在主库进行CRUD后从库可以正常同步参考资料 & 致谢[1] 解决MySQL主从数据库没有同步的两种方法原创 2022-07-14 17:17:03 · 609 阅读 · 0 评论 -
[玩转ES] ES批量/全量导入数据
将mysql-connector-java-8.0.11.jar copy到logstash/bin/mysql目录下1.2.2 JDBC 同步配置1.2.2.1 全量更新文件名称: init-mysql2es.conf1.2.2.2 增量更新文件名称: sync-mysql2es.conf1.2.3 运行脚本导入成功kibana 查看已经导入成功[1] mysql （全量）数据导入到 elasticsearch[2] 通过Logstash实现mysql数据定时增量同步到ES..原创 2022-07-11 02:16:19 · 5122 阅读 · 0 评论 -
[Docker] MySQL安装和配置
[玩转Linux] [Docker] MySQL安装和配置1.4运行容器运行成功二: 修改Docker (MySQL)相关配置找到容器的配置目录默认配置文件重启容器三:删除Docker容器参考资料 & 致谢[1] docker修改容器配置文件的3种方法总结.....................原创 2022-07-05 19:10:09 · 1215 阅读 · 0 评论 -
[基础架构] [Flink] Flink/Flink-CDC的部署和配置
Flink 以及 Flink -CDC 部署与配置原创 2022-07-05 11:22:43 · 9886 阅读 · 11 评论 -
【Win平台开发-基础服务】MongoDB安装和配置
windows10环境下的MongoDB安装步骤记录下本人在WindowsServer环境下安装MongoDB的步骤，以作备忘。一：下载并安装MongoDB下载地址：官网下载二：配置MongoDBMongoDB5.0安装版安装完成后，MongoDB服务在本地服务的名称为“MongoDB Server (MongoDB)”。启动MongoDB服务后就可用用mongo命令来启动客户端连接数据库了。默认端口号27017。数据文件信息默认存储在data下。若要修改默认端口号或数据文件存储位置，则可用在原创 2022-05-10 19:35:05 · 619 阅读 · 0 评论 -
【基础架构】【Windows平台】Canal全家桶的安装和配置
数据库同步软件MySQL配置1.开启binlog找到mysql安装目录 mysql --help|grep my.cnf 编辑my.cf[mysqld]log_bin#开启binloglog-bin = mysql-bin#选择row模式binlog-format = ROW#配置mysql replication需要定义,不能喝canal的slaveId重复server_id = 1 查看是否开启binlog日志运行以下sql (如果显示OFF则代表未开启。在MyS.原创 2021-12-24 01:38:35 · 2188 阅读 · 0 评论 -
[基础服务-windows] [ELK] ElasticSearch + Kibana + Logstash 以及插件安装和配置
步骤/详情一：下载注意的是下载版本为免安装版。下载地址：https://www.elastic.co/cn/downloads/elasticsearch笔者选择的是当前最新版二： 安装ES服务Window版的ElasticSearch的安装很简单，类似Window版的Tomcat，解压开即安装完毕，解压后的ElasticSearch的目录结构如下：修改elasticsearch配置文件，config/elasticsearch.yml文件，增加文件内容如下：# 开启跨域访问http.原创 2021-12-13 02:09:55 · 5524 阅读 · 2 评论 -
【Win平台开发-基础服务】MySQL 安装和配置
步骤/详情一：下载注意的是下载版本为免安装版。下载地址：https://downloads.mysql.com/archives/community/笔者选择的是5.7的当前最后一个小版本下载完成后解压到指定存放位置，解压后文件目录为mysql-5.7.20-winx64，具体目录结构如下：mysql +bin +docs +include +lib +share COPYING README解压后是不存在data文件夹和my.ini配置文件的，这些需要通过手动配置生成。二原创 2021-12-13 01:41:57 · 1332 阅读 · 0 评论 -
Mybatis 框架下 SQL 注入攻击的 3 种方式
前言SQL注入漏洞作为WEB安全的最常见的漏洞之一，在java中随着预编译与各种ORM框架的使用，注入问题也越来越少。新手代码审计者往往对Java Web应用的多个框架组合而心生畏惧，不知如何下手，希望通过Mybatis框架使用不当导致的SQL注入问题为例，能够抛砖引玉给新手一些思路。方法 / 步骤一、Mybatis的SQL注入Mybatis的SQL语句可以基于注解的方式写在类方法上面，更多的是以xml的方式写到xml文件。Mybatis中SQL语句需要我们自己手动编写或者用generator自原创 2020-08-03 09:34:33 · 1050 阅读 · 0 评论