
缓存技术
文章平均质量分 55
筑梦之路
知识就是力量!
展开
-
NFS性能优化参考 —— 筑梦之路
因此我们在访问文件的时候应该尽量保持文件的打开状态,避免重复打开关闭文件,这样NFS全路径的逐级检查。这种方法对NFSv4以后的版本适用,但对于NFSv3及以前的版本并不适用,因为他们是无状态的。似乎这个并不好实现,因为文件的大小是业务决定的,我们似乎很难控制文件的大小。但是,如果是自己开发的应用程序, 在保存数据的时候尽量以大文件的形式,而非小文件的形式,这对性能是有益的。,也就是一个目录中文件的数量不要太多。服务端的有些文件系统变量目录像的效率并不高,当目录项太多时,查找将非常耗时。原创 2024-03-18 17:44:17 · 864 阅读 · 0 评论 -
DragonflyDB 作为GoDNS存储 —— 筑梦之路
基于golang的supervisord进行管理。原创 2024-03-15 14:35:21 · 880 阅读 · 0 评论 -
命令行重置kafka消费最新数据 —— 筑梦之路
kafka消费能力不足,消息积压太多,现需要重置消费,使其消费最新的数据。原创 2024-01-09 10:40:38 · 1455 阅读 · 0 评论 -
批量在线迁移redis —— 筑梦之路
使用redis-cli连接到host2服务器,执行restore命令将键值恢复到host2服务器,ttl=0代表永不过期。使用redis-cli连接到host1服务器,n代表database,执行keys "*"命令获取所有键名。对于每个键名,使用redis-cli连接到host1服务器,执行dump命令将键值序列化输出。使用perl -pe 'chomp if eof'命令处理输出结果,去除换行符。使用while read key循环读取每个键名。废话不多说,直接上脚本。原创 2024-01-02 15:11:32 · 557 阅读 · 0 评论 -
dcoker-compose一键部署EFAK —— 筑梦之路
EFAK,以前称为)是一款由国内公司开源的Kafka集群监控系统,可以用来,并进行可视化图表展示。独特的KQL还可以通过SQL在线查询kafka中的数据。原创 2023-12-15 16:18:44 · 635 阅读 · 0 评论 -
MQTT 介绍与学习 —— 筑梦之路
MQTT(Message Queuing Telemetry Transport,消息队列遥测传输协议),是一种基于发布/订阅(publish/subscribe)模式的"轻量级"通讯协议。客户端服务端一个使用MQTT协议的应用程序或者设备,它总是建立到服务器的网络连接。客户端可以:也称为"消息代理"(Broker),可以是一个应用程序或一台设备。它是位于消息发布者和订阅者之间,它可以:- (1)发布其他客户端可能会订阅的信息;- (1)接受来自客户的网络连接;原创 2023-12-15 14:44:48 · 1283 阅读 · 0 评论 -
开源CDN软件GoEdge —— 筑梦之路
多用户日志审计集群管理HTTP/HTTPS/TCP/UDP等协议支持WAF缓存DNS自动解析多域名绑定免费证书申请IP黑白名单访问日志统计内容压缩Protocol Proxy协议本地静态文件URL跳转路由规则重写规则访问控制字符编码自定义页面自定义HTTP HeaderWebsocketWebP自动转换Fastcgi请求限制流量限制。原创 2023-12-04 21:10:22 · 3714 阅读 · 0 评论 -
docker-compose部署redis主从集群 —— 筑梦之路
Redis(全称:Remote Dictionary Server,即远程字典服务器)是一个开源的高性能键值数据库和缓存系统。Redis 的数据结构支持字符串、哈希表、列表、集合和有序集合等类型。同时,Redis 还提供了丰富的操作指令,例如 GET/SET、INCR/DECR、HGET/HSET、LPUSH/RPUSH、SADD/SMEMBERS、ZADD/ZRANGE 等。除此之外,Redis 还支持事务、过期时间、发布/订阅等特性,能够方便地实现各种高效的数据存储和读取方案。原创 2023-06-06 16:29:36 · 594 阅读 · 0 评论 -
Elasticsearch 8.X 性能优化参考 —— 筑梦之路
遵循这些最佳实践,可以确保Elasticsearch部署性能高、可靠且可扩展。请记住,Elasticsearch是一个功能强大的搜索和分析引擎,可以快速并近乎实时地处理大量数据,但是要充分利用它,需要计划、优化和监控部署。以上建议仅供参考,实操环节以 Elasticsearch 官方文档和自己集群的性能测试结论为准。没有普适的优化建议,只有适合自己的优化才是最好的优化。原创 2023-05-30 16:23:12 · 1516 阅读 · 0 评论 -
CentOS 7 NFS服务优化的配置参考—— 筑梦之路
性能调优是一个很复杂的问题,因为性能是由许多不同的变量定义的,其中最重要的是如何衡量性能。但是,您至少可以确定提高 NFS 性能的选项。NFS 是使用最广泛的 网络文件系统。对于中小型集群作为主存储,它非常容易设置并且性能相当好。关于 NFS 配置的最常见问题之一是如何针对性能和管理调整它,以及。如果应用程序不将它用于 I/O(例如/home。),甚至可以将它用于更大的集群。(3) NFS 管理/策略选项。(1) NFS 性能调优选项。(2) 系统调优选项。原创 2023-05-10 08:45:07 · 3496 阅读 · 0 评论 -
elasticsearch 故障恢复的参考 —— 筑梦之路
elastisearch 集群索引状态为red,数据上T大小,单个索引好几百个G,集群重启耗时过长,无法恢复正常状态。这一步目的:找到需要删除、业务层面彻底放弃的索引直接物理删除文件,为重启集群会减少恢复压力。2. 避免大索引,比如上百G的索引,把ILM用起来,历史数据该清理的清理、该冷的冷处理方为王道。提速的核心:删除历史“包袱”(将来不再需要的大索引),以间接使得集群恢复加速。如下的验证,仅在单节点集群验证 ok,多节点原理一致。返回有关分片恢复的信息,包括正在进行的和已完成的。原创 2023-04-28 17:45:24 · 2202 阅读 · 0 评论 -
CentOS7 LVM 逻辑卷2种读写策略(磁盘IO性能优化)—— 筑梦之路
当多个进程同时访问一个磁盘时,可能会出现磁盘冲突。磁盘系统对访问次数(每秒的IO操作,IOPS)和数据传输速率(读写速率,TPS)有限制。当达到这些限制时,后面需要访问磁盘的进程就需要挂起等待,这就是磁盘冲突。避免磁盘冲突是优化I/O性能的一个重要目标。条带化技术是一种自动的将I/0。原创 2023-02-02 11:17:36 · 2200 阅读 · 0 评论 -
CentOS7 利用lvm cache结合机械盘和SSD盘实现磁盘IO性能提升 —— 筑梦之路
2.系统盘100G (机械盘)+ 数据盘 100G(机械盘)+ SSD缓存盘64G。1.操作系统:CentOS7 最小化安装。原创 2023-02-02 09:37:46 · 3270 阅读 · 0 评论 -
(脚本)一键部署redis任意版本 —— 筑梦之路
chmod 755 redis-install.sh && sh redis-install.sh 4.0.10搜集自网络,仅作参考原创 2022-07-03 21:53:41 · 231 阅读 · 0 评论 -
centos/ubuntu arm版编译安装redis 稳定版 —— 筑梦之路
安装编译工具包# CentOS/Rhelyum -y install git wget gcc make bc tcl# Ubuntusudo apt-get install git wget gcc make bc#下载稳定版源码包wget https://download.redis.io/redis-stable.tar.gz#解压tar -xf redis-stable.tar.gz && cd tar -xf redis-stable#编译安装.原创 2022-04-03 00:28:51 · 843 阅读 · 0 评论 -
k8s 搭建etcd-cluster集群(业务调用非k8s集群,包含dockefile,支持多架构镜像)—— 筑梦之路
直接上yaml文件#etcd-cluster-cm.yamlapiVersion: v1kind: ConfigMapmetadata: name: etcd-cm namespace: merrydata: ETCD_ROOT_PASSWORD: "admin123"#etcd-cluster-deploy.yamlapiVersion: apps/v1kind: StatefulSetmetadata: labels: app: etcd name.原创 2022-04-02 16:46:15 · 1666 阅读 · 4 评论 -
RedisInsight redis官方可视化工具 —— 筑梦之路
RedisInsight 是一个直观高效的 Redis GUI 管理工具,它可以对 Redis 的内存、连接数、命中率以及正常运行时间进行监控,并且可以在界面上使用 CLI 和连接的 Redis 进行交互(RedisInsight 内置对 Redis 模块支持)。官方地址:RedisInsight | Redis Documentation Center功能:唯一支持 Redis Cluster 的 GUI 工具;可以基于 Browser 的界面来进行搜索键、查看和编辑数据;支持基于 SS原创 2022-03-25 20:14:14 · 630 阅读 · 0 评论 -
Fedora 35 自建局域网内DNS解析 —— 筑梦之路
DNS解析分为正向解析和反向解析,简单地说,正向解析为使用域名去访问,解析到实际的服务器ip;反向解析,则是使用ip去访问解析到域名。比较官方的介绍:DNS域名解析服务(Domain Name System)是用于解析域名与IP地址对应关系的服务,功能上可以实现正向解析与反向解析: 正向解析:根据主机名(域名)查找对应的IP地址。 反向解析:根据IP地址查找对应的主机名(域名)。工作形式上又分主服务器、从服务器和缓存服务器。 主服务器:在特定区域内具有唯一性、负责维护该区域内.原创 2022-03-19 21:18:16 · 396 阅读 · 0 评论 -
CentOS 7 Squid缓存代理服务器搭建——筑梦之路
简介:Squid 是 Linux/Unix 平台下最为流行的高性能免费应用层代理服务器,它具有权限管理灵活、性能高和效率快的特点。代理服务器可以提供文件缓存、复制和地址过滤等服务,充分利用有限的出口带宽,加快内部主机的访问速度。同时可以作为一个防火墙,隔离内外网,并且能够提供监控网络和记录传输信息的功能,加强局域网的安全性。代理服务器工作原理:1、客户端 A 向代理服务器发出访问 Internet 的请求 。2、代理服务器接受请求后,首先与访问控制列表中的访问规则相匹配,如果满足规则.原创 2022-03-14 00:25:36 · 875 阅读 · 0 评论 -
Varnish开源高性能反代和缓存服务器——筑梦之路
官方网站:Varnish HTTP Cache — Varnish HTTP Cachehttp://varnish-cache.org/对比:当前计算机系统的内存除了主存外,还包括CPU的L1级缓存、L2级缓存,甚至还包括L3级缓存。硬盘也有缓存,而Squid的架构导致其无法做到最佳存取,但操作系统可以实现这部分功能,所以这部分工作应该交给操作系统来处理,这就是Varnish Cache设计架构。挪威最大的在线报纸Verdens Gang(vg.no)使用了3台Varnish服务器代替了原来的12原创 2022-03-13 17:27:11 · 499 阅读 · 0 评论 -
NFS服务固定端口和安全加固——筑梦之路
NFS服务固定端口设置,主要是为了开通防火墙策略,比如网闸这里介绍常规的和非常规两种方式的配置1.常规配置vim /etc/sysconfig/nfsRQUOTAD_PORT=30001LOCKD_TCPPORT=30002LOCKD_UDPPORT=30002MOUNTD_PORT=30003STATD_PORT=30004固定的端口为30001-30004vim /etc/modprobe.d/lockd.confoptions lockd nlm_tcpport=3000.原创 2021-12-02 10:50:07 · 3765 阅读 · 0 评论 -
redis配置文件详解——筑梦之路
# 注意单位: 当需要配置内存大小时, 可能需要指定像1k,5GB,4M等常见格式# 1k => 1000 bytes# 1kb => 1024 bytes# 1m => 1000000 bytes# 1mb => 1024*1024 bytes# 1g => 1000000000 bytes# 1gb => 1024*1024*1024 bytes## units are case insensitive so 1GB 1Gb 1gB are all .原创 2021-10-29 11:44:51 · 208 阅读 · 0 评论 -
centos 6 最小化系统 搭建本地DNS缓存服务器——筑梦之路
本地DNS缓存的作用是将根DNS或远程DNS查询的结果在本地主机上进行缓存,加快DNS查询的速度。同时对于内网中假设只有一台主机可以上外网的情况下,也可以通过将内网主机的DNS指向能上外网的主机,从而解析出外网域名和IP的对应关系。centos 6 下搭建DNS缓存服务器 加速网站访问2020-6-30操作系统版本:centos 6.10 minal x86_64网络ip地址:192.168.8.15主要使用的软件包:bind-libs.x86_64 #提供库文件bin...原创 2020-06-30 16:41:26 · 409 阅读 · 0 评论 -
高性能、分布式内存对象缓存系统memcached初识
1.memcached介绍:这是一款开源免费的、高性能、分布式内存对象缓存系统,基于内存的key-value存储,主要存储小块的任意数据,比如字符串、对象,这些数据可以是数据库调用、API调用或者是页面渲染的结果,目前主要用于提升web应用的性能。2.memcached特点:键值对模式的存储方式,键是唯一的;简洁而强大,便于快速开发,难度低,解决了大数据量多缓存的问题;兼容大部分的原创 2017-05-24 11:09:04 · 570 阅读 · 0 评论