
分布式存储
文章平均质量分 92
麦神-mirson
十余年项目从业经验,先后服务于多家国内外上市公司,担任高工,架构师与研发经理等重要角色。主导多个大型项目的架构设计、研发与管理工作。在金融、电商领域具备丰富的实战经验, 擅长微服务分布式架构, 高并发缓存架构,异步队列架构, 亿级分库分表等架构设计与运用, 拥有广泛的技术面与丰富的实践经验, 热衷复杂场景的设计解决方案。
展开
-
【生产级实践】Docker部署配置Hadoop3.x + HBase2.x实现真正分布式集群环境
网上找了很多资料,但能够实现Docker安装Hadoop3.X和Hbase2.X真正分布式集群的教程很零散,坑很多, 把经验做了整理, 避免趟坑。原创 2023-04-09 10:34:37 · 2927 阅读 · 2 评论 -
TDEngine集群监控组件安装配置(Telegra+Grafana方案)
1)检查数据库是否生成了采集数据库udb, 如果没有生成, 检查telegraf的配置, 并且确认6041端口是否开放;需要在集群的所有数据节点上, 都安装telegraf(参考第2节),将采集的数据写入到tdengine中。在Grafana主页, 左侧功能菜单中, 点击“+”选择“import”导入功能, 将配置文件导入进去。2)检查grafana的看板配置参数, database的监控数据库名称是否正确。命令,可以查看Telegraf是否正常运行,并输出采集到的数据。原创 2023-03-02 16:09:51 · 1545 阅读 · 1 评论 -
【Spring Boot 集成应用】Spring Boot与MongoDB的集成配置使用
Spring Boot Data MongoDB 集成运用, 主要包含模板模式,JPA Repository 模式和响应模式,以及事务的使用。 在一般情况下, 采用模板模式即可满足需要, 如果需要用到事务, 查询复杂, 操作量大的话可以采用JPA模式。 交互频繁的场景性下, 建议自定义封装连接池使用, 提升性能与稳定性...原创 2022-08-27 17:02:14 · 1848 阅读 · 0 评论 -
MongoDB的集群安装搭建配置
MongoDB的单节点安装与集群安装配置搭建原创 2022-08-21 11:05:05 · 1096 阅读 · 0 评论 -
SpringBoot下如何实现Redis + Caffeine二级分布式高性能缓存
一、 设计目的支持Spring Boot 服务下,Redis + Caffeine的高性能分布式缓存的实现。减少应用服务的集成接入成本,快速实现缓存, 通过AOP方式拦截处理, 不侵入原业务逻辑。支持多种功能特性,如异步、超时(全局/单条控制)、压缩等,满足各种业务场景需要。二、 服务结构应用服务通过集成GEMINI-CACHE缓存组件, 实现对应用服务接口的缓存功能,内部通过AOP机制做拦截处理, 不侵入业务逻辑, 支持一级、二级缓存的保存、更新与删除,以及实现分布式缓存的同步功能。一原创 2021-10-04 11:03:50 · 36510 阅读 · 0 评论 -
深入剖析Zookeeper原理(一)整体设计
1. ZK集群架构设计与特性1. ZK集群架构设计:ZK主要分为三种角色:演示查看ZK的角色状态, 命令: bin/zkServer.sh status角色的主要职责与作用?Leader(领导者):一个Zookeeper集群同一时间只会有一个实际工作的Leader,它会发起并维护与各Follwer及Observer间的心跳。所有的写操作必须要通过Leader完成再由Leader将写操作广播给其它服务器。Follower(跟随者):一个Zookeeper集群可能同时存在多个Follow原创 2021-08-09 23:29:44 · 32712 阅读 · 0 评论 -
基于阿里云的基础架构设施保障(四)IAAS进阶实践运用
1. 高可用弹性伸缩实践背景弹性伸缩是云服务架构的重要优势,能够很好的解决高并发场景下的性能瓶颈, 同时节省运营成本。在 IaaS 端,能够弹性伸缩的最实用的产品形态,一般是虚拟机编组。阿里云提供了弹性伸缩的功能。要实现弹性伸缩服务, 还需要负载均衡器作为辅助组件,它可以将流量均匀地,或者按照一定权重或规则,分发到多台虚拟机上。 在峰值场景下,可以实现对应用服务的动态扩容, 在低峰下, 可以缩减节点, 降低运营成本。创建ECS实例实例创建完成之后, 需要绑定弹性IP 如果没有弹性公网原创 2021-08-08 12:00:01 · 33002 阅读 · 0 评论 -
Ceph分布式存储实践应用之集群测试验证(Rados运用)
1. 创建Cephfs集群创建完后, 默认没有文件系统,要是实现文件的存储操作,我们还需创建一个Cephfs可以支持对外访问的文件系统。创建两个存储池, 执行两条命令:ceph osd pool create cephfs_data 128ceph osd pool create cephfs_metadata 64少于5个OSD可把pg_num设置为128OSD数量在5到10,可以设置pg_num为512OSD数量在10到50,可以设置pg_num为4096OSD数量大于50,需要计算p原创 2021-04-06 18:31:50 · 32488 阅读 · 0 评论 -
Centos7系统Ceph Swift Api 使用 (下篇)
目的脉络知行合一原创 2019-12-11 14:48:47 · 712 阅读 · 0 评论 -
Centos7系统Docker Ceph 集群的安装配置(中篇)
目的脉络知行合一原创 2019-12-09 23:31:50 · 6209 阅读 · 16 评论 -
Centos7系统下Ceph分布式存储集群的部署搭建配置(上篇)
初识Ceph 是一个去中心化的分布式存储系统, 拥有较好的性能、可靠性和可扩展性。与其他主流存储系统对比:对比说明TFSFASTDFSMooseFSGlusterFSCEPH开发语言C++CCCC++数据存储方式块文件/Trunk块文件/块对象/文件/块在线扩容支持支持支持支持支持冗余备份支持支持支持支持支...原创 2019-12-05 00:34:53 · 1510 阅读 · 1 评论