数据库
关注
分享
扫一扫
文章平均质量分 80
付江
关注软件开发和互联网业界
展开
-
MySQL多源复制实战
本文是滴滴云开源框架教程系列文章的一篇。一、多源复制概述MySQL多源复制使复制从库能够同时从多个源接收事务。多源复制可用于将多个服务器备份到单个服务器，合并表分片，以及将来自多个服务器的数据合并到单个服务器。二、多源复制的配置多源复制拓扑中的主设备可以配置为使用基于全局事务标识符（GTID）的复制或二进制日志基于位置的复制。多源复制拓扑中的从库需要基于TABLE存储，多源复制与基于FIL...原创 2018-11-09 12:17:17 · 1111 阅读 · 0 评论 -
基于滴滴云 MySQL 验证索引优化简单查询
1. MySQL 的索引索引用于快速查找具有某一特定列值的行，如果不使用索引，MySQL 必须从表中的第一行开始读取整个表来找到相关的行，表越大，开销越大。如果表中有待查询列的索引，MySQL 可以在数据文件中快速定位所要查找的内容，而不用查询所有数据，速度大大优于顺序读取每一行数据。本文将重点介绍基于滴滴云 MySQL 验证默认引擎 InnoDB 下索引对于简单查询的优化效果。2. B+ ...原创 2019-01-28 10:47:01 · 355 阅读 · 0 评论 -
滴滴 Elasticsearch 多集群架构实践
Elasticsearch 是基于 Lucene 实现的分布式搜索引擎，提供了海量数据实时检索和分析能力。Elastic 公司开源的一系列产品组成的 Elastic Stack，可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。一、滴滴 Elasticsearch 简介滴滴 2016 年初开始构建 Elasticsearch 平台，如今已经发展到超过 3500+ Elasticse...原创 2019-01-09 11:14:32 · 397 阅读 · 0 评论 -
基于滴滴云搭建安全稳定的 Memcached 服务器
介绍Memcached 是一种内存 cache 系统，通过将一些高频使用和最近经常访问的信息储存在内存中，可以明显地优化访问后端数据库的性能。直观上来看，借助于 Memcached 组件，可以大量减少访问数据库的请求数量。但是，如果不合理地配置 Memcached Server，有可能会使得系统受到大量的攻击。基于此，有必要创建安全稳定的 Memcached 服务器，加固 Memcached ...原创 2019-01-08 11:23:37 · 261 阅读 · 0 评论 -
滴滴云部署 ZooKeeper + Kafka
Kafka 是一种分布式的流处理平台，流处理平台有以下三个特点：发布和订阅流记录，类似于消息队列和企业消息系统。流记录的存储具有容错性。实时处理流记录。Kafka 广泛应用于以下两方面：为系统和应用之间的数据可靠传输建立实时的流式数据通道。为传输或响应数据流建立实时的流式应用。Kafka 以集群的方式运行在一台或跨机房的多台服务器上，储存在 Kafka 集群上的流记录用不同的...原创 2019-01-18 11:15:17 · 295 阅读 · 0 评论 -
MySQL5.7在滴滴云主机上的主从复制
MySQL5.7.9 主从同步配置环境CentOS 6.9 X86_64MySQL 5.7.9配置本文以在滴滴云主机 DC2 上的操作为例。首先要确定两台机器保证时间同步，然后确保两台机器已经安装好 MySQL5.7。登录账号：root，密码：123123 这里不做赘述。假设：MySQL-master：192.168.2.11MySQL-slave：:192.168.2.12...原创 2019-01-17 11:28:41 · 211 阅读 · 0 评论 -
Router-Based HDFS Federation 在滴滴大数据的应用
一、背景HDFS 的 Master/Slave 架构，使得其具有单点瓶颈，即随着业务数据的大规模膨胀，Master 节点在元数据存储与提供服务上都会存在瓶颈。为了克服 HDFS 单点瓶颈存在的扩展性、性能、隔离问题，社区提出了Federation（https://issues.apache.org/jira/browse/HDFS-1052 ）方案来进行解决。但是使用该方案之后，暴露给客户的问...原创 2019-01-11 11:11:43 · 1888 阅读 · 0 评论 -
在滴滴云 DC2 上搭建 ProxySQL 中间件
前言ProxySQL 是什么ProxySQL 是一个高性能、高可用、兼容 MySQL 通信协议、支持多种 MySQL 分支的代理中间件。准备系统硬件滴滴云服务器 ( DC2 ) : 安全可靠，拥有极高的性价比高，为开发者的需求而设计。适合大中小型用户购买使用。本文示例采用：通用型 2核CPU 4GB内存 500G的EBS 云盘的服务器配置依赖软件系统：CentOS 7.4Mari...原创 2018-12-25 11:31:58 · 246 阅读 · 0 评论 -
如何用 Minio SDK 访问滴滴云对象存储
一、 前言滴滴云对象存储 S3 定位分布式海量数据存取服务。S3 提供标准的对象存储服务，您可以通过网络随时随地方便地存储和获取图片/音频/视频/文本/大文件等各类数据文件。Minio 是一个开源的对象存储项目，它兼容亚马逊 S3 云存储服务接口，GitHub 地址是：https://github.com/minio。Minio SDK 是一个非常轻量 SDK，本文将以 Python ( m...原创 2018-12-19 13:14:06 · 5301 阅读 · 0 评论 -
基于 DC2 和 Docker Compose 搭建 TiDB
TiDB 简介TiDB 是一款由 PingCAP 设计的开源分布式 HTAP 数据库。结合了传统的 RDBMS 和 NoSQL 优势，TiDB（NewSQL）具备以下特性：高度支持 MySQL 协议轻松应对水平扩展100% 支持分布式 ACID 事务基于 Raft 协议保证数据一致性，并实现故障自动恢复一站式 HTAP 解决方案云原生 SQL 数据库TiDB 可以轻松替换现有的...原创 2018-12-12 13:09:19 · 266 阅读 · 0 评论 -
在滴滴云 DC2 云服务器上搭建 MongoDB 实战
前言MongoDB 介绍MongoDB 是由 C++ 语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB 旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 将数据存储为一个文档，数据结构由键值 ( key=>value ) 对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他...原创 2018-12-17 11:04:33 · 238 阅读 · 0 评论 -
如何使用 LVM 管理滴滴云 EBS
LVM 介绍LVM ( Logical Volume Management ) 是一种存储设备管理技术，使用户能够汇集和抽象存储设备组件的物理布局，从而实现对物理磁盘简单灵活的管理。利用 Linux Device Mapper 内核框架，LVM2 可用于将现有存储设备组合到一起，并根据需要从组合空间分配逻辑单元。本文将介绍如何用 LVM 管理存储设备。接下来将展示如何显示逻辑卷的相关信息，如何...原创 2018-12-20 14:03:40 · 237 阅读 · 0 评论 -
使用 Minio Client 访问滴滴云 S3 对象存储
如何申请滴滴云 S3 的 Bucket？先注册**滴滴云账号**，进入：https://app.didiyun.com/#/s3/add 申请 Bucket，如下图：填写名称和设置访问权限，点立即创建即可。如何申请 AK 和 SK？操作步骤：点击“API”按钮。选择“对象存储密钥”。点击“创建 API 密钥”。即可得到的 SecretID 和 SecretKey 值.如何...原创 2018-12-13 11:32:46 · 2786 阅读 · 0 评论 -
如何在滴滴云 DC2 上搭建高可用 MySQL 集群
前言MySQL 高可用集群MySQL 高可用集群是通过第三方软件实现的故障转移技术，通常是通过 MHA+Keepalived 或者 MHA+ 脚本等来实现，本例子将采用 Keepalived 实现。准备系统硬件滴滴云服务器（DC2）：安全可靠，拥有极高的性价比高，为开发者的需求而设计。适合大中小型用户购买使用。本文示例采用：通用型 2核CPU 4GB内存 500G的EBS 云盘的服务器...原创 2018-12-13 11:29:44 · 311 阅读 · 1 评论 -
在滴滴云上搭建 MongoDB 集群 （一）
1、准备工作我们之前已经介绍过了 MongoDB 在滴滴云上的搭建。参考：<<在滴滴云 DC2 云服务器上搭建 MongoDB 实战>>但是生产环境中，通常需要更高的稳定性要求，单机版的 MongoDB 服务器并不能满足，因此我们需要高可用的 MongoDB 集群。硬件准备我们本次只是模拟集群的搭建。因此直接采用上一次的搭建环境，通过不同的端口模拟集群。2、简介..原创 2019-02-25 11:40:14 · 356 阅读 · 0 评论