胜天半子

Canal的详细设计总结

Compaction原理

一、DTS是什么DTS（Data Transmission Service, 数据传输服务），用于在关系型数据库、NoSQL数据库、数据仓库之间迁移数据。可以使用DTS将数据迁移至阿里云，也可以在阿里云和本地数据系统之间做数据迁移。二、DTS的优势相比传统的数据传输工具，DTS的优势：1）传输过程中保证高稳定性2）支持多种数据传输方式，包括：数据迁移、数据集成、数据同步、数据订阅。3）支持各种数据源直接的数据迁移。（如MySQL，redis等）4）支持多种数据库引擎作为源和目标5）支持断点

一、Hadoop简介Hadoop最早只是单纯的值分布式计算系统，但随着时代的发展，目前hadoop已成了一个完整的技术家族。从底层的分布式文件系统（HDFS）到顶层的数据解析运行工具（Hive, Pig），再到分布式协调服务（Zookeeper），以及流行的分布式数据库（HBase），都属于Hadoop家族，几乎涵盖了大部分大数据应用场景。在Spark没流行之前，hadoop一直是大数据应用中的绝对主流，即使是现在，依旧有大量的中小型公司，还是依靠Hadoop搭建大数据系统。虽然如今Hadoop家族庞大

一、VKDS用于解决为什么问题1、分库分表2、替客户端写连接池3、保证主从高可用4、动态配置5、监控告警同类产品：shardingjdbc、drds/tddl、zebra二、

一、ElasticSearch简介1、ES是什么？ElasticSearch是个基于Lucene实现的、（准）实时的、分布式的全文搜索和分析引擎。准实时，意味着有轻微的延迟，通常为1秒，就可以从入库建索引文件到能够进行关键字搜索。2、ES能干什么？ES主要提供全文搜索、结构化搜索，以及分析的功能，并能将这三者混用。3、ES的特性支持Restful风格的http接口输入输出支持js...

一、前言databus源自Canal, 仅把内存缓存改成用kafka实现。当前Canal也已经支持了kafka缓存的方式。二、Canal介绍1、Canel简介canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获...

1、简介vktranslate主要用于中文和英文的互相翻译。应用场景为老师和学生互相查看对方的信息，互相查看对方的评价。2、业务方使用vktranslate的流程业务方通过http接口调用翻译中心的controller，会执行下面的逻辑：1、校验请求参数的合法性2、翻译字符的长度拆分：字符数小于3000走腾讯字符数大于3000且小于5000走阿里字符数大于5000的话，拆分后，再...

1、概述vkpush用于移动端的离线推送push，只支持android端和iOS端，不支持web端。2、业务方使用vkpush的流程2.1、客户端注册绑定流程2.2、业务后端发送push流程...

1、概述pulse长连接服务，主要用于实现在线推送push功能，客户端通过TCP或websocket跟服务端建立长连接，服务端可通过http向服务端发送push消息，并指定一个或多个userId。2、架构3、待优化3.1、性能瓶颈批量推送时，需要限流。被限流的话，推送方会重发。有性能瓶颈。3.2、消息到达率统计后续可统计推送消息到达率多少，及增加ack重推机制。3.3、在线与离线...

1、Flink的架构flink服务调用阿里的flink实时计算平台，有两种方式：通过java生成个jar在阿里的产品平台上写个SQLflink服务主要用于cat, vklm（天网监控系统）。2、Flink的OKR1、平台化【由于新接入的需求很少，且接入门槛不是很高，是否有必要做平台化】2、可靠性3、完善监控3、剩余问题1、确认是否需要做平台化2、把昌成那边的数据要过来...

1、概述这里的打点服务，是用于替代神策的数据埋点服务，然后仍然使用神策的数据分析功能。所以，需要先了解神策数据的情况：神策数据提供数据埋点和数据分析的全套的解决方案。1、通过神策提供的各个端的客户端SDK来实时收集数据到神策服务端。2、结合具体的业务需求，使用抽象的各个数据分析模型，生成所关心的核心指标供用户进行查询。1.1、神策的数据模型简介在神策分析中，使用“事件模型（Event...

1、为什么需要用ELK对于常见的无状态服务查日志时，由于是分布式的，日志会落到多台服务器上，一台一台grep太费劲，所以需要一个地方可以统一查询日志。一个集中式日志系统包含下面几个特点：搜集：采集多种来源的日志数据传输：可以稳定地把日志从各个来源传输到日志搜集系统存储：日志搜集系统存储日志数据分析：支持UI页面分析查询告警：能够发送错误告警ELK利用三个开源软件Elastics...

一、ZooKeeper 的数据模型它很像数据结构当中的树，也很像文件系统的目录。树是由节点所组成，ZooKeeper 的数据存储也同样是基于节点，这种节点叫做 Znode。但是，不同于树的节点，Znode 的引用方式是路径引用，类似于文件路径：/ 动物 / 仓鼠/ 植物 / 荷花这样的层级结构，让每一个 Znode 节点拥有唯一的路径，就像命名空间一样对不同信息作出清晰的隔离。Z...

11