<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wangchewen的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wangchewen</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wangchewen]]></copyright><item><title><![CDATA[带你了解 HBase 数据模型和 HBase 架构]]></title><link>https://blog.youkuaiyun.com/wangchewen/article/details/121168799</link><guid>https://blog.youkuaiyun.com/wangchewen/article/details/121168799</guid><author>wangchewen</author><pubDate>Sat, 06 Nov 2021 02:27:40 +0800</pubDate><description><![CDATA[HBase 架构：HBase 数据模型

众所周知，HBase 是一个面向列的 NoSQL 数据库。虽然它看起来类似于包含行和列的关系数据库，但它不是关系数据库。关系数据库是面向行的，而 HBase 是面向列的。那么，让我们首先了解面向列和面向行的数据库之间的区别：

面向行与面向列的数据库：

面向行的数据库以行的顺序存储表记录。而面向列的数据库 将表记录存储在一系列列中，即列中的条目存储在磁盘上的连续位置。
为了更好地理解它，让我们举个例子并考虑下表。



如果此表存储在面向行的数据库中。它将存储如下]]></description><category></category></item><item><title><![CDATA[数据仓库之数据质量建设（深度好文）]]></title><link>https://blog.youkuaiyun.com/wangchewen/article/details/121168789</link><guid>https://blog.youkuaiyun.com/wangchewen/article/details/121168789</guid><author>wangchewen</author><pubDate>Fri, 05 Nov 2021 18:52:18 +0800</pubDate><description><![CDATA[数仓建设真正的难点不在于数仓设计，而在于后续业务发展起来，业务线变的庞大之后的数据治理，而数据治理的范围非常广，包含数据本⾝的管理、数据安全、数据质量、数据成本等。在这么多治理内容中，大家想下最重要的治理是什么？当然是数据质量治理，因为数据质量是数据分析结论有效性和准确性的基础，也是这一切的前提。所以如何保障数据质量，确保数据可用性是数据仓库建设中不容忽视的环节。



数据质量涉及的范围也很广，贯穿数仓的整个生命周期，从数据产生-&gt;数据接入-&gt;数据存储-&gt;数据处理-&gt;数据输出-&g]]></description><category></category></item><item><title><![CDATA[TDSQL交易型分布式数据库背景分析]]></title><link>https://blog.youkuaiyun.com/wangchewen/article/details/121168786</link><guid>https://blog.youkuaiyun.com/wangchewen/article/details/121168786</guid><author>wangchewen</author><pubDate>Fri, 05 Nov 2021 18:51:33 +0800</pubDate><description><![CDATA[一、背景

随着各行各业电子信息化的不断加深，线上交易数据保持了长时间高速增长的态势，对数据存储的需求越来越大，数据库管理系统（DBMS）面临越来越大的性能、空间和稳定性压力。在此过程中，得利于计算&amp;存储&amp;网络等硬件领域的不断进步，业界流行的数据库管理系统逐步从单机架构向分布式架构演变。笔者希冀从梳理数据库管理系统所面临的一个又一个实际挑战及业界所提出的诸多解决方案的过程中，发现片缕灵感以指引未来的数据库开发工作。

二、从单机数据库到分布式数据库

业界起步阶段诞生的第一代交易型数据库具有]]></description><category></category></item><item><title><![CDATA[想了解Xtrabackup备份原理和常见问题分析，看这篇就够了]]></title><link>https://blog.youkuaiyun.com/wangchewen/article/details/121168768</link><guid>https://blog.youkuaiyun.com/wangchewen/article/details/121168768</guid><author>wangchewen</author><pubDate>Fri, 05 Nov 2021 18:50:51 +0800</pubDate><description><![CDATA[本文来自华为云MySQL研发团队，主要分享了MySQL备份工具Xtrabackup的备份过程、华为云数据库团队对其做的优化改进，以及在使用中可能遇到的问题与解决方法。文章讨论的内容主要是针对华为云RDS for MySQL, 以及用户自建的社区版MySQL数据库，希望有助于大家理解和使用Xtrabackup，以后面对Xtrabackup问题也更加从容。

一、Xtrabackup简介

Xtrabackup是Percona团队开发的用于MySQL数据库物理热备份的开源备份工具，具有备份速度快、支持备份数据压]]></description><category></category></item><item><title><![CDATA[Spring Boot中使用PostgreSQL数据库]]></title><link>https://blog.youkuaiyun.com/wangchewen/article/details/121168751</link><guid>https://blog.youkuaiyun.com/wangchewen/article/details/121168751</guid><author>wangchewen</author><pubDate>Fri, 05 Nov 2021 18:49:55 +0800</pubDate><description><![CDATA[在如今的关系型数据库中，有两个开源产品是你必须知道的。其中一个是MySQL，相信关注我的小伙伴们一定都不陌生，因为之前的Spring Boot关于关系型数据库的所有例子都是对MySQL来介绍的。而今天我们将介绍另外一个开源关系型数据库：PostgreSQL，以及在Spring Boot中如何使用。

PostgreSQL简介

在学习PostgreSQL的时候，我们总是会将其与MySQL放一起来比较：MySQL自称是最流行的开源数据库，而PostgreSQL则标榜自己是最先进的开源数据库，那么有多先进呢？下]]></description><category></category></item><item><title><![CDATA[机器学习平台统一化分布式存储Ceph的进阶优化]]></title><link>https://blog.youkuaiyun.com/wangchewen/article/details/121168738</link><guid>https://blog.youkuaiyun.com/wangchewen/article/details/121168738</guid><author>wangchewen</author><pubDate>Fri, 05 Nov 2021 18:48:35 +0800</pubDate><description><![CDATA[自网易云音乐机器学习平台上线以来，承担着音乐内部推荐、搜索、直播、社交、算法工程等各个业务团队机器学习场景的需求， 这其中也遇到了很大的挑战，尤其是在分布式存储这块上，花费大量时间、精力，解决其中的核心问题。本文是网易数帆存储团队与网易云音乐机器学习平台与框架团队联合创作，向各位看官描述下，在机器学习场景，如何利用Ceph作为统一化的分布式存储，并基于此进行的相关的优化。

一、业务背景

随着互联网业务的飞速发展，大数据场景下的数据挖掘、算法模型，为业务发展提供精准的个性化能力，在这个过程中，ML Inf]]></description><category></category></item><item><title><![CDATA[数仓无损压缩算法：gzip算法]]></title><link>https://blog.youkuaiyun.com/wangchewen/article/details/121168705</link><guid>https://blog.youkuaiyun.com/wangchewen/article/details/121168705</guid><author>wangchewen</author><pubDate>Fri, 05 Nov 2021 18:46:14 +0800</pubDate><description><![CDATA[【算法原理】

gzip是一种无损压缩算法，其基础为Deflate，Deflate是LZ77与哈弗曼编码的一个组合体。它的基本原理是：对于要压缩的文件，首先使用LZ77算法的一个变种进行压缩，对得到的结果再使用哈夫曼编码（根据情况，使用静态哈弗曼编码或动态哈夫曼编码）的方法进行压缩。Deflate最初作为LZW以及其他受专利保护的数据压缩算法的替代版本而设计的，当时那些专利限制了compress以及其它一些流行的归档工具的应用。

【压缩核心Deflate】

1.LZ77算法

LZ77的核心思路是如果一]]></description><category></category></item><item><title><![CDATA[openGauss数据库源码解析系列文章—— 角色管理]]></title><link>https://blog.youkuaiyun.com/wangchewen/article/details/121168686</link><guid>https://blog.youkuaiyun.com/wangchewen/article/details/121168686</guid><author>wangchewen</author><pubDate>Fri, 05 Nov 2021 18:45:17 +0800</pubDate><description><![CDATA[9.3 角色管理

角色是拥有数据库对象和权限的实体，在不同的环境中角色可以认为是一个用户、一个组或者兼顾两者。角色管理包含了角色的创建、修改、删除、权限授予和回收操作。

9.3.1 角色创建

如果在openGauss上需要创建一个角色，可以使用SQL命令CREATE ROLE，其语法为：


CREATE ROLE role_name [ [ WITH ] option [ ... ] ] [ ENCRYPTED | UNENCRYPTED ] { PASSWORD | IDENTIFIED BY }]]></description><category></category></item><item><title><![CDATA[一文带你理解TDengine中的缓存技术]]></title><link>https://blog.youkuaiyun.com/wangchewen/article/details/121168673</link><guid>https://blog.youkuaiyun.com/wangchewen/article/details/121168673</guid><author>wangchewen</author><pubDate>Fri, 05 Nov 2021 18:44:13 +0800</pubDate><description><![CDATA[TDengine是一款高性能的物联网大数据平台。为了高效处理时序数据，TDengine中大量用到了缓存技术，自己实现了哈希表、缓存池等技术。今天我会为大家讲解TDengine中用到的这些缓存技术。



首先我会先介绍一下什么是缓存，常用的缓存技术，最后重点分享TDengine中的相关技术，最后讲一下改进和优化的方向。下面我们正式开始。



什么是缓存



凡是位于速度相差较大的两种硬件之间，用于协调两者数据传输速度差异的结构，均可称之为缓存。


	缓存最早是用来协调CPU和主内存之间的速度差异，..]]></description><category></category></item><item><title><![CDATA[PostgreSQL的checkpoint简析]]></title><link>https://blog.youkuaiyun.com/wangchewen/article/details/121168658</link><guid>https://blog.youkuaiyun.com/wangchewen/article/details/121168658</guid><author>wangchewen</author><pubDate>Fri, 05 Nov 2021 18:43:12 +0800</pubDate><description><![CDATA[一、Checkpoint简介



官方文档对于checkpoint的描述：




Checkpointsarepointsinthesequenceoftransactionsatwhichitisguaranteedthattheheapandindexdatafileshavebeenupdatedwithallinformationwrittenbeforethatcheckpoint.
Atcheckpointtime,alldi...]]></description><category></category></item><item><title><![CDATA[GaussDB (for Cassandra) 数据库治理：大key与热key问题的检测与解决]]></title><link>https://blog.youkuaiyun.com/wangchewen/article/details/121168640</link><guid>https://blog.youkuaiyun.com/wangchewen/article/details/121168640</guid><author>wangchewen</author><pubDate>Fri, 05 Nov 2021 18:41:57 +0800</pubDate><description><![CDATA[Cassandra数据库是一个高度可扩展的高性能分布式数据库，面向大数据场景，可用于管理大量的结构化数据。在业务使用的过程中，随着业务量和数据流量的持续增长，往往一些业务的设计弊端逐渐暴露出来，降低了集群的稳定性和可用性。比如主键设计不合理，单个分区的记录数或数据量过大，出现超大分区键，引起了节点负载不均，集群稳定性会下降，这一类问题称为大key问题。当某一热点key的请求在某一主机上的访问超过server极限时，会导致热点Key问题的产生。往往大key是造成热key问题的间接原因。

一款基于华为自研的计]]></description><category></category></item><item><title><![CDATA[Elasticsearch高并发写入优化的开源协同经历]]></title><link>https://blog.youkuaiyun.com/wangchewen/article/details/121142491</link><guid>https://blog.youkuaiyun.com/wangchewen/article/details/121142491</guid><author>wangchewen</author><pubDate>Thu, 04 Nov 2021 14:49:26 +0800</pubDate><description><![CDATA[导语：在腾讯金融科技数据应用部的全民 BI 项目里，我们每天面对超过 10 亿级的数据写入，提高 ES 写入性能迫在眉睫，在最近的一次优化中，有幸参与到了 Elasticsearch 开源社区中。

背景

为了更便捷地分析数据，腾讯金融科技数据应用部去年推出了全民 BI 的系统。这个系统通过 Elasticsearch 进行基础的统计，超过 10 亿级的数据量需要尽可能快速地导入到 ES 系统中。即使经过多次的参数优化，我们依然需要几个小时才能完成导入，这是系统此前存在的一大瓶颈。

在这样的背景下，我们]]></description><category></category></item><item><title><![CDATA[elasticsearch配置文件详解]]></title><link>https://blog.youkuaiyun.com/wangchewen/article/details/121142336</link><guid>https://blog.youkuaiyun.com/wangchewen/article/details/121142336</guid><author>wangchewen</author><pubDate>Thu, 04 Nov 2021 14:43:31 +0800</pubDate><description><![CDATA[由于公司的ES服务器近期出了点问题，这一块的任务交由及我，从完全不懂ES到现在慢慢了解它的配置参数，感觉收获比较多，在这里记录一下ES的核心配置文件elasticsearch.yml中的参数信息(就是从别人的博客中copy过来的)；

配置文件位于es根目录的config目录下面，有elasticsearch.yml和logging.yml两个配置，主配置文件是elasticsearch.yml，日志配置文件是logging.yml，elasticsearch调用log4j记录日志，所以日志的配置文件可以按]]></description><category></category></item><item><title><![CDATA[ElasticSearch 入门教程]]></title><link>https://blog.youkuaiyun.com/wangchewen/article/details/121142310</link><guid>https://blog.youkuaiyun.com/wangchewen/article/details/121142310</guid><author>wangchewen</author><pubDate>Thu, 04 Nov 2021 14:42:50 +0800</pubDate><description><![CDATA[ElasticSearch 是一个高可用开源全文检索和分析组件。提供存储服务，搜索服务，大数据准实时分析等。一般用于提供一些提供复杂搜索的应用。



ElasticSearch 提供了一套基于restful风格的全文检索服务组件。前身是compass，直到2010被一家公司接管进行维护，开始商业化，并提供了ElasticSearch 一些相关的产品，包括大家比较熟悉的 kibana、logstash 以及 ElasticSearch 的一些组件，比如 安全组件shield 。当前最新的ElasticSea]]></description><category></category></item><item><title><![CDATA[微服务？数据库？它们之间到底是啥关系？]]></title><link>https://blog.youkuaiyun.com/wangchewen/article/details/121142269</link><guid>https://blog.youkuaiyun.com/wangchewen/article/details/121142269</guid><author>wangchewen</author><pubDate>Thu, 04 Nov 2021 14:41:11 +0800</pubDate><description><![CDATA[过去几年来，“微服务架构”这个术语持续火热，它描述了一种将软件应用程序设计为可独立部署的服务套件的特定方式。尽管这种架构风格没有确切的定义，但围绕业务能力，自动化部署，网点智能以及语言和数据的分散控制等方面存在着某些共同特征。

简而言之，微服务架构是一种将单应用程序作为一套小型服务开发的方法，每种应用程序都在其自己的进程中运行，并与轻量级机制（通常是HTTP资源的API）进行通信。这些服务是围绕业务功能构建的，可以通过全自动部署机制进行独立部署。这些微服务的将集中化管理部分降到最少，同时，微服务还可以用不]]></description><category></category></item><item><title><![CDATA[什么是最适合云数据库的架构设计？]]></title><link>https://blog.youkuaiyun.com/wangchewen/article/details/121142249</link><guid>https://blog.youkuaiyun.com/wangchewen/article/details/121142249</guid><author>wangchewen</author><pubDate>Thu, 04 Nov 2021 14:40:34 +0800</pubDate><description><![CDATA[分布式数据库技术发展多年，但是在应用、业务的驱动下，分布式数据库的架构一直在不断发展和演进。



开源金融级分布式数据库SequoiaDB，经过6年的研发，坚持从零开始打造数据库核心引擎。在技术探索中，选择了更适合云数据库场景的架构和引擎设计。本文也将详细展开，介绍目前SequoiaDB的架构与设计理念。



SequoiaDB近日也完成由嘉实投资领投的C轮融资。本轮的领投方为嘉实投资，启明创投与DCM作为早期投资方跟投。SequoiaDB巨杉数据库一直坚持技术驱动产品，专注打造金融级分布式数据库，成为]]></description><category></category></item><item><title><![CDATA[分布式数据库关联查询优化与实践]]></title><link>https://blog.youkuaiyun.com/wangchewen/article/details/121142203</link><guid>https://blog.youkuaiyun.com/wangchewen/article/details/121142203</guid><author>wangchewen</author><pubDate>Thu, 04 Nov 2021 14:39:25 +0800</pubDate><description><![CDATA[1前言

分布式数据库从过去成为NoSQL的数据库发展开始，底层的数据存储结构变得多样化，包括KV、文档、列式等结构。各自有自己擅长的业务应用场景，例如操作型和分析型就是最简单的区分。



然而SQL的支持成为了业界的共识。 SQL语言几十年的发展已经非常成熟，技术基础也非常广泛。全世界90%以上的开发，无论业务操作型还是分析型都以SQL的数据处理为主。无论底层数据存储结构是关系型还是非关系型都将对系统开发透明。开发者只需根据自己的业务场景来选择合适的数据库，但不需要改变自身的开发模式。



本篇文章.]]></description><category></category></item><item><title><![CDATA[金融级数据库提升商业银行核心竞争力]]></title><link>https://blog.youkuaiyun.com/wangchewen/article/details/121142187</link><guid>https://blog.youkuaiyun.com/wangchewen/article/details/121142187</guid><author>wangchewen</author><pubDate>Thu, 04 Nov 2021 14:38:12 +0800</pubDate><description><![CDATA[引言

信息处理是银行业的核心，完善的数据和信息管理是商业银行进行有效风险防控和提升金融服务质效的基础。但随着银行业务的快速创新与发展，商业银行传统的IT系统和数据架构在性能和稳定性上均面临新挑战。同时，对于经营风险的银行来说，数据安全牵一发而动全身，业务传导的压力也带来了新的数据安全隐患和问题。在此背景下，商业银行传统数据库无论是从数据安全、性能、灵活可持续性还是性价比来讲，都已显得力不从心。

在大数据时代下，商业银行IT技术架构应向分布式架构转型。以巨杉数据库为代表的金融级数据库，有足够强大的OLTP]]></description><category></category></item><item><title><![CDATA[关于MongoDB安全事件的一些思考]]></title><link>https://blog.youkuaiyun.com/wangchewen/article/details/121142161</link><guid>https://blog.youkuaiyun.com/wangchewen/article/details/121142161</guid><author>wangchewen</author><pubDate>Thu, 04 Nov 2021 14:37:37 +0800</pubDate><description><![CDATA[刚刚过去的这个周末，各位大数据和数据库从业者想必是被MongoDB的“安全事件”给刷屏了，MongoDB作为当前NoSQL在全球的领军人物，遭到这么大规模的黑客攻击，这也再次让我们对于新一代的开源数据库的数据安全问题产生了思考。而作为国内领先的新一代分布式数据库厂商，我们也来说说我们对这个事件的看法。

事件回顾

此前，众多无需身份验证的开放式 MongoDB 数据库实例正在遭受多个黑客组织的攻击，被攻破的数据库内容会被加密，受害者必须支付赎金才能找回自己的数据。攻击者利用配置存在疏漏的开源 MongoD]]></description><category></category></item><item><title><![CDATA[NoSQL性能测试：MongoDB VS SequoiaDB]]></title><link>https://blog.youkuaiyun.com/wangchewen/article/details/121142142</link><guid>https://blog.youkuaiyun.com/wangchewen/article/details/121142142</guid><author>wangchewen</author><pubDate>Thu, 04 Nov 2021 14:36:58 +0800</pubDate><description><![CDATA[作为NoSQL的一个重要类型，文档型NoSQL通常被认为是最接近传统关系型数据库的NoSQL。文档型NoSQL的核心是数据嵌套，这种设计可以从某 种程度上大大简化传统数据库复杂的关联问题。同时由于摆脱了关系模型里面的强一致性限制，文档型NoSQL还可以做到水平扩张与高可用。相比其他的 NoSQL类型，文档型NoSQL的应用范围要广泛的多。

　　常见的文档型NoSQL包括MongoDB、CouchDB等，其中MongoDB是一个高性能、开源、无模式的文档型数据库，它在许多场景下 可用于替代传统的关系型数据库]]></description><category></category></item></channel></rss>