链接物化视图在 ClickHouse 中的应用

最新推荐文章于 2024-12-09 07:32:33 发布

原创

最新推荐文章于 2024-12-09 07:32:33 发布 · 1.1k 阅读

23 ·

CC 4.0 BY-SA版权

文章标签：

#数据库

本文字数：7728；估计阅读时间：20 分钟

作者：Mark Needham

审校：庄晓东（魏庄）

本文在公众号【ClickHouseInc】首发

在 ClickHouse 中，物化视图【https://clickhouse.com/docs/en/guides/developer/cascading-materialized-views】是在源表接收到一批行时触发的查询。它们将在这些行上操作，可能在写入目标表之前转换数据。下面的图表展示了这个工作原理的概览：

最近几周，我一直在学习聚合状态(aggregation states)。我创建了一个小型演示，其中包括两个物化视图，它们从同一个 Kafka 表引擎中读取数据。一个用于存储原始事件数据，另一个用于存储聚合状态数据。

当我给Tom演示时Tom【https://www.linkedin.com/in/schreibertom1/】建议我将两个物化视图进行链接，而不是直接从Kafka引擎表中读取数据。他的想法如下图所示：

换句话说，我应该让聚合状态的物化视图不直接从 Kafka 引擎表中读取数据，而是应该从已经从 Kafka 中提取出的原始事件中读取。

在接下来的博客文章中，我们将通过一个实际示例演示如何链式使用物化视图。我们将使用“维基最近更改”源，该源提供了表示对各种维基媒体属性进行的更改的事件流。这些数据以服务器端事件的形式提供，下面将展示一个示例消息的数据属性：

{
  "$schema": "/mediawiki/recentchange/1.0.0",
  "meta": {
    "uri": "https://en.wiktionary.org/wiki/MP3%E6%92%AD%E6%94%BE%E5%99%A8",
    "request_id": "ccbbbe2c-6e1b-4bb7-99cb-317b64cbd5dc",
    "id": "41c73232-5922-4484-82f3-34d45f22ee7a",
    "dt": "2024-03-26T09:13:09Z",
    "domain": "en.wiktionary.org",
    "stream": "mediawiki.recentchange",
    "topic": "eqiad.mediawiki.recentchange",
    "partition": 0,
    "offset": 4974797626
  },
  "id": 117636935,
  "type": "edit",
  "namespace": 0,
  "title": "MP3播放器",
  "title_url": "https://en.wiktionary.org/wiki/MP3%E6%92%AD%E6%94%BE%E5%99%A8",
  "comment": "clean up some labels; add missing space after *; {
  
  {zh-noun}} -> {
  
  {head|zh|noun}}, {
  
  {zh-hanzi}} -> {
  
  {head|zh|hanzi}} per [[WT:RFDO#All templates in Category:Chinese headword-line templates except Template:zh-noun]], [[WT:RFDO#Template:zh-noun]]; fix some lang codes (manually assisted)",
  "timestamp": 1711444389,
  "user": "WingerBot",
  "bot": true,
  "notify_url": "https://en.wiktionary.org/w/index.php?diff=78597416&oldid=50133194&rcid=117636935",
  "minor": true,
  "patrolled": true,
  "length": {
    "old": 229,
    "new": 234
  },
  "revision": {
    "old": 50133194,
    "new": 78597416
  },
  "server_url": "