qq_40822132的博客

当你使用的是 Systemd 的时候， firewalld 会在 Docker 之前启动，但是如果你在 Docker 启动之后操作 firewalld ，你就需要重启 Docker 进程了。当 firewalld 启动或者重启的时候，将会从 iptables 中移除 DOCKER 的规则，从而影响了 Docker 的正常工作。原因：在我们启动了Docker后，我们再对防火墙firewalld进行操作，就会发生上述报错，解决办法：输入指令 如下指令，重启docker服务及可重新生成自定义链DOCKER。

docker-compose命令

Flink CDC [1] 是基于数据库的日志 CDC 技术，实现了全增量一体化读取的数据集成框架。配合 Flink 优秀的管道能力和丰富的上下游生态，Flink CDC 可以高效实现海量数据的实时集成。

近几年实时需求涌现，尤其是银行更加重视挖掘实时数据的使用与价值。主要表现在逐年增多的实时报表、实时大屏等面向 BI 的场景。还有实时指标或特征计算等面向 AI 的场景。从技术角度，实时 OLAP 相较于传统 OLAP 发展起步较晚，多种多样的实时数据需求对实时 OLAP 体系也提出了更高的要求。随着近年来技术迭代，如 StarRocks、ClickHouse 等支持实时 OLAP 场景的数据库也是推陈出新，对于解决银行业的实时场景也带来了更多可能。

目前 Flink 批任务已经在 Shopee 内部超过 60 个 Project 上使用，作业数量也超过了 1000，这些作业在调度系统的支持下，每天会生成超过 5000 个实例来支持各个业务线。

美团买菜基于 Flink 的实时数仓建设

Flink 1.16 同 Flink 1.15 相比，在 Commits、Issues、Contributors 上，保持了较高的水准。最大的不同是，我们在 Flink 1.16 中大部分的功能和代码，主要由中国开发者主导完成。

Flink 1.17 版本完成了 7 个 FLIP，累计贡献者 170+，解决 600+Issue 以及 1100+Commits，整体来看是一个较大的版本。

自助式，只需单击几下即可完成数据管道构建,实现数据抽取、加载入仓，轻松汇聚各种应用数据，大幅缩短数据价值变现时间

Apache Flink，作为 Apache 社区最活跃的项目之一，一直秉承积极开放的态度不断进行技术深耕。在此我们很荣幸的发布 Flink 1.15 版本，并和大家分享这个版本令人振奋的一些功能和改进！

本文整理自网易互娱技术中心计费实时平台与 SDK 技术负责人林佳在 Flink Forward Asia 2021 行业实践专场的演讲。本篇内容主要分为三个部分：1.从一次 APP 内购买支付聊起2.实时 SDK 与平台化的双线发展3.走向实时全关联

本文整理自阿里云实时计算高级运维专家王华 (尚付) 在 Flink Forward Asia 2021 生产实践专场的演讲。主要内容包括：1.演进历史和运维挑战2.集群运维 Flink Cluster3.应用运维 Flink Job

本文整理自众安保险大数据平台开发高级专家郭育波在 Flink Forward Asia 2021 行业实践专场的演讲。主要内容包括：1.整体概况2.智能营销应用3.实时特征应用4.反欺诈应用5.后期规划

本文整理自小米软件开发工程师金风在 Flink Forward Asia 2021 流批一体专场的演讲。本篇内容主要分为四个部分：1.小米的大数据发展演变2.流批一体的平台建设3.流批一体应用场景4.未来规划

随着营销 3.0 时代的到来，企业愈发需要依托强大 CDP 能力解决其严重的数据孤岛问题，帮助企业加温线索、促活客户。但什么是 CDP、好的 CDP 应该具备哪些关键特征？本文在回答此问题的同时，详细讲述了爱番番租户级实时 CDP 建设实践，既有先进架构目标下的组件选择，也有平台架构、核心模块关键实现的介绍。本文主要内容包括：1.CDP 是什么2.挑战与目标3.技术选型4.平台架构5.平台成果6.未来展望

同盾大数据平台，方便大数据开发、运维、工作流调度、数据治理，提高工作效率！

spark dataframe多行合并为一行

星环TDH产品详解

同盾科技产品组件介绍

Clickhouse的优劣及性能分析

简历项目描述过程详解

面试flink开发岗位，看这些就够啦

数据中台数据分层架构

维度模型是数据仓库领域大师Ralph Kimall所倡导，他的《数据仓库工具箱》，是数据仓库工程领域最流行的数仓建模经典。维度建模以分析决策的需求出发构建模型，构建的数据模型为分析需求服务，因此它重点解决用户如何更快速完成分析需求，同时还有较好的大规模复杂查询的响应性能。

Apache Flink概述Flink是构建在Data Stream之上一款有状态计算框架。由于该款框架出现的较晚2014.12月发布，通常被人们认为是第3代流计算框架。第一代：MapReduce 2006年 批 磁盘 M->R 矢量 | 2014.9 Storm诞生 流 延迟低/吞吐小第二代：Spark RDD 2014.2 批 内存 DAG （若干Stage） | 使用mic...

Flink-SQL管理工具flink-streaming-platform-web使用1.简介1、主要功能2、流程说明2. 软件版本2.1 软件版本列表2.2 添加第3放依赖jar包的方法3. 启动3.1 启动flink3.2 启动flink-streaming-platform-web4. 配置flink-streaming-platform-web4.1 登录页面4.2 系统配置4.3 任务配置5. 观察运行结果5.1 观察任务提交结果5.2 观察数据变化5.3 在flink的ui上观察任务1.简介

Dlink ？一款交互式FlinkSQL开发平台

StreamX: Flink 开发脚手架, 流批一体大数据平台

iceberg与flink的无缝集成

Apache Hudi 是目前最流行的数据湖解决方案之一，AWS 在 EMR 服务中 预安装[2] 了 Apache Hudi，为用户提供高效的 record-level updates/deletes 和高效的数据查询管理。Apache Flink 作为目前最流行的流计算框架，在流式计算场景有天然的优势，当前，Flink 社区也在积极拥抱 Hudi 社区，发挥自身 streaming 写/读的优势，同时也对 batch 的读写做了支持。

Apache Flink 作为目前最流行的流计算框架，在流式计算场景有天然的优势，当前，Flink 社区也在积极拥抱 Hudi 社区，发挥自身 streaming 写/读的优势，同时也对 batch 的读写做了支持。

Apache Spark系统性学习

seatunnel 高性能分布式数据集成平台

StarRocks是新一代极速全场景MPP数据库。StarRocks充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果，在业界实践的基础上，进一步改进优化、升级架构，并增添了众多全新功能，形成了全新的企业级产品。

Apache Kafka学习

kafka高性能的原因

使用kafka-connect-oracle采集oracle数据

scala Flink读取kafka 写入es(elasticsearch) 简单实现

flink把kafka数据写进redis的简单实现

由Facebook开源用于解决海量结构化日志的数据统计工具Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。 Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型，Hive 将用户的HiveQL 语句通过解释器转换为提交到H...