<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[daydaylearn的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/daydaylearn</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; daydaylearn]]></copyright><item><title><![CDATA[NiFi1.25版本HTTPS模式下RestAPI使用入门]]></title><link>https://blog.youkuaiyun.com/daydaylearn/article/details/140423359</link><guid>https://blog.youkuaiyun.com/daydaylearn/article/details/140423359</guid><author>daydaylearn</author><pubDate>Sun, 14 Jul 2024 21:22:40 +0800</pubDate><description><![CDATA[Apache NiFi 是一个强大的数据流处理工具，通过其 REST API，用户可以远程管理和控制数据流处理器。本文将介绍如何使用 NiFi 1.25 版本HTTPS 模式下Rest API，包括获取 token、获取组件信息、启动和停止组件、以及更改组件的调度频率等操作。]]></description><category></category></item><item><title><![CDATA[NiFi中缓存组件的运行机制及增删改缓存数据]]></title><link>https://blog.youkuaiyun.com/daydaylearn/article/details/133788560</link><guid>https://blog.youkuaiyun.com/daydaylearn/article/details/133788560</guid><author>daydaylearn</author><pubDate>Thu, 12 Oct 2023 13:21:24 +0800</pubDate><description><![CDATA[在建设实时数仓的过程中，利用缓存机制来提升实时指标的实时性，是一种常用的方法。NIFI提供了专门的缓存组件来应对这一需求。]]></description><category></category></item><item><title><![CDATA[基于NIFI工具搭建生产级别的IIOT系统]]></title><link>https://blog.youkuaiyun.com/daydaylearn/article/details/133761260</link><guid>https://blog.youkuaiyun.com/daydaylearn/article/details/133761260</guid><author>daydaylearn</author><pubDate>Wed, 11 Oct 2023 09:49:58 +0800</pubDate><description><![CDATA[如果需要修改MINIFI中的ETL任务，那么我们需要导出模板，转换成yml文件，放到MINIFI的conf目录下，然后重启MINIFI。技术上可行，但实际是不现实的，因为设备成千上万，部署位置千差万别。有没有更好的方法呢？]]></description><category></category></item><item><title><![CDATA[实时数仓中数据实时输出的思考与实现]]></title><link>https://blog.youkuaiyun.com/daydaylearn/article/details/131002379</link><guid>https://blog.youkuaiyun.com/daydaylearn/article/details/131002379</guid><author>daydaylearn</author><pubDate>Fri, 02 Jun 2023 10:43:31 +0800</pubDate><description><![CDATA[如果想更加实时，可以将数据实时分析这一步直接做成服务，供BI大屏和第三方调用，省掉了ADS层落盘步骤，实时性更强，只是这样做对数仓架构资源配置要求较高，需架构师做出平衡。例如，我们可以将数据公开为API或Web服务的方式，以允许第三方系统或应用程序访问实时数仓的数据，从而实现数据共享和增值。使用NiFi将实时数据流输出：我们可以使用NiFi的Provenance数据监控和处理实时数据流，并使用PutKafka或PutFile等组件将数据实时输出到其他系统或应用程序。]]></description><category></category></item><item><title><![CDATA[实时数仓项目开发过程中发现的几个问题和优化点(数据接入)]]></title><link>https://blog.youkuaiyun.com/daydaylearn/article/details/130585033</link><guid>https://blog.youkuaiyun.com/daydaylearn/article/details/130585033</guid><author>daydaylearn</author><pubDate>Tue, 09 May 2023 17:37:55 +0800</pubDate><description><![CDATA[nifi.provenance.repository.max.attribute.length属性是Apache NiFi工具中的一个属性，用于指定属性值（即Attributes）的最大长度。首先，增、改、删三种SQL要输出到三个FlowFile中，因为如果输出到一个FlowFile，三个SQL以分号分割，在下一步执行时，会报错，这是JDBC机制决定的。然而，如果同一个流文件上设置重复的属性名，则会被视为同一属性，后面的属性值会覆盖先前的属性值。因此，在设置属性时应格外注意，以避免不必要的数据丢失。]]></description><category></category></item><item><title><![CDATA[实时数仓--数据实时接入模块相关视频录制完成]]></title><link>https://blog.youkuaiyun.com/daydaylearn/article/details/130409631</link><guid>https://blog.youkuaiyun.com/daydaylearn/article/details/130409631</guid><author>daydaylearn</author><pubDate>Thu, 27 Apr 2023 16:27:35 +0800</pubDate><description><![CDATA[实时数仓架构Debezium+Kafka+NiFi+Doris技术栈，如何实现数据的实时接入？内容来自作者正在开发的实时数仓项目。]]></description><category></category></item><item><title><![CDATA[实时数仓中数据实时接入的实现思考]]></title><link>https://blog.youkuaiyun.com/daydaylearn/article/details/130320186</link><guid>https://blog.youkuaiyun.com/daydaylearn/article/details/130320186</guid><author>daydaylearn</author><pubDate>Sun, 23 Apr 2023 13:59:20 +0800</pubDate><description><![CDATA[将kafka中的增量CDC数据接入到Doris或者Kudu中，难点在于顺序的保证上。因为CDC数据包括记录的增删改日志，如果不按原始顺序写入到目标表，就会造成目标表数据与原始表数据不一致的结果。我们知道，如果要保证顺序，就会影响吞吐量，造成写入速度降低，进而延迟增加，要实现实时数仓，这个矛盾点必须解决。]]></description><category></category></item><item><title><![CDATA[ETL工具NIFI的3种部署方式(免登录方式、单用户、多租户登录方式)]]></title><link>https://blog.youkuaiyun.com/daydaylearn/article/details/129531319</link><guid>https://blog.youkuaiyun.com/daydaylearn/article/details/129531319</guid><author>daydaylearn</author><pubDate>Tue, 14 Mar 2023 16:22:01 +0800</pubDate><description><![CDATA[在实时数仓架构中，选一个得心应手的ETL工具，可以大大提高开发效率，节省人力成本。这里向大家推荐一款很好的、笔者已在生产环境中使用的、可以实现无代码编程的ETL工具：NIFI。]]></description><category></category></item><item><title><![CDATA[实时数仓架构哪些事儿(续13-PostgreSQL CDC数据实时接入Kudu)]]></title><link>https://blog.youkuaiyun.com/daydaylearn/article/details/127180813</link><guid>https://blog.youkuaiyun.com/daydaylearn/article/details/127180813</guid><author>daydaylearn</author><pubDate>Thu, 06 Oct 2022 11:09:12 +0800</pubDate><description><![CDATA[本节给大家分享下PostgreSQL数据库的CDC数据采集和DDL监控。]]></description><category></category></item><item><title><![CDATA[实时数仓架构那些事儿]]></title><link>https://blog.youkuaiyun.com/daydaylearn/article/details/125601902</link><guid>https://blog.youkuaiyun.com/daydaylearn/article/details/125601902</guid><author>daydaylearn</author><pubDate>Mon, 04 Jul 2022 16:03:29 +0800</pubDate><description><![CDATA[架构师要做的事情很多，不同的项目，不同的公司体量，不同的人员数量都会有不同的技术选型，进而形成不同的架构。在这里，我只想聊流批一体的实时数仓架构，不聊离线数仓架构，不聊Java架构 OR 微服务架构；聊更多的是架构思路，而不是某个技术的详细培训。...]]></description><category></category></item><item><title><![CDATA[湖仓一体之delta lake处理schema更新]]></title><link>https://blog.youkuaiyun.com/daydaylearn/article/details/118856872</link><guid>https://blog.youkuaiyun.com/daydaylearn/article/details/118856872</guid><author>daydaylearn</author><pubDate>Sat, 17 Jul 2021 15:08:09 +0800</pubDate><description><![CDATA[Delta Lake自动验证正在写入的DataFrame的schema是否与表的schema兼容。Delta Lake使用以下规则来确定从DataFrame写入表是否兼容：


	所有DataFrame列必须存在于目标表中。如果DataFrame中的列没有出现在表中，则会引发异常。在表中但不在DataFrame中的列被设置为空。
	
	
	DataFrame列数据类型必须与目标表中的列数据类型匹配。如果它们不匹配，将引发异常。
	
	
	DataFrame列名不能只是大小写不同。这意味着不能在同一个表中定义]]></description><category></category></item><item><title><![CDATA[streamsets视频教程，不知道有多少集]]></title><link>https://blog.youkuaiyun.com/daydaylearn/article/details/118254671</link><guid>https://blog.youkuaiyun.com/daydaylearn/article/details/118254671</guid><author>daydaylearn</author><pubDate>Sat, 26 Jun 2021 21:21:45 +0800</pubDate><description><![CDATA[有一套streamsets视频教程，根据作者的实时数仓项目进度在持续更新，很有特点吧？还有一个特点就是售后服务，免费解决实时数仓架构问题，各种技术问题，以及免费出解决方案。作者十五年的IT从业经验，大数据经验丰富，目前专注于湖仓一体架构的落地，是一个不可多得的资源！！！！！！

https://edu.youkuaiyun.com/course/detail/32343
可以通过上面视频链接了解详情！

...]]></description><category></category></item><item><title><![CDATA[Streamsets--一个流批一体的ETL工具_如何少踩坑？]]></title><link>https://blog.youkuaiyun.com/daydaylearn/article/details/117998556</link><guid>https://blog.youkuaiyun.com/daydaylearn/article/details/117998556</guid><author>daydaylearn</author><pubDate>Thu, 17 Jun 2021 17:44:02 +0800</pubDate><description><![CDATA[生产环境中使用Streamsets DC近两年，实时数仓稳定运行近两年，为了让更多使用SDC的朋友不再经历使用SDC过程中遇到的各种坑，我将近两年的实时数仓 ETL开发经验录制成一套视频，
]]></description><category></category></item><item><title><![CDATA[实时数仓ETL高级特性实战-采集漂移数据到Hive和Impala]]></title><link>https://blog.youkuaiyun.com/daydaylearn/article/details/116161716</link><guid>https://blog.youkuaiyun.com/daydaylearn/article/details/116161716</guid><author>daydaylearn</author><pubDate>Mon, 26 Apr 2021 16:44:16 +0800</pubDate><description><![CDATA[数据漂移，即数据结构和语义不断的计划外改变，是数据工程师长期面临的问题。模式更改可能会破坏集成，在最坏的情况下，会无声地在系统中传播坏数据，并导致基于错误分析做出决策。

在过去，数据工程师必须手动对漂移做出反应——在输入的模式中寻找变化，手动修改Hive表，并重新提交修改过的数据接入作业。StreamSets数据收集器漂移同步特性通过近乎实时地自动创建和修改表来解决模式漂移问题，使数据立即准备好供终端用户使用。本教程将带领您为一个简单的用例设置漂移同步。

场景是这样的:我们想要从关系数据库中的一个表中获]]></description><category></category></item><item><title><![CDATA[实时数仓ETL-数据流触发器]]></title><link>https://blog.youkuaiyun.com/daydaylearn/article/details/116119150</link><guid>https://blog.youkuaiyun.com/daydaylearn/article/details/116119150</guid><author>daydaylearn</author><pubDate>Sun, 25 Apr 2021 10:48:50 +0800</pubDate><description><![CDATA[数据流触发器概述

数据流触发器(Dataflow triggers)是事件框架用来启动任务以响应管道中发生的事件的指令。例如，当pipeline将文件写入HDFS后，可以使用数据流触发器启动MapReduce作业。或者，可以使用数据流触发器在JDBC Query Consumer origin处理完所有可用数据之后停止管道。

事件框架由以下组件组成:

event generation(事件产生)

事件框架生成与管道相关的事件和与阶段相关的事件。事件框架仅在管道启动和停止时才生成管道事件。当特定的..]]></description><category></category></item><item><title><![CDATA[Streamsets ETL 之 ClickHouse数据库]]></title><link>https://blog.youkuaiyun.com/daydaylearn/article/details/115863157</link><guid>https://blog.youkuaiyun.com/daydaylearn/article/details/115863157</guid><author>daydaylearn</author><pubDate>Mon, 19 Apr 2021 14:00:23 +0800</pubDate><description><![CDATA[如何使用Streamsets这个大数据ETL工具读取ClickHouse数据库数据？

如何使用Streamsets这个大数据ETL工具写入ClickHouse数据库数据？

W X: bigdata_work




]]></description><category></category></item><item><title><![CDATA[Streamsets官方文档--Pipeline的概念和设计]]></title><link>https://blog.youkuaiyun.com/daydaylearn/article/details/115720056</link><guid>https://blog.youkuaiyun.com/daydaylearn/article/details/115720056</guid><author>daydaylearn</author><pubDate>Thu, 15 Apr 2021 11:38:33 +0800</pubDate><description><![CDATA[管道概念与设计



什么是管道?

管道描述了从源头系统到目标系统的数据流，并定义了在此过程中如何转换数据。

可以使用单个origin(初始)阶段表示源头系统，使用多个processor(处理器)阶段转换数据，使用多个destination(目标)阶段表示目标系统。

在开发管道时，可以使用Development Stages(开发阶段)提供示例数据并生成错误以测试错误处理。您还可以使用data preview(数据预览)来确定阶段如何通过管道更改数据。

可以使用executor阶段执行事件触发...]]></description><category></category></item><item><title><![CDATA[Streamsets--一个流批一体的ETL工具]]></title><link>https://blog.youkuaiyun.com/daydaylearn/article/details/114362683</link><guid>https://blog.youkuaiyun.com/daydaylearn/article/details/114362683</guid><author>daydaylearn</author><pubDate>Thu, 04 Mar 2021 10:45:43 +0800</pubDate><description><![CDATA[什么是StreamSetsData Collector?

StreamSets Data Collector是一个轻量级、强大的设计和执行引擎，可以实时处理流数据。使用Data Collector器来路由和处理数据流中的数据。

要定义数据流，需要在Data Collector中设计一个管道(pipeline)。管道由表示管道的起点和目的地的阶段以及希望执行的任何其他处理组成。在设计了管道之后，单击Start，Data Collector开始工作。

Data Collector在数据到达原点(orig.]]></description><category></category></item><item><title><![CDATA[使用Spark从数据库接入数据]]></title><link>https://blog.youkuaiyun.com/daydaylearn/article/details/110941409</link><guid>https://blog.youkuaiyun.com/daydaylearn/article/details/110941409</guid><author>daydaylearn</author><pubDate>Wed, 09 Dec 2020 21:34:18 +0800</pubDate><description><![CDATA[第八章 从数据库接入数据

本章涵盖了


	从关系数据库中接入数据
	
	
	理解方言在Spark和数据库之间的通信中的作用
	
	
	在Spark中构建高级查询，以便在接入之前对数据库进行寻址
	
	
	理解与数据库的高级通信
	
	
	从Elasticsearch接入数据
	
在大数据和企业环境中，关系数据库通常是执行分析的数据来源。理解如何通过整个表或SQL SELECT语句从这些数据库中提取数据是有意义的。

在本章中，您将学习从关系数据库中接入数据的几种方法，可以一次性接入全表，也可以在接入之前]]></description><category></category></item><item><title><![CDATA[kafka权威指南中文版之三]]></title><link>https://blog.youkuaiyun.com/daydaylearn/article/details/66017462</link><guid>https://blog.youkuaiyun.com/daydaylearn/article/details/66017462</guid><author>daydaylearn</author><pubDate>Sat, 25 Mar 2017 22:42:40 +0800</pubDate><description><![CDATA[第三章kafka producer---向kafka写入消息
无论你将kafka作为一个消息队列，或者消息总线，还是一个数据存储平台，你都要通过生产者producer向kafka写入数据，通过消费者consumer读取kafka的数据。
例如，一个信用卡事务处理系统，会有一个客户端应用或者一个在线商店应用，负责在交易发生时，将每一个事务发送到kafka，另一个应用通过规则引擎校验这个事务，决定]]></description><category></category></item></channel></rss>