Azure Data Factory 详解

最新推荐文章于 2025-05-30 09:58:10 发布

爱知菜

最新推荐文章于 2025-05-30 09:58:10 发布

阅读量2.7k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/rav009/article/details/77938468

本文介绍如何使用 Data Factory 的 Pipelines.CreateOrUpdate 方法来创建或更新数据管道。该方法允许用户指定输入和输出数据集，并定义数据处理活动，如从源系统复制数据到目标系统。示例中展示了一个具体的活动配置，包括数据源、目标存储和数据处理类型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

output的dataset会depend on 其时间跨度内的input dataset的ready

只有其时间跨度内 input的dataset的slice都完成了, 它才执行

client.Pipelines.CreateOrUpdate(resourceGroupName, dataFactoryName,
	new PipelineCreateOrUpdateParameters()
	{
	    Pipeline = new Pipeline()
	    {
	        Name = pip.Pipeline.Name,
	        Properties = new PipelineProperties()
	        {
	            //Description = "Description",

	            // Initial value for pipeline's active period. With this, you won't need to set slice status
	            //Start = PipelineActivePeriodStartTime,
	            //End = PipelineActivePeriodEndTime,

	            Activities = new List()
	            {
	                new Activity()
	                {
	                    Name = "PatientPayerODSAct",
	                    Inputs = new List()
	                    {
	                        new ActivityInput() {
	                            Name = "PatientOnPrem"
	                        },
							new ActivityInput() {
	                            Name = "PatientPayerOnPrem"
	                        }
	                    },
	                    Outputs = new List()
	                    {
	                        new ActivityOutput()
	                        {
	                            Name = "PatientPayerODS"
	                        }
	                    },
	                    TypeProperties = new CopyActivity()
	                    {
	                        Source = s,
	                        Sink = new SqlSink()
	                        {
	                            WriteBatchSize = 0,
	                            WriteBatchTimeout = TimeSpan.FromMinutes(0)
	                        }
	                    }
	                }
	            }
	        }
	    }
	}
);