Scope与C#提取器（Scope）

最新推荐文章于 2025-05-22 10:32:15 发布

原创最新推荐文章于 2025-05-22 10:32:15 发布 · 931 阅读

1 ·

CC 4.0 BY-SA版权

Scope 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了一个使用C#编写的TSV数据提取器类，该类通过读取流并解析TSV格式的数据，将其转换为指定模式的行数据。同时，提供了与Scope脚本的对比，展示数据提取的不同实现方式。

main~

很简单，可以通过对比来理解概念。

实例，下面是C#提取器脚本。

public class MyTsvExtractor : Extractor
{
public override Schema Produces(string[] requested_columns, string[] args)
{
return new Schema(requested_columns);
}

public override IEnumerable<Row> Extract(StreamReader reader, Row output_row, string[] args)
{
char delimiter = '\t';
string line;
while ((line = reader.ReadLine()) != null)
{
var tokens = line.Split(delimiter);
for (int i = 0; i < tokens.Length; ++i)
{
output_row[i].UnsafeSet(tokens[i]);
}
yield return output_row;
}
}
}

对比于Scope脚本：
searchlog =
EXTRACT IId:int, UId:int, Start:DateTime, Market:string, Query:string, DwellTime:int, Results:string, ClickedUrls:string
FROM @In_SearchLog
USING MyTsvExtractor();