数据流-使用入门

数据流和数据流处理技术 首先明确数据流概念:数据流是连续不断生成的、快速变化的无界数据序列 数据流大致可以分为四种类型:1.连续型数据流:不断地产生数据,数据稳定速度输入系统。2.突发型数据流:在某特定时间或者事件的处罚下,产生大量数据。3.周期性数据流:按一定的时间周期产生数据。4.事件驱动型数据流:由特定的事件触发而产生的数据。事件发生后,相关数据会输入系统。 阅读详情

一、前言

数据流以协程为基础构建,可提供多个值。概念上来讲,数据流可以通过异步方式(挂起函数中执行)进行计算处理一组数据系列(这个与协程挂起函数返回单个值相反),但要求所发出值的类型必须相同。例如,Flow是发出整数值的数据流。

数据流包含是三个实体:
image

  • 提供方:会生产添加到数据流中的数据。得益于协程,数据流还可以异步生成数据。
  • 中介(可选):可以修改发送到数据流的值,或者修正数据流本身
  • 使用方:使用数据流中的值

二、数据流使用

2.1 创建数据流

创建数据流,使用数据流构建器对应的API,目前有以下几种:flowOf(…)、asFlow()、flow{…}、channelFlow{…}、MutableStateFlow 和 MutableSharedFlow ,下面我们使用flow{…}来创建数据流,结合官方的例子进行数据流的使用说明.

**需求:**数据源以固定的时间间隔自动获取最新资讯。由于挂起函数只能返回单个值,不能返回多个连续值,因此可以使用数据流来实现该需求。

(1)定义获取网络数据数据接口:

interface NewsApi {

    @GET("/chengyu/query")
    suspend fun fetchLatestNews(
        @Query("key") key: String,
        @Query("word") word: String,
        @Query("dtype") dtype: String
    ): ApiRsp<ArticleHeadline>
}

(2)在Repository中使用定义Flow数据流:

class NewsRepository(
    private val api: NewsApi,
    private val refreshIntervalMs: Long = 5000
) {

    /**
     * 获取数据
     */
    fun loadNews(key: String, word: String, dtype: String): Flow<ApiRsp<ArticleHeadline>> {
        return flow {
            while (true) {
                val latestNews = api.fetchLatestNews(key, word, dtype)
                println("Req ThreadName:"+Thread.currentThread().name)
                emit(latestNews)
                delay(refreshIntervalMs)
            }
        }
    }
}

flow构建器在协程内执行。因此它将受益于相同的异步API,但也存在一些限制:

  • 数据流是有序的。当协程内的提供方调用挂起函数时,提供方会挂起,知道挂起函数返回。此示例中,提供方会挂起,直到fetchLatestNews网络请求完成。只有这样,请求结果才能发送到数据流中。
  • 使用flow构建器时,提供方不能提供来自不同CoroutineContext的emit值。因此请勿通过创建协程或者使用withContext代码块,在不同的CoroutineContext中调用emit。

2.2 从数据流中进行数据收集

要获取数据流中的值,使用collect。下面展示如何在ViewModel中获取数据

class NewsViewModel() : ViewModel() {
   private val repository = NewsRepository(RetrofitManager.getNewsApi())
    val rspNewsData = MutableLiveData<List<ArticleHeadline>>()

    //加载数据
    fun loadNews() {
        viewModelScope.launch {
            repository.loadNews("7b1aeba080138478034ac887d0aabd9e", "无中生有", "json").collect {
                println("Rsp ThreadName:"+Thread.currentThread().name)
                rspNewsData.value = it
            }
        }
    }

}

在Activity/Fragment中使用数据

class NewsActivity : AppCompatActivity() {
    private val newsViewModel by viewModels<NewsViewModel>()
    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        setContentView(R.layout.activity_news)
        initObserver()
    }
    fun onClick(view: View) {
        newsViewModel.loadNews()
    }
    private fun initObserver() {
        newsViewModel.rspNewsData.observe(this) {
            println("data is :" + it.result.toString())
        }
    }

}

这里的数据只是将他打印到控制台,运行程序,输出日志如下:

10-12 11:18:59.372 2938-2938/com.example.flowlearn I/System.out: Req ThreadName:main
10-12 11:18:59.373 2938-2938/com.example.flowlearn I/System.out: Rsp ThreadName:main
10-12 11:18:59.374 2938-2938/com.example.flowlearn I/System.out: data is :ArticleHeadline(bushou=一, head=无, pinyin=wú zhōng shēng yǒu, chengyujs= 道家认为,天下万物生于有,有生于无。把没有的说成有。比喻毫无事实,凭空捏造。, from_= 《老子》:“天下万物生于有,有生于无。”, example= 子息从来天数,原非人力能为。最是~,堪令耳目新奇。 明·凌濛初《初刻拍案惊奇》卷三十八)

这里出现一个问题,网络请求的执行居然在main线程,但是程序却没有报错,以前在main线程中执行网络请求,程序直接闪退,现在能正常执行,这里没有搞明白其中的逻辑,但是很明确的是网络请求要放在I/O线程中,那么在数据流中该怎么做呢?

在数据流中要修改CoroutineContext需要使用运算符flowOn。flowOn会更改上游数据的CoroutineContext,表示flowOn之前(或之上)的数据提供方以及其他的中间运算符使用flowOn中的CoroutineContext。下游数据流(晚于flowOn的中间运算符和使用方)则不会收到影响。为了更好的理解这段话,请看下面的图,能够更清晰的表明各段代码片段的执行线程:
image

在上面的示例中,要要将网络请求切换到IO线程中,我们可以按一下方式添加一个flowOn运算符。

    /**
     * 获取数据
     */
    fun loadNews(key: String, word: String, dtype: String): Flow<ApiRsp<ArticleHeadline>> {
        return flow {
            while (true) {
                val latestNews = api.fetchLatestNews(key, word, dtype)
                println("Req ThreadName:"+Thread.currentThread().name)
                emit(latestNews)
                delay(refreshIntervalMs)
            }
        }.flowOn(Dispatchers.IO)
    }

在运行我们的程序:

10-12 11:52:37.049 3157-3204/com.example.flowlearn I/System.out: Req ThreadName:DefaultDispatcher-worker-2
10-12 11:52:37.052 3157-3157/com.example.flowlearn I/System.out: Rsp ThreadName:main
10-12 11:52:37.052 3157-3157/com.example.flowlearn I/System.out: data is :ArticleHeadline(bushou=一, head=无, pinyin=wú zhōng shēng yǒu, chengyujs= 道家认为,天下万物生于有,有生于无。把没有的说成有。比喻毫无事实,凭空捏造。, from_= 《老子》:“天下万物生于有,有生于无。”, example= 子息从来天数,原非人力能为。最是~,堪令耳目新奇。 明·凌濛初《初刻拍案惊奇》卷三十八)

从上门的日志可以看出,网络请求的操作已经切换到协程分配的DefaultDispatcher-worker-2,而不在main线程中。

2.3 修改数据流

在数据流中有一层叫中介,是个可选项,它是作用是修改数据流。要修改数据流,则需要使用提供的中间运算符函数来执行,比如:map(),zip(),fileter()等,下面通过使用map修改数据流来展示它的应用。

    fun loadNews() {
        viewModelScope.launch {
            repository.loadNews("7b1aeba080138478034ac887d0aabd9e", "无中生有", "json")
                .map {
                    it.reason = "this data changed by map"
                    it
                }
                .collect {
                    println("Rsp ThreadName:" + Thread.currentThread().name)
                    rspNewsData.value = it
                }
        }
    }

运行程序:

10-12 13:48:02.834 3925-4011/com.example.flowlearn I/System.out: Req ThreadName:DefaultDispatcher-worker-1
10-12 13:48:02.835 3925-3925/com.example.flowlearn I/System.out: Rsp ThreadName:main
10-12 13:48:02.835 3925-3925/com.example.flowlearn I/System.out: data is :this data changed by map

通过日志可以看出ApiResponse的数据修改成功。

2.4 数据流异常处理

异常时我们在开发程序中经常遇到的,在协程中不同调用方法,处理异常略有不同,有他们各自的处理方式。在数据流,异常也有它自己的处理方式,使用catch 中间运算符。

下面演示一个不处理异常的情况:

    fun loadNews() {
        viewModelScope.launch {
            repository.loadNews("7b1aeba080138478034ac887d0aabd9e", "无中生有", "json")
                .map {
                    throw Exception("this is custom exception")
                    it
                }
                .collect {
                    println("Rsp ThreadName:" + Thread.currentThread().name)
                    rspNewsData.value = it
                }
        }
    }

在上面的代码中,map 里面抛出一个异常,运行我们的程序,程序会奔溃,会抛出对应的异常信息。

要处理异常我们可以直接try{}catch(){}我们的代码块,比如处理网络请求的异常:

    fun loadNews(key: String, word: String, dtype: String): Flow<ApiRsp<ArticleHeadline>> {
        return flow {
            while (true) {
                try {
                    val latestNews = api.fetchLatestNews(key, word, dtype)
                    println("Req ThreadName:" + Thread.currentThread().name)
                    emit(latestNews)
                    delay(refreshIntervalMs)
                } catch (ex: Throwable) {
                    //handle Exception
                    val apiRsp = ApiRsp<ArticleHeadline>()
                    apiRsp.reason = ex.message
                    emit(apiRsp)
                }

            }
        }.flowOn(Dispatchers.IO)
    }

在上面的网络请求中,针对网络中的各种异常,我们可以封装一个方法处理,给用户友好的提示。

但是当我们数据流中调用一些第三方方法的时候,不可能每个方法都try catch,我们可以使用 catch 中间运算符统一处理所有未捕获的异常。如下:

    fun loadNews() {
        viewModelScope.launch {
            repository.loadNews("7b1aeba080138478034ac887d0aabd9e", "无中生有", "json")
                .map {
                    throw Exception("this is custom exception")
                    it
                }
                .catch { exception ->
                    //处理数据流中未捕获的异常
                    val apiRsp = ApiRsp<ArticleHeadline>()
                    apiRsp.reason = exception.message
                    emit(apiRsp)
                }
                .collect {
                    println("Rsp ThreadName:" + Thread.currentThread().name)
                    rspNewsData.value = it
                }
        }
    }

如果在数据流中catch 运算符捕获了异常,程序不会调用collect的lambda参数,所以需要在catch{}代码块中重新发送数据,这样才会执行collect的lanbda参数。

三、小结

数据流的基本使用如上面说描述的内容,总结起来就以下几点:

  1. 如何创建数据流,需要了解不同构建器之间的区别。
  2. 如何使用数据流以及结合flowOn修改上游CroutineContext。
  3. 如何使用中间运算符修改中介层数据。
  4. 数据流的异常处理。

参考资料:

https://developer.android.google.cn/kotlin/flow

数据流图DFD 数据流图是一种以图形方式表示数据处理过程的工具,它描绘了数据在系统中的流动路径和经过的处理过程。在数据流图中,可以清晰地看出系统的数据处理流程、信息交流以及各部分之间的关系,有助于分析人员更好地理解系统的结构和功能,从而更好地进行系统设计和实现。:在绘制完初步的数据流图后,根据系统的实际情况和完善需求,完善图中的细节,例如添加注释、标明数据类型和格式等。:数据存储是系统中存储数据的单元,它可以是一个文件、数据库或内存中的变量。:数据流是系统中数据的流动,它可以是输入、输出或存储在系统中的数据。 阅读详情

相关推荐

软件工程-数据流图

软件工程数据流图(DFD)是一种用于表示系统中数据流动和处理过程的图形化工具。它通过图形符号展示系统的输入、输出、存储和处理,帮助开发者理解系统的功能和数据交互。DFD通常由四种基本元素构成:外部实体、数据流、处理过程和数据存储。外部实体表示系统外部的用户或其他系统,数据流表示信息的传递,处理过程描述数据的转换和操作,而数据存储则表示系统中存储的数据。通过构建DFD,团队可以清晰地识别系统需求,优化设计,并确保各个组件之间的有效沟通,从而提高软件开发的效率和质量。

wlq_567的博客 3101

数据流分析简介

先介绍三种数据流分析的应用,再用给出数据流分析框架,并进行相关的证明。

大草的博客 6733

NTFS数据流隐写

前言 最近做题遇到了几个是NTFS数据流隐写的题目,感觉很有趣,就深入的学习一下。知识面较浅。 什么是NTFS数据流? NTFS交换数据流(alternate data streams,简称ADS)是NTFS磁盘格式的一个特性,在NTFS文件系统下,每个文件都可以存在多个数据流,就是说除了主文件流之外还可以有许多非主文件流寄宿在主文件流中。它使用资源派生来维持与文件相关的信息。————百度百科 NTFS交换数据流(alternate data streams,简称ADS)是NTFS磁盘格式的一个特性,

m0re's blog 8266

一文吃透数据流图:从入门到实战

数据流图作为一种强大的可视化工具,为我们剖析系统的复杂结构和业务逻辑提供了清晰的视角。从定义、元素构成到绘制步骤,再到实际应用中的案例分析以及常见误区的规避,我们全面认识到它在软件开发、业务流程梳理等领域的重要价值。它不仅是开发团队理解需求、设计系统架构的得力助手,也是企业优化业务流程、提升运营效率的关键支撑。在未来的工作和学习中,无论你是软件工程师、业务分析师,还是对系统分析与设计感兴趣的爱好者,都不妨积极运用数据流图。它将帮助你在面对复杂的系统时,迅速理清思路,抓住核心要点,提高工作效率和质量。

大雨淅淅的博客 8296

iOS WKWebView H5微信支付跳转

iOS WKWebView H5微信支付跳转 需求:iOS客户端实现嵌入H5进行微信支付跳转到微信客户端,支付完成后再跳转回我们的APP,解决WKWebView无法跳转回APP的BUG. 阅读前提: 了解WKWebView基本初始化及使用 了解如何利用URL Schemes进行应用间跳转 公司或个人已经在微信后台注册了一级域名 GitHub地址(附代码) :iOS WKWebView H5微信支付跳转 简书地址 :iOS WKWebView H5微信支付跳转 博客地址 :iOS WKWe...

ForeverMyheart的博客 2047

tkinter动态表格 - 实时更新数据(TkinterTable)

tkinter动态表格 - 实时更新数据(TkinterTable) 参考 [TkinterTable] Tkinter上的表格GUI】 https://github.com/dmnfarrell/tkintertable/wiki/Usage https://github.com/dmnfarrell/tkintertable/issues/47 python使用tkinter编写一个数据显示窗口(实时显示更新的数据) 首先安装TkinterTable,即pip install tki

qq_33934427的博客 1万+

onenet数据流模板_智能家居入门DIY——【六、使用OneNet后台处理数据】

OneNet使用起来要比lewei50复杂一些,它没有前台需要自己开发。命令下发也和之前介绍的lewei50有一些区别,这里着重介绍一下使用MQTT协议来进行通讯。一、准备1、Esp8266开发板(+烧写器或者直接用WeMos D1 Wifi之类的就不要烧写器了)2、Arduino IDE for VS3、OneNet注册二、OneNet配置OneNet整体结构上与lewei50不同,它从产品开始...

weixin_42395002的博客 1788

实测对比:DeepSeek、豆包、千问三大AI模型生成测试用例谁更强?(附完整代码)

本文通过实测对比了DeepSeek、豆包、千问三大AI模型在生成测试用例方面的表现。文章提供了完整的Python代码实现,详细分析了各模型在用例完整性、准确性、边界覆盖及幻觉控制等维度的差异,并分享了工程化集成与多模型融合等优化策略,旨在帮助测试团队选择合适工具以提升工作效率。

ik6789012的博客 961

油田采油生产业务建模之数据流图实践(EA使用入门)

基于采油生产案例,使用EA工具,设计数据流图。

肖永威的专栏 7578

3、硬件工程师笔试面试学习汇总——器件篇目录(2025版本)

硬件工程师笔试面试学习

XU157303764的博客 7633

多 Agent 之间如何通信和协调?OpenClaw 的 Gateway 在其中扮演什么角色?

多 Agent 之间如何通信和协调?OpenClaw 的 Gateway 在其中扮演什么角色?

我哎GIS博客 1668

【NI-DAQmx入门】使用DAQ助手同时进行数据流盘

对于数据记录应用程序,LabVIEW 提供内置函数来选择数据文件的创建方式。您可以选择基本文本文件到压缩二进制文件,并使用标准电子表格程序(例如 Microsoft Excel)来查看数据并与之交互。功能放置在框图上后,就会弹出一个配置窗口。运行VI,即可将数据流盘到本地里。选择文件I/O,写入测量文件。

weixin_43894265的博客 993

TPAMI 2024 | 面向大型城市场景的快速建筑实例代理重建

大规模城市场景(特别是建筑物)的数字化是一个长期存在的开放问题,这归因于数据获取方面的挑战,如场景覆盖不完整、缺乏语义、规划路径的效率和可靠性低。在本文中,我们针对从航拍图像中重建城市建筑的问题,提出了一个有效的工作流程和一些新颖的算法,用于大型城市场景中高效的3D建筑实例代理重建。具体来说,我们提出了一种基于学习的新型方法,用于从航拍图像中进行城市建筑的实例分割,然后通过基于投票的算法将多视图实例信息融合到稀疏点云中(使用标准结构从运动管道重建)。我们的方法实现了从点云中对建筑实例进行有效的实例分割。

小白学视觉 322

RxJS入门:使用map、pluck和mapTo转换数据流

在现代前端开发中,响应式编程(Reactive Programming)已成为处理异步数据流的强大范式。RxJS(Reactive Extensions for JavaScript)作为最流行的响应式编程库,提供了丰富的操作符来处理各种数据流转换场景。本文将深入探讨三个核心转换操作符:`map`、`pluck`和`mapTo`,帮助你掌握数据流转换的精髓。 ## 为什么需要数据流转换? 在真...

gitblog_00116的博客 517

python ERA-5气象数据NetCDF格式解析(一)

python ERA-5气象数据NetCDF格式解析

weixin_43896283的博客 2638

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

数据流(Dataflow)开源项目快速入门指南

数据流(Dataflow)开源项目快速入门指南 项目概述 数据流(Dataflow),由开发者asg017维护在GitHub上,是一个实验性的自托管Observable笔记本编辑器。它支持FileAttachments、Secrets、自定义标准库等功能,提供了比原生Observable notebook更丰富的开发体验。此项目遵循MIT许可证,并依赖于ObservableHQ的相关ISC许可库。...

gitblog_00009的博客 845

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

scrapy框架入门和使用实践

文章目录scrapy框架入门和使用实践一、前言二、正文1.架构简介2.使用实践1)创建项目2)配置文件3)请求及解析4)数据存储5)隐藏身份三、其它1.XPath工具使用 scrapy框架入门和使用实践 一、前言 开发环境 操作系统:Windows 10 专业版 虚拟环境:Anaconda python 版本:3.7 XPath 工具:xpath-helper 参考 scrapy 官网:https://scrapy.org/ scrapy 教程:https://docs.scrapy.or

Quantum-Clock 464

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Flink入门学习资源:快速掌握大数据流处理框架

Flink入门学习资源:快速掌握大数据流处理框架 【下载地址】Flink入门学习资源 探索Flink的奥秘,从这里开始!本资源专为Flink初学者打造,提供详尽的入门文档,涵盖基础知识、核心概念和实用技巧。无论您是学生还是开发者,都能通过这份文档快速掌握Flink的框架与使用方法。文档内容深入浅出,助您在实际开发中游刃有...

gitblog_06737的博客 635

【PowerDesign】制作数据流图

本文以图书管理系统举例,对PowerDesigner绘制数据流程图的操作流程进行介绍题目:开发某图书管理系统。读者把自己信息(姓名,学号,借阅时间)输入到该系统,系统为读者安排借阅,生成借阅凭证(借阅人/学号、借阅书籍、借阅时间与归还期限),读者在归还时可凭借节约凭证还书,系统校对是否在归还期归还以及乱涂乱画等,生成账单(有误,读者支付罚金,无误账单为0),支付完毕则归还成功,欢迎下次借书。提示:以下是本篇文章正文内容,下面案例可供参考。

qq_53830608的博客 1万+

使用Powerdesigner绘制数据流图

使用powerdesigner绘制数据流图

进一步有一步的欢喜 1万+

数据流脚本craneScript入门

数据流编程基于数据流模型。数据流模型由一组数据处理节点和连接节点的数据流构成。数据流模型的特点是可以抽象异构多核。以数据流架构构建的软件,其功能模块被数据孤立和完全解耦,对外仅依赖其输入数据。使得模块的开发,维护,运行甚至崩溃均完全独立,可异步,可分布,是大型软件增量式开发的优选架构。在运行上数据流架构的软件是一种数据驱动的或响应式的软件。同时其数据流架构还可以通过数据流图进行可视化。本文所述craneScript数据流脚本,其语法清晰,结构简单,C++友好,非常适用于理解数据流模型和实践数据流编程思想。

seyade的博客 1029

分析数据流和绘制数据流图

《软件工程与实践》实验报告 日期 2020/10/15 题目:分析数据流和绘制数据流图 姓名 学号 实验环境: 机房Microsoft Visio 2010绘图软件 实验内容及完成情况: 1.请将上机题目写于此 2.根据以下要求认真进行实验,记录所有的实验用例。 ...

weixin_48450741的博客 9813

数据流图的画法,如何画数据流图

1.数据流图的定义: 数据流图是结构化分析方法中使用的工具,它以图形的方式描绘数据在系统中流动和处理的过程,由于它只反映系统必须完成的逻辑功能,所以它是一种功能模型。 数据流图英文缩写DFD(Data Flow Diagram)它是描绘信息流和数据从输入移动到输出的过程中所经受的变换。数据流图从数据传递和加工的角度,以图形的方式刻画数据流从输入到输出的移动变换过程。 2.数据流图的基本图形元素...

kuole的博客 5万+

数据流图

数据流图(DFD- Data Flow Diagram)让系统分析者弄清楚“做什么”的问题,其重要性就不言而喻了。那么我们怎么画数据流图呢?数据流图与系统流程图又有什么区别呢?步骤1数据流图里包含的内容数据流图描述的是系统的逻辑模型,图中没有任何具体的物理元素,只是描绘信息在系统中流动和处理的情况。因为数据流图是逻辑系统的图形表示,即使不是专业的计算机技术人员也能容易理解。不要将数据流图(DFD)...

super晓权的博客 6万+

Vue 数据流:从入门到精通

Vue 数据流作为 Vue 框架的核心机制之一,贯穿于整个应用的开发过程。从简单的数据绑定到复杂的组件间通信,再到全局状态管理,Vue 提供了一套完整且高效的数据管理解决方案。掌握 Vue 数据流的原理、应用场景以及注意事项,能够帮助开发者构建出结构清晰、性能优良、易于维护的 Vue 应用。在实际开发中,应充分运用 Vue 的响应式系统和组件化思想,合理设计数据流向和状态管理策略,遵循最佳实践和优化原则,不断提升应用的质量和性能。

加入“Super Entity”,与全能开发团队共探AI智能体与数字人项目,开启前沿技术之旅。 1410
上一篇: 协程-执行过程
下一篇: 产品经理之初体验
mrRuby
博客等级 码龄11年 20粉丝 63原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值