【高级工程师都在用的Flow技巧】:提升代码健壮性的6个隐藏API

第一章:Flow核心概念与设计哲学

Flow 是一种面向数据流编程的框架,其设计哲学强调声明式逻辑、不可变数据和响应式更新。它将应用程序视为一系列相互连接的数据流管道,通过事件驱动的方式实现组件间的高效通信。

响应式数据流模型

Flow 的核心在于其响应式数据流模型。开发者定义数据源(如用户输入或网络请求),并将其与处理器链绑定。当数据发生变化时,系统自动触发后续操作。

// 定义一个可观察的数据流
const inputStream = new Flow.Subject();

// 绑定处理链
inputStream
  .map(value => value * 2)           // 数据映射
  .filter(value => value > 10)       // 条件过滤
  .subscribe(result => {
    console.log("处理结果:", result); // 输出最终值
  });

// 触发数据流
inputStream.next(6); // 输出: 处理结果: 12

不可变性与纯函数

Flow 鼓励使用不可变数据结构和纯函数进行转换操作,确保状态变更可预测且易于调试。
  • 每次变换生成新数据实例,避免副作用
  • 函数无外部依赖,提升测试性和复用性
  • 便于实现时间旅行调试(Time-travel Debugging)

调度与背压控制

为应对高频率数据输入,Flow 内建调度机制与背压策略:
策略描述
Buffering缓存溢出数据,等待消费者处理
Dropping丢弃新到达的数据以维持性能
Throttling限制单位时间内处理的数据量
graph LR A[数据源] --> B{是否过载?} B -- 是 --> C[应用背压策略] B -- 否 --> D[正常传递] C --> E[调度器] D --> E E --> F[处理器]

第二章:异常处理的高级实践

2.1 异常透明化:catch操作符的链式捕获策略

在响应式编程中,异常处理往往打断数据流的连续性。`catch` 操作符通过链式捕获机制,实现异常透明化,使流能够在出错后继续传递。
链式捕获的核心逻辑
`catch` 允许在异常发生时返回新的 Observable,从而替代原始流,避免终止整个数据管道。
sourceStream.
  map(data => parse(data)).
  catch(err => {
    logError(err);
    return of(defaultData); // 返回备用流
  }).
  subscribe(result => updateUI(result));
上述代码中,当 `parse` 抛出异常时,`catch` 捕获错误并返回包含默认数据的新流,确保 UI 更新不中断。
多级异常兜底策略
可叠加多个 `catch` 形成降级链条,按优先级处理不同异常类型,提升系统容错能力。

2.2 局域恢复与降级:结合onErrorReturn的安全发射

在响应式编程中,异常处理是保障系统稳定的关键环节。使用 `onErrorReturn` 操作符可以在发生错误时提供默认值,实现局部恢复与服务降级。
安全的数据发射模式
通过 `onErrorReturn`,流在遇到异常时不会终止,而是发射预设的容错数据:
Observable.just("file://data.txt")
    .map(this::readFile)
    .onErrorReturn(error -> "DEFAULT_VALUE")
    .subscribe(System.out::println);
上述代码中,若文件读取失败,流将发射 `"DEFAULT_VALUE"` 而非抛出异常。`onErrorReturn` 接收一个 `Func` 函数,根据异常类型可返回不同默认值,适用于缓存降级、配置兜底等场景。
典型应用场景
  • 远程API调用失败时返回本地缓存数据
  • 计算异常时提供空结果或默认统计值
  • 避免因单个元素错误导致整个数据流中断

2.3 异常分类处理:自定义异常处理器在Flow中的应用

在Spring Web Flow中,异常处理是保障流程稳定的关键环节。通过自定义异常处理器,可以实现对不同异常类型的精细化控制。
异常处理器注册
在flow配置文件中声明自定义异常处理器:
<exception-handler type="com.example.BusinessException" 
                   ref="businessExceptionHandler"/>
该配置将特定异常类型映射到对应的处理器Bean,实现按类型分发。
处理器实现逻辑
自定义处理器需实现ExceptionHandler接口:
public class BusinessExceptionHandler implements ExceptionHandler {
    public void handle(ExceptionContext context) {
        // 记录日志、设置错误消息、跳转至错误视图
        context.getRequestContext().getFlashScope().put("error", context.getException().getMessage());
    }
}
此方法捕获异常后,可注入上下文信息并导向错误处理流程。
异常分类策略
  • 业务异常:引导用户重新操作
  • 系统异常:记录日志并跳转至系统错误页
  • 验证异常:返回表单填写页面并提示错误

2.4 背压场景下的错误传播控制

在高并发数据流处理中,背压(Backpressure)机制用于防止生产者压垮消费者。当下游处理能力不足时,错误可能沿数据流反向传播,导致系统级联失败。
错误隔离策略
通过引入断路器与限流器,可有效遏制错误扩散。常用手段包括:
  • 信号量隔离:限制并发请求数
  • 舱壁模式:划分资源池避免共享污染
  • 超时熔断:及时切断异常链路
响应式流中的实现示例
Flux.create(sink -> {
    if (overloaded) {
        sink.error(new BackpressureException("System overloaded"));
        return;
    }
    sink.next(data);
}).onErrorResume(e -> Mono.empty());
上述代码在检测到过载时主动抛出背压异常,并通过 onErrorResume 捕获错误流,返回空序列以终止传播,保障上游稳定。

2.5 使用transform实现异常拦截与数据重构造

在现代前端架构中,`transform` 不仅用于视觉变换,更广泛应用于请求与响应的拦截处理。通过 Axios 或自定义中间件,可对数据流进行统一重构。
异常拦截机制
利用 transform 函数捕获 HTTP 异常,提前处理超时、认证失败等场景:
axios.interceptors.response.use(
  response => response.data,
  error => {
    if (error.response.status === 401) {
      // 重定向至登录
    }
    return Promise.reject(error);
  }
);
上述代码在响应拦截器中对状态码进行判断,实现权限异常的集中处理。
数据结构重塑
  • 将后端不规范字段映射为前端标准命名
  • 自动注入时间戳、状态标识等元信息
  • 扁平化嵌套过深的 JSON 结构

第三章:上下文切换与线程控制

3.1 协程调度器在Flow中的精准控制

在Kotlin Flow中,协程调度器决定了数据流的执行上下文。通过合理配置调度器,可实现对数据发射与收集位置的精确控制。
调度器切换机制
使用 flowOn 操作符可指定上游流的运行线程:
flow {
    emit(fetchData()) 
}.flowOn(Dispatchers.IO)
 .collect { process(it) }
上述代码中,fetchData() 在IO线程执行,而收集操作默认在调用者上下文中运行。flowOn 内部会重新分配协程上下文,确保上游操作在指定调度器上执行。
调度优先级与链式影响
  • flowOn 影响其上方所有操作符的调度
  • 多个 flowOn 遵循栈式结构,最近的优先生效
  • 下游操作符如 collect 可通过 launchIn 指定收集上下文

3.2 多阶段执行中的context操作符实战

在多阶段任务执行中,`context` 操作符是控制流程生命周期的核心工具。通过传递上下文,可实现跨阶段的超时控制、取消信号传播与元数据透传。
基础用法:链式调用中的上下文传递
ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
defer cancel()

result, err := stageOne(ctx)
if err != nil {
    log.Fatal(err)
}
ctx = context.WithValue(ctx, "stageOneResult", result)
上述代码创建了一个带超时的上下文,并在第一阶段执行后注入结果数据,供后续阶段使用。
取消机制:中断级联操作
  • context.WithCancel:手动触发取消
  • context.WithTimeout:设定最长执行时间
  • context.WithValue:传递请求作用域内的数据
当某阶段出错时,调用 cancel() 可通知所有派生 context 的协程及时退出,避免资源浪费。

3.3 主动取消与资源释放:ensureActive的隐藏用法

在协程执行过程中,及时释放不再需要的资源至关重要。`ensureActive` 不仅用于检查协程状态,还可主动触发取消异常,避免资源浪费。
ensureActive 的核心行为
该函数在协程被取消时立即抛出 `CancellationException`,从而中断后续执行。它常被用于长时间运行的任务中,实现协作式取消。
while (isActive) {
    doExpensiveWork()
    coroutineContext.ensureActive() // 检查是否仍可继续
}
上述代码中,`ensureActive()` 显式检查协程状态。若已被取消,则抛出异常并终止循环,防止无意义的计算继续消耗 CPU 与内存。
资源清理的最佳实践
结合 try-finally 或 use 函数,可在取消时安全释放文件句柄、网络连接等资源:
  • 定期调用 ensureActive 避免长时间阻塞
  • 在循环体末尾插入检查点提升响应性
  • 配合 yield() 使用以提高调度灵活性

第四章:数据流变换与组合优化

4.1 combineLatest的性能陷阱与替代方案

数据同步机制
combineLatest 是 RxJS 中常用的操作符,用于合并多个 Observable 的最新值。但当源流频繁发射时,会导致组合逻辑高频执行,引发性能瓶颈。

const obs1 = interval(100).pipe(take(10));
const obs2 = interval(150).pipe(take(10));
combineLatest([obs1, obs2]).subscribe(console.log);
上述代码每 100ms 至 150ms 触发一次输出,随着输入流增多,组合频率呈指数级上升,造成不必要的计算开销。
优化策略
  • 使用 withLatestFrom 替代:仅在主流发射时采样其他流的最新值
  • 引入 throttleTime 或 debounceTime 控制发射频率
  • 考虑 forkJoin 用于一次性聚合完成后的结果
操作符适用场景性能表现
combineLatest持续同步多个动态源高频率触发,负载较高
withLatestFrom主从式更新低开销,推荐替代

4.2 flatMapConcat与flatMapMerge的选型决策

在响应式编程中,flatMapConcat 与 flatMapMerge 是处理高阶流的关键操作符,其选型直接影响事件执行顺序与资源调度。
执行语义差异
  • flatMapConcat:按源序列顺序串行展开内层流,前一个完成后再启动下一个;
  • flatMapMerge:并发执行所有内层流,按事件发射时间交错合并。
典型应用场景对比
flowOf(f1, f2, f3)
    .flatMapConcat { it } // 保证f1全发射完才处理f2
    .collect { println(it) }
该代码确保事件严格有序,适用于依赖前序结果的链式调用。 而以下使用 merge 的方式更适合并行任务:
flowOf(fetchUser(), fetchConfig(), fetchSettings())
    .flatMapMerge { it } // 并发获取,先到先处理
    .collect { cache(it) }
适用于独立异步请求的聚合场景。
选择依据
维度flatMapConcatflatMapMerge
顺序性强保证无保证
吞吐量低高
适用场景有依赖的串行流独立任务聚合

4.3 使用stateIn实现共享状态的安全暴露

在协程环境中,多个收集者共享同一数据流时,直接暴露 StateFlow 可能导致状态不一致或资源浪费。stateIn 操作符提供了一种安全的共享机制,将冷流转换为热流,并确保状态统一。
核心特性
  • 共享执行:上游仅执行一次,避免重复计算
  • 生命周期感知:支持通过 SharingStarted 控制启动与停止时机
  • 初始值保障:自动发射初始状态,防止空值
val sharedState = flow {
    emit(fetchUserData())
}.stateIn(
    scope = viewModelScope,
    started = SharingStarted.WhileSubscribed(5000),
    initialValue = User.default()
)
上述代码中,stateIn 将用户数据流转为可共享的 StateFlow。参数 WhileSubscribed(5000) 表示无订阅者时延迟5秒再取消上游,提升资源利用率。

4.4 distinctUntilChanged的深度定制去重逻辑

在响应式编程中,`distinctUntilChanged` 操作符默认基于浅比较防止连续重复数据发射。但面对复杂对象时,需自定义去重逻辑。
自定义比较函数
通过传入比较函数,可精确控制判定相等的依据:

observable.pipe(
  distinctUntilChanged((prev, curr) => 
    prev.id === curr.id && prev.status === curr.status
  )
)
上述代码仅当对象的 id 和 status 均未改变时才过滤发射,适用于实体状态同步场景。
应用场景对比
场景默认行为定制逻辑
用户输入防抖字符串相同忽略空白字符差异
状态更新流引用相同关键字段一致即视为相同

第五章:从原理到架构的全面升华

微服务治理中的熔断与降级策略
在高并发系统中,服务雪崩是常见风险。通过引入熔断机制,可有效隔离故障节点。以 Go 语言为例,使用 gobreaker 库实现状态控制:

var cb *gobreaker.CircuitBreaker

func init() {
    var st gobreaker.Settings
    st.Name = "UserService"
    st.Timeout = 5 * time.Second
    st.ReadyToTrip = func(counts gobreaker.Counts) bool {
        return counts.ConsecutiveFailures > 3
    }
    cb = gobreaker.NewCircuitBreaker(st)
}

func GetUser(id int) (*User, error) {
    return cb.Execute(func() (interface{}, error) {
        return callUserService(id)
    })
}
事件驱动架构的实际部署模式
采用 Kafka 作为消息中枢,实现服务间异步解耦。典型部署结构如下:
组件角色配置要点
Kafka Broker消息存储与转发启用 SSL 认证,副本数 ≥3
Producer事件发布者启用幂等性写入
Consumer Group事件处理集群动态负载均衡,offset 自动提交
可观测性体系构建路径
完整的监控闭环包含日志、指标与链路追踪。推荐组合方案:
  • 日志收集:Fluent Bit + Elasticsearch
  • 指标监控:Prometheus 抓取 + Grafana 展示
  • 分布式追踪:OpenTelemetry SDK 埋点,Jaeger 后端分析
Service A Kafka Service B
企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx 立即下载

相关推荐

Unity游戏开发实战:用Flow Field实现RTS百人军团流畅寻路(附完整代码)

本文深入探讨了在Unity中利用流场寻路技术解决RTS游戏大规模单位移动性能瓶颈的实战方案。通过解析从Dijkstra算法生成成本场、积分场到最终向量场的核心原理,并结合分块、缓存及与DOTS/ECS架构集成的优化策略,实现了百人军团的流畅群体寻路。文章提供了完整的代码示例,助力开发者构建高性能的RTS寻路系统。

weixin_28363123的博客 590

Flow代码生成:从类型信息生成文档和测试

🚀 **终极指南:如何利用Flow类型系统自动生成高质量文档和测试用例** 在JavaScript开发中,**Flow代码生成**能力正成为提升开发效率的关键技术。通过Flow强大的静态类型分析,开发者可以从类型信息中自动生成文档和测试,大大减少重复工作。本文将详细介绍如何利用Flow的类型系统实现自动化代码生成。 ## 🔍 什么是Flow代码生成? **Flow代码生成**是指利用Fl

gitblog_00973的博客 664

高效爬取懂车帝车型数据:从静态解析到动态反爬实战

本文详细解析了如何高效爬取懂车帝车型数据,从静态HTML解析到动态接口反爬的完整实战路径。文章重点介绍了使用浏览器开发者工具定位数据、应对CSS混淆与参数加密等反爬策略,并提供了整合静态与动态抓取逻辑的Python代码示例,帮助开发者稳健地获取结构化车型信息。

wind6的博客 939

flow.js javascript静态类型检查库基本使用

安装 npm init -y npm i flow-bin -D 书写代码,为代码添加类型 var 变量 : 数据类型 = 数据; 通过注释的方式添加(不会改写JS代码,代码在添加完类型之后仍然可以正常运行) 通过直接给数据添加类型,改写JS代码,如果要正常运行,需要使用babel进行转码 使用flow进行类型检查 在package.json文件中,scripts属性中添加flow命令 ...

iconhot的博客 340

SPI 协议帧格式深度解析:从 8 位数据到 16 位扩展的 3 种模式

本文深入解析SPI协议的帧格式,涵盖从8位标准到16位扩展的三种模式。通过详细讲解SPI时钟模式、数据宽度配置及实际应用案例,帮助开发者掌握SPI外设的深度定制能力,提升嵌入式系统开发效率。特别适用于连接传感器、存储器和显示器等高速通讯场景。

weixin_34110749的博客 346

WRF模型下中国土地利用数据替换USGS-24分类的完整实践指南

本文提供了在WRF模型中,将中国土地利用数据替换默认USGS-24分类的完整实践指南。详细阐述了替换下垫面数据的必要性,并分步讲解了数据准备、坐标转换、分类体系重映射、格式转换及配置文件修改等核心操作,旨在帮助用户提升针对中国区域的模拟精度。

salt的博客 778

Flow 简单使用

Flow 简单使用

mikechenmj的博客 2315

32、AI责任认定:法律与社会视角的探讨

本文探讨了人工智能(AI)在法律与社会视角下的责任认定问题。从疏忽与责任标准、严格责任制度的适用性,到AI是否能够承担法律责任等角度展开分析,指出随着AI技术的发展,传统的责任概念需要重新审视。文章进一步将AI与法人进行类比,提出AI作为物理-社会系统的责任认定框架,并强调需要建立适应AI特点的法律体系以实现公平与安全的平衡。

star5的专栏 201

Flow详解

比如说: 当设置 replay =2 的时候当发送1 的时候, replay存储1,当发送2 的时候,存储1,2 当发送3,的时候存储,23,当发送4,的时候,存储34,当发送5的时候,存储45比如说上面的代码 中第二个监听他由于延迟了1s 才设置监听 ,如果把缓存 replay 改为2,那么当第二个监听者在设置监听的时候 就可以收到 最后两条数据4,5 数据,但是 1,2 ,3,依旧是收不到的。

weixin_43836998的博客 2072

扫地机器人设计与实现——基于嵌入式系统的智能家居解决方案

本文介绍了基于嵌入式技术的扫地机器人设计与实现。通过利用STM32单片机、传感器、驱动系统等硬件组件,并结合路径规划与控制算法、远程控制等软件技术,设计出了一款具有智能避障、路径规划、自动充电等功能的扫地机器人。系统的开发不仅提高了清洁效率,也为进一步研究和优化扫地机器人提供了实践基础。

2201_76125393的博客 1640

[网络安全自学篇] 二.Chrome浏览器保留密码功能渗透解析及登录加密入门笔记

最近开始学习网络安全相关知识,接触了好多新术语,感觉自己要学习的东西太多,真是学无止境,也发现了好几个默默无闻写着博客、做着开源的大神。接下来系统分享一些网络安全的自学笔记,希望读者们喜欢。 上一篇文章分享了看雪Web安全总结知识和一个异或解密的示例,本篇文章着重讲解Chrome浏览器保留密码功能渗透解析及登录加密入门笔记,结合实际例子一步步实现浏览器漏洞的挖掘。非常基础的文章,希望对入门的博友们有帮助,大神请飘过,谢谢各位看官!

杨秀璋的专栏 2万+

区块链开发之Corda训练营笔记11:Flow代码演示

1 VerySimpleFlow 好像还是由某个party出发/调用某个flow的呀,可是节点之间如何利用flow进行交互呢? public class verySimpleFlow extends FlowLogic<Void> { @Suspendable public Void call() throws Exception { ...

weixin_30722589的博客 256

基于STM32、HAL库的WF162A 11BA T&R气压传感器 驱动程序设计

/ 转换为7位地址。* @param temperature: 存储读取到的温度值(°C)* @param temperature: 存储读取到的温度值(°C)* @param pressure: 存储读取到的压力值(bar)* @param pressure: 存储读取到的压力值(bar)* @param range: 压力范围(bar)

corlin6688的博客 363

Cursor 2026深度解析:Composer Agent与.cursorrules协同工作流

AI编程助手已从代码补全工具演进为可编程的协作者操作系统。其核心在于上下文感知的持久化会话、规则驱动的执行沙盒与多智能体协同编排三大原理——前者实现意图精准理解,后者保障生成结果可控可信,而编排机制则支撑复杂工程任务的系统性解决。技术价值体现在显著降低PR评审耗时、提升首次提交通过率、内化团队工程规范;典型应用场景包括微服务接口适配、跨仓库SDK维护、高可靠性支付网关开发等中高级工程师日常。本文聚焦Cursor 2026中真正改变工作流的Composer Agent与.cursorrules深度协同实践。

weixin_30814329的博客 587

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

MuleSoft企业级AI编排:LLM集成的生产就绪实践

大语言模型(LLM)在企业落地常面临协议不兼容、治理缺失、弹性不足三大断层,单纯依赖API网关或自研调度器难以满足合规、可观测与事务一致性要求。MuleSoft凭借DataWeave数据转换、原生策略引擎、ACID流事务及Anypoint可观测能力,成为AI服务编排的事实中枢——它不替代LLM,而是为其提供路由调度、上下文编织、混合执行与可信输出等生产级支撑。该方案已在制药、金融等行业验证,实现审核耗时下降97%、幻觉拦截率99.2%、token账单波动收窄至±1.8%。本文聚焦LLM与MuleSoft协同

weixin_30571465的博客 348

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

Kotlin Flow的使用

在 Kotlin Coroutines 中,Flow 有两种基本类型:冷流(Cold Flow)和 热流(Hot Flow)。stateIn 操作符用于将冷流(Cold Flow)转换成热流(Hot Flow)。我们来深入解释一下这两种类型及 stateIn 的作用。

热爱不止,前行不息 1381

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

全流程调度-Airflow介绍和使用

Airflow是一个以编程方式编写,安排和监视工作流的平台。使用Airflow将工作流编写任务的有向无环图(DAG)。Airflow计划程序在遵循指定的依赖项,同时在一组工作线程上执行任务。丰富的命令实用程序使在DAG上执行复杂的调度变的轻而易举。丰富的用户界面使查看生产中正在运行的管道,监视进度以及需要时对问题进行故障排除变的容易。

迷雾总会解 1万+

浅谈Airflow调度系统

一、调度系统 1.1 为什么需要调度系统? 因为⼤数据的任务多、复杂化就会有不同的需求: 单个任务 串联、并联任务 要⽀持⼦节点、依赖节点 数据抽取 任务失败重试机制 补数机制 发邮件等 任务种类多、需求多样化所以说我们需要调度系统 1.2 调度系统有⼏多 ⼯作之后,很多童鞋和我⼀样最先接触到的应该是Linux⾃带的定期执⾏程序命令 crontab,使⽤简单、运⾏稳定、上⼿容易但是也有⾃⼰的缺点⽐如任务多了之后⽆法管 理、没有依赖关系。 因此我们在这⾥对crontab不做过多介绍,主

厚积薄发 1623

【译】用Flow编写更好的JavaScript代码

关于本文:原文地址 翻译地址 译者:野草// 本文发表于前端早读课【第8**期】你是否经常在debug那些简单可避免的bug?可能你给函数传参的时候搞错了参数的顺序,或者本来应该传个Number类型的参数,你传了一个String类型?JavaScript的弱类型是这一类bug的罪魁祸首,静态类型语言中不存在此类bug。Flow就是JavaScript的静态类型检查工具,由Facebook团队于2

野草园 7023

airflow调度原理及k8s调度原则

Airflow airflow是一个任务调度组件,主要是基于DAG(有向无环图)来定义整个工作流。他主要解决了crontab调度无法完成的任务依赖,网页服务,任务暂停等功能。并且airflow能够很好的支持python,spark,hive,k8s等 airflow架构 airflow包含以下组件: 元数据库(存储DAG) 执行器worker(负责执行task) ...

wangyhwyh753的博客 4442

Flow的简单介绍

1、什么是Flow是 facebook 出品的 JavaScript 静态类型检查工具,https://flow.org/en/docs/usage/这是其官方文档链接Vue.js 的源码利用了Flow 做了静态类型检查2、为什么使用Flow类型检查的定义:类型检查,就是在编译期尽早发现(由类型错误引起的)bug,又不影响代码运行(不需要运行时动态检查类型),使编写 JavaScript 具有和编...

感恩、奋进、自信 8523

Airflow调度系统知识点整理

文章目录1. Airflow简介1.1 简介1.2 设计原则1.3 优点1.4 功能简介2. Airflow服务构成2.1 WebServer2.1.1 DAG列表2.1.2 作业操作框2.2 Worker2.3 Scheduler2.4 Flower3. Airflow核心概念3.1 DAGs3.1.1 SubDag3.1.2 DAG配置3.2 Task3.3 Task Instance3.4 Sensors3.5 Operator3.5.1 BaseOperator3.5.2 BashOperator3

u013010473的博客 4938

梳理tensorflow代码1——简单概念

tensorflow 主要由计算图Graph、张量tensor、会话Session组成 import tensorflow as tf a=tf.constant([1.0,2.0],name='a') b=tf.constant([2.0,3.0],name='b') result=a+b #result为张量tensor,亦可以称为节点 print(a.graph is tf.get_...

Nemo的博客 530

Kotlin:Flow 全面详细指南,附带源码解析。

Flow 来了来了它终于来了,这篇本应在好几个个月前就需要发布的文章????。一拖再拖????,毕竟对于flow还是的有敬畏之心的,不好好研究一下真心不敢乱写,有什么问题,欢迎指出,欢迎私信技术交流????。那么现在就正式进入Flow的世界吧! Flow简介 Flow是什么❓ A suspending function asynchronously returns a single value, but how can we return multiple asynchronously computed

Pumpkin's Blog 8758

flow使用及基本语法

为何要使用flow 因为js弱类型且 动态类型的语言 弱类型:代码内部允许进行隐式类型转换 动态类型语言: 1、在运行阶段,才能明确一个变量的类型,且变量的类型随时可以改变 2、也就是说,在动态类型语言中,变量没有类型,变量中存放的值有类型 因为该特点,导致JS代码有一些问题只有在运行时才能暴露出问题,编译时不可预知到问题所在 而flow在代码编写阶段就为我们提供了静态类型检测的能力 flow语法参考文档:flow语法 如何使用flow: flow是一个帮我们进行JS数据类型检测的小工具

- 2895

分布式任务调度框架 Azkaban —— Flow 1.0 的使用

一、简介 Azkaban 主要通过界面上传配置文件来进行任务的调度。它有两个重要的概念: Job: 你需要执行的调度任务; Flow:一个获取多个 Job 及它们之间的依赖关系所组成的图表叫做 Flow。 目前 Azkaban 3.x 同时支持 Flow 1.0 和 Flow 2.0,本文主要讲解 Flow 1.0 的使用,下一篇文章会讲解 Flow 2.0 的使用。 二、基本任务调...

weixin_30362083的博客 422
上一篇: 从MutableState到Flow,全面掌握Kotlin状态管理核心技巧
下一篇: Scala函数式编程实战精华(从零到企业级应用)
FastSolve
博客等级 码龄1年 155粉丝 2011原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值