异步上下文中的 Send 与 Sync 约束:多线程调度的编译期安全契约

FastAPI核心原理:契约驱动的现代Web架构设计 在微服务与前端SPA深度普及的今天,Web API开发已从‘功能可用’迈入‘契约可信’阶段。API不再只是逻辑容器,而是类型安全、可验证、自同步的机器可读契约。FastAPI通过Pydantic类型系统与ASGI异步内核,将OpenAPI规范从文档生成器升级为运行时校验引擎,实现接口定义、参数校验、错误响应与文档生成的统一。其依赖注入、上下文感知和生命周期管理机制,天然适配云原生环境下的可观测性、熔断治理与跨服务审计需求。本文深入FastAPI 500行核心代码,解析其如何以极简语法支撑高可靠、可演进的企业 阅读详情

异步上下文中的 Send 与 Sync 约束:多线程调度的编译期安全契约

封面信息图

在写同步多线程或 Tokio 异步代码时,只要你调用 tokio::spawn,经常会遭遇一段长达几十行的泛型约束报错:
error[E0277]: 'xxx' cannot be sent between threads safely; the trait 'Send' is not implemented for 'xxx'。

很多从其他语言转过来的自学者在初见这个报错时会感到一头雾水:“我明明只是在一个异步函数里定义了一个局部变量,为什么编译器非说它要跨线程发送?Send 和 Sync 到底代表什么物理意义?”

在 Rust 中,Send 和 Sync 是构建“无畏并发(Fearless Concurrency)”的两座最高灯塔。今天这篇文章,我们来彻底剖析这两个标记 Trait 在多线程与异步调度器中的物理本质与判定规则。


1. Send 与 Sync 的物理定义

在标准库 std::marker 中,Send 和 Sync 的定义极其特殊——它们没有任何方法,是纯粹的标记特征(Marker Traits):

// 标记:该类型的所有权可以安全地从一个线程转移(Move)到另一个线程
pub unsafe trait Send {}

// 标记:该类型的不可变引用 (&T) 可以安全地被多个线程并发共享
pub unsafe trait Sync {}
极其关键的数学关系:

T: Sync 当且仅当 &T: Send

这句话的意思是:如果一个类型 T 允许多个线程同时并发读取它的引用(&T 是线程安全的),那么将这个只读引用 &T 跨线程发送(Send)就是合法的。


2. 经典类型的 Send 与 Sync 属性全景图

类型是否实现 Send?是否实现 Sync?原因剖析
i32, String, Vec<u8>, MacAddress是是绝大多数基础类型与拥有独立所有权的数据结构都是线程安全的
Rc<T>❌ 否❌ 否引用计数是非原子操作,跨线程克隆或并发读写会导致数据竞态
Arc<T> (当 T: Send + Sync)是是引用计数为原子操作(AtomicUsize)
RefCell<T>是 (若 T: Send)❌ 否借用计数器是非原子的,禁止多线程并发共享引用(但所有权可以整体转移给另一个线程)
Mutex<T> (std 或 tokio)是 (若 T: Send)是 (若 T: Send)互斥锁在底层硬件级别保证了同一时刻只有一个线程能访问内部数据
裸指针 *const T, *mut T❌ 否❌ 否编译器无法证明原始指针的有效性与并发安全性,默认禁用

3. 为什么 async 块会触发 Send 报错?

这是很多 Rust 新手最容易懵圈的地方:我明明没有跨线程传递数据,只是在 tokio::spawn 的内部定义了一个局部变量,为什么会报 Send 缺失?

use std::rc::Rc;

async fn bad_async_task() {
    let local_rc = Rc::new(42); // 局部非 Send 变量

    // 关键点:异步挂起点!
    tokio::time::sleep(tokio::time::Duration::from_millis(100)).await;

    println!("Value: {}", local_rc);
}

fn main() {
    // 编译报错!Future cannot be sent between threads safely
    // tokio::spawn(bad_async_task());
}
深入状态机的真相:

回顾我们在 Day 2 讲过的 Future 状态机原理:

  1. 当编译器将 bad_async_task 转换为状态机结构体时,所有跨越了 .await 存活的局部变量(如 local_rc)都会被打包进状态机的字段中;
  2. Tokio 的多线程工作窃取调度器(Work-Stealing Scheduler)在任务恢复执行时,随时可能把这个状态机从 Worker 线程 0 转移到 Worker 线程 1;
  3. 如果状态机内部包含非 Send 的 Rc,这次线程转移就等于把 Rc 偷偷送到了另一个线程,直接破坏了并发安全!
修复之道:缩小非 Send 变量的作用域在 await 前释放

如果一个局部变量在 .await 之前就已经被 Drop,它就不会被收录进状态机结构体中:

async fn fixed_async_task() {
    {
        let local_rc = Rc::new(42);
        println!("Value: {}", local_rc);
        // local_rc 在大括号结束时立即析构,不跨越 await!
    }

    // 此时挂起,状态机中完全不包含 Rc 字段,代码完美通过编译!
    tokio::time::sleep(tokio::time::Duration::from_millis(100)).await;
}

4. 自动化自动派生(Auto Traits)机制

在 Rust 中,绝大多数情况下你根本不需要手动为自己的结构体 impl Send for MyStruct。

Rust 编译器具有自动派生规则(Auto Traits):

  • 只要你定义的 struct 中所有字段都实现了 Send,编译器会自动为你的 struct 实现 Send;
  • 只要所有字段都实现了 Sync,编译器会自动为其实现 Sync;
  • 只有当你主动包含了裸指针(*const u8)或者显式使用了 PhantomData 时,才需要通过 unsafe impl Send for ... 手动向编译器担保。

总结

Send 和 Sync 是 Rust 抹平数据竞争的终极基石:

  • Send 决定所有权能否跨线程转移,Sync 决定引用能否跨线程共享;
  • 深刻理解 async 块中跨 .await 变量会被收录进状态机的物理机制;
  • 遇到 Send 报错时,优先排查是否在异步任务中使用了 Rc、RefCell 或持有了未释放的非异步锁。
高阶语言中的组合式安全:从类型系统到安全降级机制 在软件工程中,类型系统是构建可靠软件的基础工具,它通过静态检查确保数据操作的类型安全,防止运行时错误。其核心原理在于利用类型约束来规范程序行为,从而在编译阶段捕获潜在错误,提升代码质量。这一技术价值在于显著增强了程序的健壮性和可维护性,尤其在构建大型复杂系统时,类型安全成为模块化开发的重要保障。应用场景广泛,从函数式编程到系统级开发,类型系统都扮演着关键角色。本文聚焦于组合式安全这一进阶主题,探讨如何通过类型系统、效应系统等抽象工具,确保组件在组合后整体安全属性依然成立,并引入安全降级机制作为必要的灵活性补 阅读详情

相关推荐

C++11 std::function:函数类型擦除与一等公民抽象

在C++中,函数抽象长期受限于编译期绑定与签名刚性。std::function通过类型擦除技术,将可调用对象(函数指针、lambda、成员函数、bind表达式)统一为运行时可携带状态、可组合替换的一等公民。其底层基于模板实例化与内存布局控制,实现零开销抽象,兼顾静态安全与工程灵活性。结合可变参数模板和lambda,std::function支撑泛型事件总线、异步任务调度等现代C++架构模式;而小对象优化(SOO)机制则直接影响高频回调场景的性能表现。作为C++11函数式编程基石,它标志着从语法糖到系统级抽象

weixin_30247307的博客 369

别把 Future 当黑盒:搞懂 Future / Pin / Send / Sync 的运行边界

从“Future 就是一个可轮询的状态机”出发,按内存与并发语义把异步的关键约束讲清:为何 `async fn` 生成的 Future 多为 `!Unpin`,`Pin` 如何保证自引用安全;`Send/Sync` 在跨线程调度中的要求如何由捕获环境决定;何时必须把阻塞代码隔离到 `spawn_blocking` 或线程池;以及跨运行时交互时的注意点与兼容做法。配套常见报错的定位思路与重构清单,帮助在实际项目中写出稳定可测的异步代码。

努力分享一些人工智能、计算机视觉、影像等相关的知识干货! 1288

Hermes-Agent:Rust原生AI任务调度中间件解析

AI代理(Agent)是实现自动化工作流的核心范式,其本质是将自然语言指令编译为可执行的动作序列。Hermes-Agent 并非大模型推理引擎或通用框架,而是一个面向本地化、可审计与低延迟场景的 Rust 原生任务调度中间件,专注解决模型能力碎片化与执行链路不可控问题。它通过声明式 YAML 定义动作依赖、利用 Rust 零成本抽象保障系统级性能,并深度集成 SQLite、curl、systemd 等原生能力。典型应用场景包括本地会议记录分析、飞书/钉钉多源数据协同处理、日志异常自动告警等需要高确定性与低延

djai0102的博客 405

Rust并发编程Send与Sync trait

例如,Rust的基本类型如i32、String都实现了Send,因为它们的所有权转移是线程安全的。这时必须严格遵守安全约定:确保实现Send的类型真正可以安全跨线程转移,实现Sync的类型确实允许多线程共享访问。Rust并发编程中的Send与Sync trait是保证线程安全的重要机制,也是Rust语言独特所有权的延伸。在多线程环境下,数据共享与传递的安全性至关重要,而Send和Sync这两个标记trait正是Rust编译器用来验证并发操作是否安全的利器。Send和Sync在异步编程中同样关键。

nomhbo_741的博客 171

ZeroClaw执行引擎:Rust驱动的具身智能体动作契约系统

具身智能体(Embodied Agent)的代码执行,本质是将自然语言指令转化为可预测、可中断、可审计的物理动作序列。其核心原理在于构建类型安全的结构化执行图(Execution Graph),通过Rust的async/await实现毫秒级硬件状态轮询与事件驱动调度,并依托trait约束(如claw_action::Action)、JSON Schema校验和生命周期泛型(for<'lifetime>)保障跨模块内存安全与动作确定性。该技术价值在于突破传统脚本式执行的不可控瓶颈,支撑机器人控制、多模态任务编

weixin_34121304的博客 294

一篇读懂 Rust 并发模型:Send/Sync、Pin 与生命周期“倒推”!

Rust 的三个关键词——高性能、内存安全、并发友好——不是口号,而是通过所有权与借用检查器、零成本抽象、无数据竞争的并发模型共同实现的工程属性。与“先快后补”的语言不同,Rust 将正确性前置,让“能跑”与“跑得对”成为同一件事。我们可以在系统编程高性能服务端和嵌入式等场景统一技术栈;在资源受限(CPU/内存/冷启动)或极端并发(百万连接、长连接)场景下不退让;通过no_stdFFIWASM跨平台静态链接,把“多端一致”的难题拆解。

喵手的博客 1284

读懂 `Send` 与 `Sync`,写出可信并发

且编译器无法自动推导,但你能。

weixin_46021641的博客 986

医疗人工智能的Harness Engineering:面向安全、可控与合规的大模型系统工程(二)

摘要: 医疗AI Harness作为与真实世界交互的关键通道,需要构建高可靠的Rust运行时环境。本文重点介绍了基于Tokio和Axum的基础设施设计方案:通过CancellationToken实现请求级任务取消传播,利用Semaphore进行并发资源控制,并设计优雅停机机制保障服务连续性。在网络层,Axum的强类型路由和零锁状态共享机制(Arc<AppState>)确保了API安全性和高性能。同时结合SQLx的编译期SQL校验和领域错误处理,将运行时错误前移至编译期。这些技术共同构建了满足医疗场景严苛要求

AllenLV的博客 1413

ZeroClaw执行模型:异步运行时与具身智能调度解析

在具身智能系统中,‘代码执行’已超越传统单线程main函数调用,演变为多生命周期协同的异步调度过程。其核心原理基于Rust Tokio运行时对CPU/IO任务的混合编排、Executor驱动的行为仲裁机制,以及返回Pin<Box<dyn Future>>的非阻塞驱动设计。该模型天然具备高并发、低延迟与硬件响应确定性等技术价值,广泛应用于机械臂控制、传感器融合与技能插件化等场景。当出现‘无法继续执行代码’或‘jupyter notebook单元格无响应’类问题时,本质往往是某层Future因依赖未就绪而陷入静

weixin_34293246的博客 456

医疗人工智能的Harness Engineering:面向安全、可控与合规的大模型系统工程(四)

医疗人工智能的Harness Engineering:面向安全、可控与合规的大模型系统工程(四)

AllenLV的博客 836

医疗人工智能的Harness Engineering:面向安全、可控与合规的大模型系统工程(一)

医疗AI Harness Engineering:构建可信赖的临床大模型运行框架 摘要 随着大语言模型在医学领域的应用深入,医疗AI落地的核心挑战已从模型性能转向系统可靠性、安全性和监管合规性。本文提出“医疗AI Harness Engineering”概念,定义为围绕医疗大模型构建的可信运行框架,包含上下文管理、工具调用控制、安全护栏、评估回路等核心组件。该框架借鉴OpenAI和Martin Fowler的前瞻理念,结合FDA对AI医疗设备的全生命周期监管要求,旨在解决医疗场景中的系统脆弱性、并发控制、安

AllenLV的博客 1000

Rivet Actors Rust SDK(rivetkit)设计约束与开发指南

Rivet Actors 将 AI Agent、协作文档、实时聊天等有状态工作负载抽象为可休眠、可持久化的 Actor 原语。本文聚焦开源仓库中 [rivetkit-rust/packages/rivetkit/CLAUDE.md](https://link.gitcode.com/i/bd8e1a22b88585e4a073a9d8e0e59e5d) 所定义的 Rust SDK 设计约束,结合

gitblog_00867的博客 668

沧小海深入剖析xilinx的GTP/GTX核,掌握高速串行收发机制——第六章 接收端结构及功能说明

总目录在这哦~ https://blog.youkuaiyun.com/z123canghai/article/details/107700878 第六章 接收端结构及功能说明 子目录 6.1 RX的模拟前端 6.2 RX的OOB信号 6.3 RX的均衡器 6.4 RX的CDR 时钟数据恢复 6.5 RX时钟输出结构 6.6 RX 的极性控制 6.7 RX 的PRBS 6.8 Rx字节、字的对齐功能 6.9 Rx接收弹性缓冲区 6.10 Rx的时钟纠正 6.11 Rx接收通道绑定 6...

滄海的博客 1万+

打破单库单语言思维:数据库与编程语言的底层认知模型

数据库本质是存储与计算的权衡系统,编程语言核心是运行时资源调度契约——理解B+树索引、WAL日志、GIL锁、ownership内存模型等底层机制,才能跨越MySQL/PostgreSQL/ClickHouse或Java/Python/Rust的技术栈鸿沟。这种穿透式认知决定高并发场景下的架构分层能力:例如用PostgreSQL的SKIP LOCKED替代SELECT FOR UPDATE实现无锁库存扣减,或借Rust的零成本抽象构建TiKV直连的云原生履约服务。本文聚焦数据库存储引擎原理与语言运行时契约的交

diaoqi6581的博客 296

Pandas实战指南:从数据结构到清洗聚合的完整解析

在数据分析工作中,表格数据处理是最常见的需求,无论是电商运营还是量化交易,都离不开对结构化数据的清洗与转换。Python生态中,Pandas凭借Series与DataFrame两种核心数据结构,将数据标签与数值绑定,实现自动对齐,极大简化了数据操作流程。它不仅是数据清洗的利器,也是分组聚合、透视表分析和时间序列处理的基础工具。掌握Pandas,意味着能够高效完成从数据读取、缺失值处理、类型转换到分组统计的完整分析流水线,将重复性报表工作自动化。本文基于实际使用经验,系统梳理Pandas的核心概念、常用操作、

weixin_30768881的博客 260

GLMM(广义线性混合模型)原理以及分析步骤

广义线性混合模型(GLMM)是生态与进化研究中处理非正态数据的定制化工具,能同时分析固定效应和随机效应。它通过链接函数连接响应变量与预测因子,支持二项分布、泊松分布等非正态数据。研究流程包括:明确分析目标(固定效应影响与随机效应方差)、选择合适变量与分布、数据验证、参数估算(需根据模型复杂度选择PQL、拉普拉斯近似等方法)及模型优化(检验过离散与残差,通过信息准则或假设检验筛选最优模型)。GLMM能有效解决传统方法无法处理的"伪重复"和推广性问题,为复杂生物数据提供可靠分析框架。

wewil_lwin的博客 5013

OpenSpec与Superpowers:重构开发者认知层的SDD+TDD实践

Specification-Driven Development(SDD)是一种以可验证契约驱动软件构建的工程范式,其核心在于将模糊需求转化为机器可解析、测试可覆盖、协作可对齐的结构化规格。OpenSpec 作为 SDD 的语义锚点,通过强约束 schema 实现编译期校验,强制明确 actor、context 和 outcome;Superpowers 则作为执行引擎,将 outcome 映射为环境感知的原子化技能链,自动构建测试沙盒并消除胶水代码。二者协同构成‘声明即契约、契约即执行’的闭环,显著提升跨

weixin_33862993的博客 381

从零搭建一个虚拟ECU:手把手用Autosar CP模块模拟汽车灯控系统(基于Vector工具链)

本文详细介绍了如何使用Vector工具链从零搭建一个基于Autosar CP架构的虚拟ECU系统,模拟汽车灯光控制功能。通过环境搭建、模块配置、通信栈设置到灯光控制逻辑实现的全流程指导,帮助开发者掌握Autosar CP模块术语的实际应用,并提供了系统集成与测试的实用方案。

weixin_42628688的博客 317

ZeroClaw执行层:Rust嵌入式神经脉冲调度系统

在具身智能与边缘机器人领域,‘代码执行’已超越传统软件概念,演变为面向物理世界的确定性时序控制。其核心是将高级语言指令(如Rust async任务)精确映射为硬件级事件链——从中断向量表触发、SysTick心跳调度,到PWM占空比更新与传感器反馈闭环。Rust的no_std、零成本抽象与编译期优化(如const fn内联、codegen-units=1)构成硬实时执行基石;而embassy-executor与cortex-m-rt等框架则支撑起软硬双轨协同架构。该模型广泛应用于龙虾机械臂、ESP32-C3伺

weixin_33906657的博客 407

绕过卡巴斯基通过RPC控制lsass注入DLL

参考国外的XPN以及3gstudent大佬的文章: https://blog.youkuaiyun.com/xiangshen1990/article/details/104872566 https://gist.github.com/xpn/93f2b75bf086baf2c388b2ddd50fb5d0 原理:正常的ssp扩展(dll)可以加载到lsass进程中去,比如kerberos验证都是通...

2ed 3525

保姆级教程:手把手教你用KITTI数据集跑通LIO-SAM(附EVO评估全流程)

本文提供了一份详细的KITTI数据集LIO-SAM实现教程,涵盖数据准备、算法适配和EVO评估全流程。通过解析KITTI数据集特性、解决LIO-SAM适配问题,并利用EVO工具进行精度评估,帮助读者快速掌握激光惯性SLAM技术。特别针对KITTI数据与LIO-SAM的兼容性问题提供了实用解决方案。

weixin_28737603的博客 306

嵌入式日志升级:从printf到Trice的调试范式转型

嵌入式日志系统是实时系统调试与稳定性保障的核心基础设施。传统printf虽入门简单,但其动态格式化、栈空间不可控、线程不安全及编码耦合等固有缺陷,在RTOS、低功耗、多任务和高实时性场景下极易引发RAM溢出、时序破坏与竞态乱码。Trice通过编译期字符串哈希、运行时ID+参数二进制传输、PC端UTF-8解码的三段式架构,实现恒定<20字节RAM占用、<5μs CPU开销与零阻塞输出,本质是将日志从‘临时打桩’升维为‘可设计、可度量、可集成’的工程能力。本文聚焦嵌入式C开发中printf的典型失效案例与Tri

weixin_30247781的博客 210

二、基于C语言的JPEG解码代码详解

// JPEG解码 // 输入JPEG后输出Bitmap #include <stdio.h> #include <stdlib.h> #pragma warning(disable : 4996) unsigned int BuffIndex; // JPEG数据的位置 unsigned int BuffSize; // JPEG数据的大小 unsigned int BuffX; // 图像的横向尺寸 unsigned int BuffY; //

m0_37633745的博客 4459

20行Rust实现AI代码Agent骨架:基于A3S模型的轻量执行环

AI代码Agent并非简单调用大模型API,而是需在编辑器上下文中精准锚定意图、定义动作、维护状态与限定作用域——这正是A3S(Anchor-Action-State-Scope)建模方法的核心。其原理在于将非结构化交互转化为可验证的类型安全协议,通过Rust的内存安全与异步能力保障执行确定性。技术价值体现在低延迟响应、上下文零丢失、跨编辑器兼容(LSP标准)及生产级错误降级能力。典型应用场景包括智能补全、代码重构、跨文件引用解析等IDE增强功能。本文聚焦于剥离框架依赖的20行Rust最小执行环,直击Age

weixin_34318326的博客 349

告别FreeRTOS?手把手带你用NuttX在STM32F4-Discovery上跑起第一个Shell

本文详细介绍了如何在STM32F4-Discovery开发板上从FreeRTOS迁移到NuttX,并运行第一个Shell。NuttX以其完整的POSIX兼容性和模块化架构优势,特别适合复杂网络应用的开发。通过环境搭建、移植配置、调试技巧及POSIX开发实践,帮助开发者高效构建嵌入式系统。

weixin_42526417的博客 302

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

AI 问数真的能替代 BI 报表吗?

AI问数赋能自然语言查询,提升临时分析效率,但无法替代传统报表。报表适用于稳定输出与持续监控,AI则擅长探索性提问。企业用好AI问数,关键在于夯实数据模型、统一指标口径、健全权限体系与结果校验机制。合理组合报表、仪表板与AI,才能实现高效、准确的业务洞察。

葡萄城技术团队博客 341

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

上一篇: 避免循环引用的 Weak 弱指针:树与图结构中的内存防泄漏实践
下一篇: 常用 Cargo 辅助开发插件:clippy、expand 与 audit 的提效组合拳
第一程序员
博客等级 码龄1年 1万+粉丝 1827原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值