AI数据平台之Snowflake

james二次元 james二次元 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 300+累计阅读 324平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄16年
关注
原创 最新推荐文章于 2026-10-22 13:33:40 发布 324 阅读 AI 写同款· GEO 优化 ›
亚马逊云科技与Snowflake协同打造AI驱动数据分析平台 阅读详情

Snowflake 详细介绍（AI时代最主流的数据云平台）

Snowflake 是目前全球最成功的云原生数据平台（Cloud Native Data Platform），它最初定位于云数据仓库（Cloud Data Warehouse），目前已经发展成为一个完整的 AI Data Cloud，支持：

  • 数据仓库（Data Warehouse）

  • 数据湖（Data Lake）

  • 数据湖仓（Lakehouse）

  • 数据工程（Data Engineering）

  • 数据共享（Data Sharing）

  • 数据应用（Data Apps）

  • AI/ML

  • LLM、RAG、Agent开发

目前Snowflake已经拥有上万家企业客户，并持续围绕AI能力扩展其平台。(Snowflake)

一、Snowflake的发展历史

Snowflake成立于2012年，由Oracle的数据仓库专家创立。

发展路线：

2012
│
├── Cloud Data Warehouse
│
2018
│
├── Multi Cloud
│
2020
│
├── Data Sharing
│
2021
│
├── Data Marketplace
│
2022
│
├── Data Cloud
│
2023
│
├── Snowpark
│
2024
│
├── Cortex AI
│
2025+
│
└── AI Data Cloud

官方定位已经从：

Cloud Data Warehouse

升级为

AI Data Cloud。(Snowflake)

二、Snowflake解决什么问题？

传统企业的数据平台通常如下：

ERP
CRM
MES
IoT
日志
数据库
文件

        │

    ETL

        │

 Hadoop
 Hive
 Spark
 Kafka

        │

 Data Warehouse

        │

 BI

存在的问题：

  • Hadoop运维复杂

  • Spark资源管理困难

  • Hive查询慢

  • 扩容麻烦

  • 云迁移困难

  • 数据孤岛

  • 数据共享困难

Snowflake的目标就是：

不需要维护Hadoop集群，不需要维护数据库，不需要维护存储，只需要上传数据即可分析。

三、Snowflake总体架构

Snowflake最大的创新就是：

Storage 与 Compute 完全分离。

                +--------------------+
                | Cloud Services     |
                | Metadata           |
                | Authentication     |
                | Optimizer          |
                | Transaction        |
                +--------------------+

                      │

        -------------------------------

         Compute Layer (Virtual Warehouse)

        Warehouse A
        Warehouse B
        Warehouse C

        -------------------------------

               Storage Layer

          Amazon S3
          Azure Blob
          Google Cloud Storage

官方架构由三层组成：云服务层、计算层（Virtual Warehouse）和存储层，三者解耦，实现弹性扩缩容。(Snowflake 文档)

这是Snowflake最经典的架构。

四、三层架构详解

第一层：Storage Layer

所有数据存放：

AWS

Amazon S3

Azure

Blob Storage

Google

Cloud Storage

Snowflake负责：

  • 自动压缩

  • 自动分区

  • 自动加密

  • 自动复制

用户完全不用管理。

第二层：Compute Layer

这一层就是：

Virtual Warehouse

例如：

Small

Medium

Large

XLarge

2XLarge

4XLarge

每个Warehouse都是：

独立计算集群。

例如：

BI

Warehouse

ETL

Warehouse

ML

Warehouse

三个互不影响。

这是Snowflake最大的优势。

例如：

BI跑SQL

不会影响

ETL导数据。

第三层：Cloud Service Layer

这是Snowflake真正的大脑。

负责：

Metadata

SQL Parser

Optimizer

Security

RBAC

Transaction

Caching

Result Cache

Query History

Resource Monitor

所有元数据都在这里。

五、为什么Snowflake这么快？

原因很多。

① Storage Compute Separation

计算扩容：

2节点

↓

8节点

↓

32节点

不用迁移数据。

② Automatic Micro Partition

Snowflake不会像Hive一样：

Partition

Day

Hour

Province

...

而是：

自动切分：

Micro Partition

16MB

左右

例如：

10TB

↓

几十万个Micro Partition

查询时：

只扫描相关Partition。

③ Columnar Storage

采用：

Column Store

例如：

ID

Name

Salary

Age

查询：

SELECT Salary

只读取：

Salary列。

大幅减少IO。

④ Result Cache

第一次：

SELECT *

FROM order

耗时：

20秒

第二次：

直接返回：

0.02秒

因为：

Result Cache。

⑤ Metadata Cache

大量Metadata缓存。

例如：

Table

Schema

Statistics

Partition

不用重新扫描。

六、Virtual Warehouse

Snowflake最经典概念。

例如：

企业有：

Data Scientist

BI

ETL

Marketing

Finance

以前：

全部共用：

Spark Cluster。

互相抢资源。

Snowflake：

Warehouse A

↓

BI

Warehouse B

↓

ETL

Warehouse C

↓

ML

完全隔离。

互不影响。

还能：

Auto Suspend

不用

↓

自动停止

Auto Resume

有SQL

↓

自动启动

所以：

非常省钱。

七、Snowflake的数据共享（Data Sharing）

这是Snowflake最强大的功能之一。

例如：

A公司：

Order

想给：

B公司。

传统方式：

CSV

FTP

API

同步

Snowflake：

Share

↓

直接访问

不用复制。

没有ETL。

实时。

八、Data Marketplace

Snowflake Marketplace：

可以买：

  • 股票数据

  • 天气数据

  • GIS

  • 医疗

  • 金融

  • 电商

直接：

SELECT

即可查询。

无需下载。

九、Snowpark

这是近几年Snowflake最重要产品。

以前：

只能：

SQL。

现在：

支持：

Python

Scala

Java

例如：

df.filter(df["age"]>18)

直接运行。

不用：

Spark。

Snowpark 将数据工程和 AI/ML 代码直接带到数据所在的位置，支持 Python、Java、Scala 等语言。(Snowflake 文档)

十、AI能力（Cortex）

Snowflake现在重点投入：

AI。

主要包括：

Cortex LLM

直接：

SELECT AI_COMPLETE(...)

调用LLM。

Vector Search

支持：

Embedding

Vector

Similarity Search

做：

RAG。

Document AI

OCR

PDF

文档理解。

AI Agent

现在Snowflake已经开始布局：

Agent。

例如：

Sales Agent

Finance Agent

HR Agent

企业直接调用内部数据。

近年来 Snowflake 持续推出 Cortex、AI Data Cloud 等能力，并围绕企业 AI 与 Agent 场景进行扩展。(Snowflake)

十一、Snowflake 与 Databricks 对比

维度SnowflakeDatabricks
起家云数据仓库Spark计算平台
核心优势SQL分析、数据共享AI、机器学习、Lakehouse
底层自研引擎Apache Spark
存储云对象存储Delta Lake
数据共享非常强较弱
AICortex、SnowparkMLflow、Mosaic AI
开发语言SQL、Python、Java、ScalaPython、Scala、SQL
运维全托管 Serverless托管但偏工程化
适合BI、数仓、企业分析AI、数据工程、模型训练

十二、Snowflake 与 Hadoop、Hive、Spark 对比

对比项HadoopHiveSparkSnowflake
运维很复杂复杂较复杂无需运维
扩容手工手工手工自动
存储HDFSHDFSHDFS/S3云对象存储
SQL性能一般较慢较快很高
并发能力一般一般较好很强
数据共享无无无原生支持
AI支持弱弱较强原生AI平台

十三、Snowflake适合哪些企业？

典型场景包括：

  • 企业级数据仓库：替代传统 Oracle、Teradata、Hive 等数仓。

  • Lakehouse：统一管理结构化、半结构化和部分非结构化数据。

  • BI 与实时分析：连接 Tableau、Power BI、Looker 等分析工具。

  • 跨组织数据共享：供应链、金融机构、合作伙伴之间共享实时数据。

  • AI 数据平台：为 RAG、向量检索、企业知识库、Agent 提供统一数据底座。

  • 多云架构：同时运行于 AWS、Azure、Google Cloud，实现统一的数据访问体验。(Snowflake)

收录于
AI

当前文章被收录于：

AI
13 篇文章 0 人学习
订阅专栏 查看详情
标签
#AI数据中台 #snowflake
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
AI+DATA背景下的数据平台对比分析：Databricks vs Snowflake vs Palantir Foundry 本文对当前市场上三家最具影响力的平台——Databricks、Snowflake和Palantir Foundry——进行了一次全面、深入的比较分析。我们的研究旨在穿透市场营销的表象，深入剖析各平台的 foundational philosophies（基本理念）、核心架构、AI能力、治理框架，为技术和战略决策者提供一份权威的、可操作的参考指南。 阅读详情

相关推荐

新一代数据仓库SnowFlake

Snowflake是一种多租户、事务性、安全、高度可扩展的弹性系统，具备完整的SQL支持和半结构化和schema-less数据模式支持。用户只需将数据导入云上，就可以立即利用他们熟悉的工具和界面进行管理和查询。从2012年底，Snowflake开始计划实施，到2015年6月，Snowflake已经可以大体可用。这个系统每天运行几百万次查询在几PB的数据上。这些运算符包括算术运算符（如+和-）、集合运算符（如UNION）、子查询运算符（如ANY）等。Snowflake SQL命令（DDL、DML和查询语法）

weixin_44811230的博客 4985

Snowflake 简单介绍与使用

目录 Snowflake 入门 1. Snowflake 简介 multi-cluster & shared-data 三层架构 数据存储层(Database Storage) 虚拟仓库层(Virtual Warehouse) 云服务层(Cloud Services) 易用性 持续可用性 支持半结构化和非结构化数据 安全性 弹性 2. Snowflake 使用方法 注册 使用 加载数据演示 3. 总结 参考文献 Snowflake 入门 本文参考了 Sno

T2777的博客 4万+

Snowflake数据库调研及架构介绍

简介 https://docs.snowflake.com/en/user-guide/intro-key-concepts.html Snowflake是作为软件即服务（SaaS）提供的分析数据仓库。与传统的数据仓库产品相比，Snowflake提供了一个更快，更易于使用且更加灵活的数据仓库。Snowflake的数据仓库不是建立在现有数据库或Hadoop等“大数据”软件平台上的，Snowflake数据仓库使用新的SQL数据库引擎，该引擎具有为云设计的独特架构。对于用户而言，Snowflake与其他企业数

Aiky哇 1万+

snowflake 不再是个数据仓库公司了

标题先上结论，为啥这么认为，且听接下来道来。snowflake 非常成功，开创了云数仓先河，至今在数仓架构上也是相对比较先进的，国内一堆模仿的公司，传统上我们会认为 snowflake 肯定是一家数据仓库公司。不过最近这个认知被颠覆了。最近 youtube 上看了2024 snowflake summit，snowflake 搞了一大堆发布，主要做了三大块：1、数据（数仓，BI，分享）2、开发（构建，发布，Native APP，container）

Foolforuuu的博客 1471

Snowflake转型AI平台：数据仓库到AI基础设施的演进

数据仓库作为企业核心数据基础设施，正在向AI开发平台演进。通过向量化技术实现非结构化数据处理，结合SQL原生支持，使传统数据平台具备语义搜索和混合分析能力。在AI工程化实践中，数据本地化能显著提升训练效率，而边缘部署则优化推理延迟。Snowflake等云数据平台通过整合数据治理与AI工作流，降低企业AI应用门槛。向量搜索和模型部署正成为现代数据平台的标准能力，推动从ETL到MLOps的全流程革新。

weixin_34098209的博客 304

亚马逊云科技携手Snowflake释放车企数据价值

亚马逊云科技携手Snowflake释放车企数据价值

weixin_46812959的博客 820

新一代数据仓库：Snowflake 弹性数仓介绍

本文来自大佬的投稿，作者：张剑。摘要我们生活在分布式计算的黄金时代。公有云平台几乎能够按需提供无限的计算和存储资源。同时，SaaS模型将企业级系统带给了无法负担成本和相关系统复杂性的用户...

过往记忆大数据 5550

基于FPGA的函数信号发生器设计

设计采用波形查找表和相位累加器的方法实现DDS，查找表的数据位宽为8位，采样点数为4096。波形产生范围是100Hz-20MHz，最小频率间隔为1Hz，用8个数码管显示频率，可产生正弦波、方波、三角波，波形用两个led显示，select信号控制，全灭为正弦波，一亮一灭为方波，全亮为锯齿波。为了使频率和相位便于调节，用3个拨码开关控制步进，用8个led显示状态。

FPGA入门到跑路 5636

paper翻译----Snowflake弹性数仓

在本论文中，我们描述了Snowflake的设计及其新颖的多集群（multi-cluster），数据共享（shared-data）架构。本论文强调了一些Snowflake的核心特性：极大的伸缩性和可用性，半结构化和无模式数据，时间游移（time travel），以及端到端的安全。论文最后总结了学习到的经验教训及对于正在进行工作的一个展望。

不动明王1984的博客 725

三极管共集电极放大电路详解：射极跟随器的原理、计算与应用

三极管放大电路是模拟电子技术的基石，常见组态包括共发射极、共基极和共集电极。其中共集电极电路因输入电阻大、输出电阻小、电压增益接近1的特性，常被用作射极跟随器，在信号缓冲、级间隔离和低阻抗负载驱动等场景中发挥关键作用。其核心价值并非电压放大，而是完成阻抗变换，将高内阻信号源转换为低内阻输出，同时保持信号幅值基本不变。理解其静态工作点计算与动态参数推导（如电压增益、输入输出电阻）是设计实用电路的前提。本文结合12V电源下的具体设计实例和仿真验证，梳理了从电路识别、参数计算到工程实践的完整流程，并指出常见设计误

weixin_29193259的博客 375

ESP32-S3 SPI接口实战：从引脚分配到高速通信配置

本文详细解析了ESP32-S3的SPI接口配置与高速通信优化技巧，从引脚分配到软件配置，再到DMA传输和时钟优化，帮助开发者快速掌握SPI通信技术。特别针对ESP32-S3的SPI2接口进行了实战演示，包括硬件连接和常见问题排查，适用于各类嵌入式开发项目。

weixin_29189373的博客 679

Snowflake NRR触底反弹，转型AI数据平台的启示

Snowflake 的 NRR 回升，不仅是财务指标的改善，更是企业对AI+数据平台化需求日益迫切的体现。没有高质量数据，就没有可落地的 AI；平台化、生态化是企业建设 AI 基础设施的必由之路。未来，AI 的竞争将不止于算法和模型，更取决于谁能帮助客户构建起长期可演进的数据与AI基础设施。

2503_92849254的博客 560

DSPF28335：从零到一，实战GPIO与外部中断的嵌入式系统交互设计

本文以德州仪器DSPF28335芯片为例，详细讲解了嵌入式系统中GPIO与外部中断(EXTI)的实战配置方法。通过一个完整的按键控制LED并触发ADC采样的项目，深入剖析了GPIO寄存器配置、三级中断机制（外设-PIE-CPU）以及中断服务函数编写的核心要点，帮助开发者掌握嵌入式交互设计的基石，并提供了关键的避坑指南与调试清单。

weixin_29169899的博客 115

AI 有了“工号”，数据平台长出了手：我在 Snowflake World Tour 看到的三个变化

AI 不再只是查数的“客人”，而是有了工号、权限和审计记录的“数字员工”💼。本文带你从 Snowflake World Tour 现场，看清数据平台的三个关键变化，并用一段可跑的代码，教你把“给 AI 分配最小权限”写进作品集。想投数据工程或 AI 应用岗的你，这篇别错过。

weixin_44063643的博客 148

（实测可用）STM32L431RCT6开发板-实验1 跑马灯实验

一、开发板平台简介： 1、开发板资源简介 （1）开发板主芯片型号：STM32L431RCT6 （2）开发板主芯片封装：LQFP-64_10x10x05P （3）开发板主芯片内核：ARM® Cortex®-M4 （4）开发板主芯片主频：80MHz （5）开发板主芯片Flash大小：256KB （6）开发板主芯片RAM大小：64KB

zhej2014的博客 3169

农业无人机：无人机图像处理_（8）.遥感图像处理与分析

遥感图像处理与分析在农业无人机技术中具有重要作用，通过图像预处理、特征提取、分类与分割、目标检测等技术，可以实现对农田的精细管理、作物监测、病虫害预测等应用。本节详细介绍了这些技术的基本概念、常用方法和具体实现，希望对您在农业无人机图像处理方面的学习和应用有所帮助。

zhubeibei168的博客 1336

H2O.ai推出H2O人工智能混合云

加州圣何塞--(美国商业资讯)--H2O.ai宣布推出H2O AI混合云(H2O AI Hybrid Cloud)，一种端到端人工智能平台，使企业能够快速构建、共享和使用人工智能模型及应用。 H2O人工智能混合云是一款全新的创新平台，可以帮助任何用户进行创新，并利用人工智能进行更加精准的预测、简化操作、降低风险和实现个性化的客户体验。它包含整个数据科学生命周期内的功能和自动化，包括连接和准备数据；构建和解释模型；部署和操作模型；以及构建和共享人工智能应用。 AT&T数据科学副总裁Ma..

美国商业资讯的博客 425

汇川H5U模拟量输出模拟量转换FC: S_RTI

汇川H5U模拟量输入模拟量转换 FC S_ITR_RXXW_Dor的博客-优快云博客接口中的临时变量，如果优化的可以省去一些，感兴趣的可以自行编写修改下，这里不在举例。至此模拟量输入转换FC编写完成。

RXXW_Dor的博客 6682

AI大语言模型时代构建全新数据平台

它可以帮助企业取代许多人的工作，例如数据开发、数据调优、数据库管理员（DBA）等，大模型的成功依赖于三个要素：模型、数据和算力，Bloomberg 公司发布了一款名为“BloombergGPT”的大模型，专注于新闻和财经领域。在数据分析领域，大家最终可能都会向着增量计算的方向发展，从而逐渐打破 Lambda 架构的限制，一体化的架构会成为未来。在大语言模型的引领下，数据平台领军企业 Databricks 和 Snowflake 的未来重置，探讨了 Databricks 和 Snowflake 等知名平台，

ejinxian的专栏 981

ABAP 后台作业里的消息机制：把 MESSAGE 写对，避免作业莫名取消

SAP后台作业消息处理机制解析 本文深入剖析了SAP系统中后台作业的消息处理机制，揭示了前台与后台执行环境的关键差异。核心发现包括： 后台作业对消息的处理规则： 所有消息写入Job log而不显示 根据消息类型决定是否继续执行 W警告在列表处理阶段会被自动转为E错误 关键异常处理： 通过error_message可捕获E/A类型消息 A类型消息会触发隐式数据库回滚 未被捕获的E/A消息将导致作业中断 实用解决方案： 将业务提示改为S或I类型 使用DISPLAY LIKE保持前台体验 通过error_mess

2007 年 ~ 2025 年，深耕 SAP 技术 18 年 2220

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

数据管理AI新时代：Denodo联手Snowflake，快捷搭建企业级RAG + 生成式AI应用

在数据管理和人工智能领域，Denodo平台与Snowflake Arctic大语言模型（LLM）的深度集成，为企业提供了先进的检索增强生成（RAG）应用。通过将LLM的强大语言理解能力与高效的信息检索相结合，Denodo正在推动企业级生成式人工智能（GenAI）应用的革新与发展。这种协同不仅帮助企业优化数据利用，还为业务创新和效率提升带来了前所未有的可能。Denodo平台作为一个逻辑数据管理、集成与数据传输平台，能够建立一个集中的数据访问层，使所有用户可以轻松地查询、整合并实时共享数据集。

Denodo的博客 889

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术，以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索，主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式，计算机控制系统的数学描述与基本分析方法，以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Snowflake的“AI + 数据” 模式，如何颠覆传统数据处理！

Snowflake的“AI + 数据” 模式，如何颠覆传统数据处理！

ith321的博客 1387

NTscan扫描工具

ntscan是一个扫描器，可以扫描没有密码和弱密码的共享，先到配置文件中填写猜测的用户名和密码，扫描过程中右侧出现的是扫描日志。

WINCC7.3破解文件

WINCC7.3硬件够破解文件，有需要的下载！WINCC7.3硬件够破解文件，有需要的下载！

生成式AI搭台，Data+Analytics唱戏 - Snowflake、Databricks2023年度大会前瞻

每年仲夏之际，全球两大数据平台巨头Snowflake、Databricks均会召开各自的年度大会，成为数据圈的“超级碗”。随着竞争的加剧，Snowflake、Databricks把2023年度重磅市场大会放在相同日期（6.26-6.29），充满着火药味。

yunqitech的博客 629

AI+数据库——梳理Snowflake 和 Databricks 在峰会上的重要发布，快来看市值数百亿美金的数据巨头的贴身肉搏！

AI+数据库结合能擦出什么样的火花？一文总结两大数据领域巨头各自峰会上的重要发布。

baidu_41642080的博客 1445

Snowflake Summit 26 见闻实感：Goodbye Data, Hello AI

人更多承担确认、监督、判断、决策和纠偏的角色。过去我们处理的是结构化数据、半结构化数据、文件、日志、表、字段、任务和工作流。只是数据平台的表达方式变了。这次 Snowflake Summit 里，最让我印象深的不是某个传统数据库功能，也不是某个性能参数的提升，而是它发布了一整套围绕 AI Agent 的产品组件：CoCo、CoWork、Desktop、Skill Catalog、VS Code 插件、Excel 插件、MCP、ACP、Cloud Agents、Agent Teams、自动化 Agent。

weixin_54625990的博客 252

感谢 Snowflake 这次邀请我以 Snowflake

尤其是 Skill Catalog，它允许用户分享、发现、复用 Skills，本质上是在把 Snowflake 的平台能力模块化、工具化、Agent 化。这次 Snowflake Summit 里，最让我印象深的不是某个传统数据库功能，也不是某个性能参数的提升，而是它发布了一整套围绕 AI Agent 的产品组件：CoCo、CoWork、Desktop、Skill Catalog、VS Code 插件、Excel 插件、MCP、ACP、Cloud Agents、Agent Teams、自动化 Agent。

fEGeZg7T0的博客 195
上一篇： 消息队列之MQTT
下一篇： OLAP数据库之DuckDB
点赞 8
评论 0
书签 书签 6
james二次元
james二次元
博客等级 码龄16年 8106粉丝 240原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值