PostgreSQL 日报| Memoize 非确定性排序返回错误结果(11 月 4 日)

Flask生产环境性能优化四层实战:WSGI、缓存、数据库与Nginx调优 Web应用性能本质是HTTP请求在服务栈中的端到端效率问题。从客户端发起请求,经Nginx反向代理、WSGI服务器(如Gunicorn)分发、Flask路由匹配、业务逻辑执行,再到数据库查询与模板渲染,任一环节阻塞都会导致QPS骤降、TTFB飙升。其中WSGI作为Python Web服务的标准接口协议,决定了应用容器层的并发能力上限;而缓存策略若脱离业务语义(如未区分用户私有/公共数据、忽略Vary头),极易引发状态错乱。真实高并发场景下,需结合连接复用、协程模型选型、原生SQL降噪、Redis空值防护等工 阅读详情

PostgreSQL 技术文章

Postgres 性能瓶颈:等待事件背后的真相

PostgreSQL 的 wait event 数据来源于对 pg_stat_activity 的定期采样,因此各类监控面板呈现的是统计近似值,而非精确测量结果。本文解释了 wait_event 和 wait_event_type 字段的实际含义,以及"live"标志的意义。文中记录了一个真实故障案例:按面板排名处理问题毫无效果,真正的瓶颈是排…

原文链接:

https://pgnexus.ai/tech-blogs?url=https%3A%2F%2Fpostgres.ai%2Fblog%2F20261103-what-postgres-is-waiting-for

社区活动日所得:组织、热情与叙事的启示

一位刚加入 PostgreSQL 社区的新成员分享了她在 PG Conference Europe 2026 Community Events Day 上的参会感受。她参加了两个工作坊:一是关于社区活动组织,讨论了引导新人融入的方式,包括 buddy system、志愿者认可机制以及在外部会议上运营社区展台的实操建议;二是关于技术传播中的 storytel…

原文链接:

https://pgnexus.ai/tech-blogs?url=https%3A%2F%2Fwww.data-bene.io%2Fen%2Fblog%2Forganizing-welcoming-and-storytelling-pgconfeu2026%2F

企业级 PostgreSQL:超越开源标准

Fujitsu 的博客文章指出,尽管 PostgreSQL 是替代昂贵商业数据库的有力选择,但对于企业级关键业务系统而言,社区版 PostgreSQL 本身可能难以满足需求。正在推进数据库基础设施现代化的组织,往往需要更完善的技术支持、治理机制和生命周期管理,而这些都超出了标准开源版本的范畴。文章认为,对于有高可靠性和合规要求的企业,企业级 Postgre…

原文链接:

https://pgnexus.ai/tech-blogs?url=https%3A%2F%2Fwww.postgresql.fastware.com%2Fblog%2Fenterprise-grade-postgresql-beyond-standard-open-source

pgbadger v13.3 版本发布

pgBadger v13.3 作为维护版本发布。此次修复了多个问题:当查询同时被 log_min_duration_statement 和 auto_explain 记录时导致执行次数重复计算的 bug、多行语句解析错误、--dbuser 过滤时错误丢弃查询,以及 --explode 选项的若干问题。新增功能包括:列表项超过 10 条时图例…

原文链接:

https://pgnexus.ai/tech-blogs?url=https%3A%2F%2Fwww.postgresql.org%2Fabout%2Fnews%2Fpgbadger-v133-has-been-released-3435%2F

TimescaleDB Enterprise 公开测试版发布:构建现代企业时序数据平台

TimescaleDB Enterprise 现已进入公开测试阶段,这是一个基于 PostgreSQL 和 TimescaleDB 构建的企业级时序数据库平台,同时也是 Inductive Automation 在 Ignition 2027 中推出的 Ignition Enterprise Historian 的底层数据库基础。核心功能包括 hypert…

原文链接:

https://pgnexus.ai/tech-blogs?url=https%3A%2F%2Fwww.tigerdata.com%2Fblog%2Ftimescaledb-enterprise-is-in-public-beta

PostgreSQL Hacker 电子邮件讨论精选

并行查询中由于 hash join 对 SubPlan 重复访问导致的断言失败

讨论围绕并行查询中的一个断言失败问题展开,根本原因是在 hash join 执行过程中,SubPlan 节点被多次访问。由于多个 PlanState 节点可能引用同一个子 PlanState,仅在单个节点层面做去重是不够的。David Geier 和 Lukas Fittl 一致认为应修改 planstate_tree_walker(),使其对每个节点…

原文链接:

https://pgnexus.ai/hacker-discussions?subject=Assert%20failure%20in%20parallel%20query%20due%20to%20SubPlan%20double%20visit%20for%20hash%20join

修复并行 worker 导致的 WAL 统计重复计数问题

讨论围绕修复并行 worker 导致 WAL 统计数据重复计数的问题展开。Lukas Fittl 的 v1 补丁引入了 pgWalUsageFromWorkers 和辅助函数 WalUsageAccumDiff(),保持 pgWalUsage 包含 worker 的活动。Michael Paquier 倾向于方案 (2):将 leader 自身…

原文链接:

https://pgnexus.ai/hacker-discussions?subject=Fix%20cumulative%20WAL%20statistics%20double-counting%20from%20parallel%20workers

[PG19] Memoize 在非确定性排序规则下返回错误结果

有用户报告了一个 bug:在使用非确定性排序规则(nondeterministic collation)时,Memoize 会产生错误的查询结果。自提交 0da29e4cb16 起,anti join 可以使用 Memoize,而 Memoize 在比较缓存键时使用的是连接列的排序规则。当排序规则为非确定性时,‘P1’ 和 ‘p1’ 在缓存查找中被视为相同…

原文链接:

https://pgnexus.ai/hacker-discussions?subject=%5BPG19%5D%20Wrong%20results%20from%20Memoize%20with%20a%20nondeterministic%20collation

在分析 WHERE 子句之前提前拒绝不支持的 COPY FROM 目标

该讨论涉及 Chao Li 提交的一个补丁(当前为 v3),其核心改动是将 COPY FROM 中的 relkind 检查提前到 WHERE 子句分析和选项处理之前。Surya Poondla 在当前 master 上分别测试了 v2 和 v3,确认代码正确。一个值得注意的副作用是:在 master 上,relkind 检查触发前文件已被打开或程序已被执行…

原文链接:

https://pgnexus.ai/hacker-discussions?subject=Reject%20unsupported%20COPY%20FROM%20targets%20before%20analyzing%20WHERE%20clause

nbtree:可选的叶节点键前缀压缩

该线程讨论 Greg Burd 为 nbtree 添加可选叶页键前缀压缩的补丁,通过新存储参数 prefix_compression 控制,默认关闭。v7 修复了一个由 sanitizer CI 发现的 WAL 重放对齐问题:split/dedup payload 中的前缀区域未经 MAXALIGN 对齐,导致在严格对齐平台上访问 IndexTuple…

原文链接:

https://pgnexus.ai/hacker-discussions?subject=nbtree%3A%20opt-in%20leaf%20key%20prefix%20compression

自定义 OAuth 验证器选项

讨论围绕在 PostgreSQL 系统视图中展示自定义 OAuth validator 选项(validator.),以便管理员能够查看服务器实际解析的 HBA 配置内容。Zsolt Parragi 提交的补丁将这些选项按出现顺序以 validator.= 的格式输出。由于未知的 validator. 名称在重载时无法被检测到…

原文链接:

https://pgnexus.ai/hacker-discussions?subject=Custom%20oauth%20validator%20options

行业新闻

AI 推理初创公司 Fal 融资 13 亿美元,估值翻倍至 160 亿美元

AI 推理基础设施初创公司 Fal 完成 13 亿美元融资,估值翻番至 160 亿美元,本轮融资由 Bessemer 领投。这家成立五年的公司专注于 AI 推理基础设施领域,此次融资反映出市场对相关服务的需求持续飙升。随着 AI 应用加速渗透各行各业,Fal 等推理基础设施提供商愈发受到顶级风投机构的青睐,被视为支撑大规模 AI 模型部署的关键力量。

原文链接:

https://pgnexus.ai/tech-news?url=https%3A%2F%2Ftechcrunch.com%2F2026%2F11%2F03%2Fai-inference-startup-fal-doubles-its-valuation-to-16b-as-demand-surges

CrowdStrike 斥资近 5 亿美元收购两家 AI 安全初创公司

CrowdStrike 宣布将以近 5 亿美元的总价收购两家 AI 安全初创公司:Fiddler AI 专注于开发 AI 智能体可观测性软件,Dreadnode 则致力于自动化 AI 安全测试。随着企业大规模部署 AI 智能体,相关安全工具的市场需求快速升温。此次收购体现了 CrowdStrike 押注 AI 原生安全赛道的战略意图,旨在提前布局应对 AI 驱动型智能体所带来的新型安全风险。

原文链接:

https://pgnexus.ai/tech-news?url=https%3A%2F%2Ftechcrunch.com%2F2026%2F11%2F03%2Fcrowdstrike-to-shell-out-nearly-500m-for-2-ai-security-startups-as-the-market-for-securing-agents-takes-off

Anthropic 增长之下面临计算成本压力加剧

据 TechCrunch 报道,Anthropic 目前正面临计算成本经济性持续恶化的困境——在外界普遍预期利润率应有所改善之际,该公司的算力成本却在逆势攀升。这一现象揭示了 AI 公司在实现盈利方面面临的长期挑战:即便营收和融资规模不断扩大,高企的基础设施开支依然是前沿 AI 研发可持续发展的核心难题。Anthropic 的处境引发外界对顶级 AI 企业财务健康状况的广泛关…

原文链接:

https://pgnexus.ai/tech-news?url=https%3A%2F%2Ftechcrunch.com%2F2026%2F11%2F03%2Fanthropic-is-still-grappling-with-the-economics-of-compute

社交媒体动态

Stripe 数据管道现已支持实时同步至 Lakebase Postgres,数据延迟仅需数秒

Stripe 数据管道现已支持实时同步至 Lakebase Postgres,数据更新延迟仅需数秒。Stripe 负责处理历史数据回填、持续数据传输及数据审计,开发者无需自行搭建 API 或 Webhook 集成,即可直接通过 SQL 查询最新的支付与订阅数据。这一能力使构建权限管理、账单展示以及个性化推荐等应用场景变得更加简便。

原文链接:

https://pgnexus.ai/social-media?url=https%3A%2F%2Fwww.linkedin.com%2Fposts%2Fdatabricks_stripe-data-pipeline-now-supports-real-time-activity-7523465572542738432-TJBm

Lakeflow Designer 更新:数据准备工作流的构建、验证与管理能力全面增强

Databricks 在十月份对 Lakeflow Designer 进行了多项更新。新增的数据质量护栏支持自定义检查规则,并可控制检查失败时的处理方式;无代码算子覆盖数据清洗与去重场景;单个算子即可完成多表关联操作;参数化输入输出提升了工作流的灵活性;可视化版本历史则让工作流变更的追踪与回溯更加直观。这些改进旨在帮助数据工程师更高效地构建和管理数据管道。

原文链接:

https://pgnexus.ai/social-media?url=https%3A%2F%2Fwww.linkedin.com%2Fposts%2Fdatabricks_more-ways-to-build-validate-and-manage-activity-7523402427333627904-oQoL

无需精通 Kubernetes,KubeCon + CloudNativeCon 北美大会同样值得参加(11 月 9–12 日,盐湖城)

KubeCon + CloudNativeCon 北美大会将于 11 月 9 日至 12 日在盐湖城举行,预计吸引来自逾 2100 家机构的 9000 余名参会者。大会设有 400 多个议题,今年重点聚焦 AI 基础设施,涵盖推理、GPU 调度、模型服务等方向,同时涉及平台工程、可观测性、安全及 Kubernetes 上的有状态系统。周一为联合活动日,包括 Agentics Da…

原文链接:

https://pgnexus.ai/social-media?url=https%3A%2F%2Fwww.linkedin.com%2Fposts%2Fpgedge_kubecon-cloudnativecon-postgresql-activity-7523482032677617664-1Fx

机器学习生产化实战:四层可观测性驱动的模型运维体系 机器学习模型上线后稳定性差、故障定位慢、业务效果难归因,本质是缺乏面向真实生产环境的可观测能力。本文围绕数据层、特征层、模型层和业务层四大核心维度,系统阐述如何构建分层健康探针、质量校验与业务价值反馈机制,融合Prometheus监控、ELK日志分析与轻量级主动探测技术,实现从‘能跑’到‘可信、可管、可演进’的跃迁。内容深度覆盖特征漂移检测、模型一致性验证、影子流量灰度等关键实践,直击MLOps中‘部署即失联’的行业痛点。 阅读详情

相关推荐

FastAPI集成Redis高可用实践:缓存、锁与异步连接

Redis作为内存数据库,是提升Web服务性能的关键中间件;其核心原理在于基于键值对的高速读写与多种数据结构支持;技术价值体现在降低数据库压力、实现跨进程状态共享及解耦耗时操作;典型应用场景包括接口响应缓存、分布式锁控制、用户会话管理与轻量任务队列;在FastAPI这类异步框架中,必须采用aioredis连接池、安全键设计、orjson序列化及熔断降级机制,才能真正发挥Redis的低延迟优势,避免连接耗尽、缓存穿透与锁失效等生产事故。

weixin_30580341的博客 372

PostGraphile v4 的 postgraphile.tags.json5 智能标签文件:从文件格式到插件实现

`postgraphile.tags.json5` 是 PostGraphile v4 中通过外部文件为数据库对象(表、列、约束、函数)附加"智能标签(Smart Tags)"的标准方式:CLI 模式会自动发现并加载当前目录下的该文件,库模式则可通过 `TagsFilePlugin` 或 `makePgSmartTagsFromFilePlugin` 手动接入。读完本文,你将掌握该文件的完整格式、

gitblog_01038的博客 828

Plone可视化编辑架构解析:Deco与collective.cover的原子设计

可视化页面编辑是现代CMS的核心能力,其本质是将内容组装过程抽象为可复用、可配置、可组合的交互范式。从技术原理看,所有可视化编辑系统都依赖容器化布局、插槽化内容注入和实例化组件渲染三大原子操作;这种设计不仅提升前端交互一致性,更通过解耦内容与呈现,显著增强多角色协作效率与系统可维护性。在Plone生态中,Deco与collective.cover正是这一范式的典型实现——前者面向细粒度区域编排,后者专注整页封面构建,二者共享plone.tiles底层协议,共同构成Plone 6响应式内容架构的基石。本文基于

chudan0503的博客 393

【免登录下载】深圳路网SHP数据:交通分析与城市规划的一站式数据集

这是「深圳路网相关shp数据」:一份 2019 年成型的深圳完整路网 SHP 数据,覆盖主要公路、小路、铁路、区划分、街道划分与河流六类图层,适合第一次做城市交通与 GIS 课题的学生、研究人员和城市规划从业者直接取用。 ## 📊 这份数据集里有什么 数据集以 SHP 矢量图层组织,六类内容各对应一个分析维度: | 数据类别 | 内容说明 | 典型用途 | | --- | --- | --

gitblog_00775的博客 198

Windows下玩转Spark:零基础本地集群搭建与实战演示

本文详细介绍了在Windows系统下零基础搭建Spark本地集群的完整流程,包括环境准备、集群启动、实战案例演示及性能优化技巧。通过Standalone模式快速部署,结合WordCount等经典案例帮助初学者快速掌握Spark数据处理,特别适合Windows环境下的大数据开发入门学习。

weixin_33734785的博客 425

stm32H743IIT6 cubemx HAL USB UVC摄像头基础

stm32性能已经很强了, 可以驱动ov5640摄像头, 所以可以把摄像头接在stm32上, 当作一个摄像头驱动器, 连接到电脑上 开发环境: stm32cubemx 6.0.1 单片机: 自己做的stm32h743iit6核心板,兼容正点原子 学习资料: 圈圈学USB 鱼鹰谈单片机 从零开始学习USBhttps://to-run-away.blog.youkuaiyun.com/article/details/85038393 整个项目是基于CDC串口上修改 1 stm32 USB 代码概览 ..

紫枫洛天的博客 7754

Peewee 快速入门指南:模型定义、数据存取与查询实战

本篇指南基于 Peewee 官方 Quickstart 文档整理,带你从零完成一个完整的 ORM 应用闭环:先用 Python 类定义数据模型并映射到数据库表,再通过 `save` / `create` / `delete_instance` 完成数据的增删改,最后用 `select`、`join`、`group_by`、`prefetch` 和 SQL 函数写出高效、可避免 N+1 问题的查询。

gitblog_01171的博客 156

群晖设置公网ipv6方式域名解析访问

群晖、IPV6、域名解析

爬山虎的博客 2万+

SQLAlchemy 1.0 迁移指南:ORM/Core 新特性与行为变更全解析

本文基于 [doc/build/changelog/migration_10.rst](https://link.gitcode.com/i/94abc0dd7e2555d14fd5311164832bd8) 编写,系统梳理 SQLAlchemy 从 0.9 升级到 1.0(2015 年 4 月发布)期间的**新特性**与**行为变更**,涵盖 ORM 批量写入、Baked Query、声明式 M

gitblog_00363的博客 1174

4、I3C协议详解

I3C最初的设计目的是为移动设备创建一个能够使用多个传感器的单一接口。随着现代化移动设备对于传感器数量的增加以及对性能的提高,I2C和SPI已经达到了他们所能支持的临界点,而I3C的出现就是为了解决这一问题,I3C可以在同一根主线上支持更多的传感器设备,而且不会因为要支持中断或睡眠模式而增加额外的逻辑信号。I3C可以在更低功耗的情况下提供更快的传输速率,该特性的提升不止是对移动设备,对其他的嵌入式设备也都是很大的帮助。例如穿戴设备,需要在有限的物理空间中使用多个传感器并且要求更小的耗电。 一、简述..

迟子涵925的博客 2万+

Vitis开发环境下的双核ARM通信:Hello World背后的AMP架构解析

本文深入解析了Vitis开发环境下ZYNQ双核ARM Cortex-A9处理器的AMP架构与通信机制。通过详细的硬件配置、内存分配和核间通信实现步骤,展示了如何构建高效的双核Hello World系统,为嵌入式系统开发者提供了实用的开发指南和性能优化技巧。

weixin_29162439的博客 219

Forem 信息流变体(Feed Variants)配置指南:基于 relevancy levers 的可试验个性化信息流系统

本文以 [config/feed-variants/README.md](https://link.gitcode.com/i/1297293c0c445975ed92bb1f00d87b52) 为核心,系统讲解 Forem 社区平台如何通过 JSON 定义的“信息流变体”(feed variant)来实验与调优首页个性化推荐流。读完本文,你将掌握 feed variant 的文件组织与命名约定、

gitblog_00776的博客 264

基于STM32的汽车主门电动窗开关系统设计方案

以下是基于 STM32CubeMX 和 HAL 库的示例代码,可实现基本的功能。

weixin_42300449的博客 996

老 Mac 跑上 macOS Sequoia 15:OpenCore-Legacy-Patcher 完整装机、排障与回滚指南

如果你的 Mac 从 Big Sur 甚至更早就不再接收更新,好用的新应用和功能也会越来越少。机型是 Penryn(2007)及更新的,OpenCore-Legacy-Patcher(下称 OCLP)能帮你装上官方 macOS 11(Big Sur)到 15(Sequoia)。工具本身免费开源,思路也直接:在开机阶段借助第三方启动加载器 OpenCore,把系统需要的修补数据注入内存,不改磁盘上的

gitblog_01128的博客 630

第55篇:数据隐私保护技术盘点——差分隐私、同态加密与它们的坑(踩坑总结)

数据隐私保护是AI工程化中必须严肃对待的课题。差分隐私和同态加密是两把利器,但也都是“重武器”,使用不当反而会伤及自身。差分隐私像“模糊处理”,通过加噪来保证统计安全性,要小心管理隐私预算和效用权衡。同态加密像“保险箱里打算盘”,保证了计算的精确性,但必须承受巨大的性能和工程复杂度代价。我的建议是:从小规模实验开始,先用DP-SGD在MNIST/CIFAR-10等标准数据集上感受噪声与精度的关系;再用TenSEAL等易用的库尝试一个加密逻辑回归,体会密文膨胀和速度延迟。

ai_blue_pm的博客 281

锂电池充放电管理-单片机通用模版

- **①两节锂电池通过电阻分压检测ADC,再根据电压划分电量等级;** - **②充电使用的是锂电池充电IC方案,可通过硬件电阻参数调节充电电流,并可以通过STAT引脚检测充电和满电状态(充电注意会抬高电压);** - **③放电根据ADC_BAT检测电池电量进行等级划分(注意大负载电压骤降瞬间);** - **④充放电过程注意在电量划分等级临界值来回抖动现象;**

a6662580的博客 1490

网站集成GenAI Agent的工程实践指南

GenAI Agent是一种具备意图理解、多步编排与服务调用能力的智能交互系统,其核心原理在于将大语言模型与业务逻辑解耦,通过状态机驱动、API网关中转和前后端分层协作实现可控执行。相比传统聊天机器人,它显著提升用户意图达成率与业务转化价值,在教育推荐、电商客服、SaaS产品引导等动态交互场景中效果突出。本文聚焦真实部署中的JavaScript前端接入、Python后端编排、OpenAI API工程化封装及Token上下文管理等关键技术环节,提供可直接复用的代码片段与避坑经验。

weixin_30399821的博客 439

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

AI编程工具核心能力与开源方案实战指南

现代软件开发中,AI编程工具通过代码生成、智能补全等核心技术显著提升开发效率。其底层原理基于大规模预训练模型,通过分析海量代码库学习编程模式,能够理解上下文语义并生成符合规范的代码。这类工具的技术价值在于将开发者从重复性劳动中解放,使其更专注于架构设计和核心逻辑。典型应用场景包括快速原型开发、遗留系统迁移、跨语言转换等工程实践。以CodeLlama、Tabnine为代表的开源方案,结合量化技术和提示词工程,可在本地环境实现接近商业产品的效果。开发者生态报告显示,合理使用AI工具能使代码产出效率提升3-5倍,

weixin_34208185的博客 393

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

猫抓 cat-catch 资源嗅探扩展指南:3 步把网页视频、m3u8 流媒体下载到本地

猫抓(cat-catch)是一款免费的浏览器资源嗅探扩展。它在后台持续监听网页发出的网络请求,把其中的视频、音频、图片资源按 MIME 类型筛选出来,整理成带文件名、大小、时长、分辨率的清单;对于 m3u8、MPD 这类流媒体,还能进一步解析分片、合并下载,最终得到一个可以直接播放的完整文件。 ## 为什么网页里的视频很难存下来 大部分站点不会给视频提供下载按钮。地址栏里看到的往往是经过转码的

gitblog_01075的博客 156

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

AI编程订阅模式深度解析:Coding/Token/Agent三大Plan技术本质

AI编程工具已从简单代码补全演进为工程级协作系统,其核心不再只是大语言模型能力,而是围绕开发流程重构的交互范式。Coding Plan本质是IDE深度集成的实时增强服务,依赖AST解析与项目上下文感知;Token Plan实为动态模型调度中枢,需用户具备Prompt工程与资源运营能力;Agent Plan则构建于工作流编排引擎之上,以SLA承诺交付质量,强调可验证、可追溯、可归因的自动化产出。三者差异远超计费方式,直指上下文稳定性、领域适配深度与质量风险承担机制。当前主流方案在有效代码产出率、首次合并通过率

weixin_34319111的博客 273

linux学习

sudo make install:组装好的家具(编译好的库文件),原本放在你的临时工作区。坏处是,你的程序体积会变大。于是,他会根据你的计划书,结合你电脑的当前情况(比如装了什么编译器,库在哪),生成一本极度详细的《施工进度表》。很多大牌的第三方库(比如你刚装的 libevent)为了照顾不同的需求,会同时提供动态库(.so)和静态库(.a),但并不是所有库都这样。只有动态库:常见于系统的核心库(比如你系统的底层 C 库),或者一些商业闭源软件(厂商只给你一个黑盒子,不让你直接把代码打包进你的程序)。

d_mail的博客 194

ubuntu 偶发启动失败问题分析

ubuntu 系统启动偶发异常问题分析

平面到立体 198

期货保证金占用变多,怎样找出哪张合约增得最多?

盘中看了两次期货账户,第二次发现保证金占用多了。眼下占用最大的合约很显眼,但它不一定是这段时间增得最多的。如果复盘想知道“先查哪张”,要按前后差额排,不是按第二次的金额排。

weixin_49134609的博客 223

高可用分布式存储架构设计及其应用

节点间维持秒级心跳,同时引入Phi accrual failure detector:当某节点心跳间隔的分布偏离历史基线超过阈值时,判定为“疑似故障”,提前触发副本状态检查,而非被动等待固定超时。同城双AZ部署,指令通道的Raft副本组跨AZ分布,AZ间RTT控制在1.5 ms以内,确保多数派写入的延迟增量可接受。这一取舍的直接后果是:同城单AZ故障时,指令通道经历约2—5 s的写入暂停,遥测通道保持可用但可能出现秒级的数据空洞,由车端缓冲补齐。,使异地副本常态化接近同步状态,压缩故障切换时的数据差距。

jcgu的专栏 180

空圈容错・优快云 站点技术架构信任链诊断

本文为基于公开故障现象的黑箱架构推演报告,聚焦“监控健康但用户访问异常”共性问题。提出C/M/V/P四层可达性分析框架,强调V层需满足数据源、方法、环境三异才具仲裁能力。通过R1–R10探针识别架构风险,揭示同源校验、配置共担、降级粗放等隐患。诊断指出:进程存活≠链路通畅,200状态码≠内容正确。配套8问自测清单与∅_safe分级降级方案,推动从“全好/全崩”到“半坏可控”的可观测跃迁。所有推断假说需依赖图谱与压测验证,不构成线上定论。

Liaiyang66的博客 393

CAGR7.5%!小众高端科研仪器:平面双轴拉伸试验系统市场稳步扩容

平面双轴拉伸试验系统是一个典型的 “小而美” 高端科研仪器赛道,市场总量不大,但增速 7.5%、毛利空间可观,需求来自新材料前沿研发,而非常规质检。行业增长主线集中在生物软组织、柔性电子、航空复合材料这几个方向,直线电机低载荷机型、四执行器中心保持方案、DIC 一体化系统是产品升级重点。国内厂商的机会在于国产化替代和本地化技术服务,但必须攻克多轴同步控制、试样对中、配套试验方法论这些核心难点,不能只做简单机械装配。

2603_95348957的博客 142
上一篇: PG18 开发者与 SQL 新特性在 IvorySQL 5.6 实测
下一篇: 活动回顾| IvorySQL 校园行走进浙江大学,解锁 PostgreSQL 与 AI 技术实践新体验
IvorySQL
博客等级 码龄5年 745粉丝 566原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值