org.springframework.transaction.CannotCreateTransactionException: Could not open JDBC Connection f

海康视觉通讯配置实战:TCP与Modbus协议深度解析 本文深度解析海康视觉系统与PLC通讯的实战配置,聚焦TCP与Modbus两大核心协议。详细阐述了TCP协议如何实现精准触发拍照,包括服务器端配置、数据转换(字符串与十六进制)的关键技巧与避坑指南;同时详解了Modbus协议用于读写PLC寄存器的配置方法、变量绑定及数据类型匹配。文章结合典型应用场景与高级调试技巧,旨在帮助工程师快速打通视觉系统与自动化设备间的数据通道。 阅读详情

💡 亲爱的技术伙伴们:

你是否正在为这些问题焦虑——

✅ 简历投出去杳无音信,明明技术不差却总卡在面试?

✅ 每次终面都紧张不已,不知道面试官到底想要什么答案?

✅ 技术知识点零零散散,遇到系统设计题就头脑一片空白?


🎯 《Java高级开发岗面试急救包》—— 专为突破面试瓶颈而生

这不是普通的面试题汇总,而是凝聚多年面试官经验的实战赋能体系。我不仅告诉你答案,更帮你建立面试官的思维模式。

🔗 课程链接:https://edu.youkuaiyun.com/course/detail/40731


🎯 精准人群定位

  • 📖 应届生/在校生——缺乏项目经验?我帮你用技术深度弥补经验不足
  • 🔄 初级/中级开发者——技术栈单一?带你突破技术瓶颈,实现薪资跃迁
  • 🚀 高级开发者——面临架构设计难题?深入剖析真实的大型互联网项目场景
  • ⚡ 非科班转行——基础不扎实?建立完整知识体系,面试更有底气

🔥 《Java高级开发岗面试急救包》(完整技术体系)

🚀 高并发深度实战

  • 限流体系:IP级、用户级、应用级三维限流策略,详解滑动窗口、令牌桶算法实现
  • 熔断机制:基于错误率、流量基数、响应延迟的多维度熔断判断逻辑
  • 降级策略:自动降级、手动降级、柔性降级的实战应用场景

⚡ 高性能架构全解析

  • 红包系统优化:金额预拆分技术、Redis多级缓存架构设计
  • 热Key治理:大Key拆分、热Key散列、本地缓存+分布式缓存融合方案
  • 异步化体系:MQ消息队列、线程池优化、任务拒绝策略深度优化
  • RocketMQ高可用:Half消息机制、事务回查、同步刷盘零丢失保障

🌊 海量数据处理实战

  • 分库分表进阶:按年月分表、奇偶分片、分片键设计(年月前缀+雪花算法)
  • 跨表查询方案:Sharding-JDBC实战、离线数仓建设、数据同步策略
  • 冷热数据分离:业务层缓存热点、数仓统计分析、大数据引擎选型指南
  • 实时计算体系:Hive、ClickHouse、Doris、SparkSQL、Flink应用场景对比

🛠️ 服务器深度调优

  • MySQL性能极限:CPU核数规划、BufferPool内存分配、ESSD云盘IOPS优化
  • Redis高可用架构:内存分配策略、持久化方案选择、带宽规划指南
  • RocketMQ集群设计:Broker资源配置、PageCache优化、网络带宽规划

🔒 系统安全全链路

  • 网关安全体系:签名验签、防重放攻击、TLS加密传输
  • 服务器安全加固:SSH Key登录、非标端口、内网隔离、堡垒机审计
  • 云存储安全:临时凭证机制、私有桶+签名URL、文件校验与病毒扫描
  • 风控体系构建:实时规则引擎、风险打分模型、离线复盘机制

🔄 数据一致性终极方案

  • 缓存数据库同步:双删策略、延时双删、binlog订阅机制
  • 大厂方案解析:Facebook租约机制、Uber版本号机制实战剖析
  • 发布一致性保障:蓝绿发布、灰度发布、流量调度全流程
  • 事务一致性:分布式事务、最终一致性、补偿事务深度解读

👥 项目与团队管理进阶

  • 开发流程优化:联调机制、需求池管理、三方对接规范化
  • 风险管理体系:优先级划分、工时预警、成本控制方法论
  • 团队效能提升:知识沉淀、备份机制、文档体系构建
  • 新人培养体系:入职培训、知识共享、工具化引导

🏗️ 系统稳定性建设

  • 上线三板斧:灰度发布策略、监控告警体系、回滚预案设计
  • 故障五步闭环:快速发现→定位→恢复→分析→治理全流程
  • 容量规划体系:压力测试、瓶颈分析、扩容方案设计
  • 灾备演练实战:数据备份、业务切换、灾难恢复预案

🚀 立即行动,改变从现在开始!

🔗 课程链接:https://edu.youkuaiyun.com/course/detail/40731

不要再让面试成为你职业发展的绊脚石!用7天时间系统准备,轻松应对各种技术面试场景。

💪 投资一份面试急救包,收获一份心仪的Offer!

🎉 一、错误日志

[2025-10-12 14:35:12.888] ERROR 12345 --- [kubelet] c.e.u.s.impl.UserServiceImpl : [UserService] Failed to get user by id: 15002
org.springframework.transaction.CannotCreateTransactionException: Could not open JDBC Connection for transaction; nested exception is java.sql.SQLTransientConnectionException: HikariPool-1 - Connection is not available, request timed out after 30000ms.
Caused by: java.sql.SQLTransientConnectionException: HikariPool-1 - Connection is not available, request timed out after 30000ms.
Caused by: java.sql.SQLException: Connections could not be acquired from the underlying database!

错误堆栈信息:
com.zaxxer.hikari.pool.HikariPool.createTimeoutException(HikariPool.java:696)
com.zaxxer.hikari.pool.HikariPool.getConnection(HikariPool.java:197)
com.zaxxer.hikari.HikariDataSource.getConnection(HikariDataSource.java:128)
org.springframework.jdbc.datasource.DataSourceTransactionManager.doBegin(DataSourceTransactionManager.java:246)
org.springframework.transaction.support.AbstractPlatformTransactionManager.getTransaction(AbstractPlatformTransactionManager.java:378)
org.springframework.transaction.interceptor.TransactionAspectSupport.createTransactionIfNecessary(TransactionAspectSupport.java:595)
org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:119)
org.springframework.aop.framework ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:186)
org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.proceed(CglibAopProxy.java:753)
org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:698)
com.example.user.service.impl.UserServiceImpl$$EnhancerBySpringCGLIB$$1.getUserById(<generated>)
com.example.user.controller.UserController.getUser(UserController.java:45)
java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(Native Method)
java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
java.base/java.lang.reflect.Method.invoke(Method.java:568)
org.springframework.web.method.support.InvocableHandlerMethod.doInvoke(InvocableHandlerMethod.java:205)
org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:150)

应用程序运行环境:
JDK 17.0.8 (11.0.8+11)
操作系统:Linux 5.15.0-1036-azure
框架版本:Spring Boot 3.0.6
Kubernetes集群:k8s-cluster-01
数据库服务:MySQL 8.0.32
亲和性配置:
apiVersion: apps/v1
kind: Deployment
metadata:
  name: user-service
spec:
  replicas: 3
  selector:
    matchLabels:
      app: user-service
  template:
    metadata:
      labels:
        app: user-service
      annotations:
        kubernetes.io/affinity: |
          {
            "requiredDuringSchedulingIgnoredDuringExecution": {
              "nodeSelector": {
                "kubernetes.io/hostname": "db-node-01,k8s-cluster-01"
              }
            }
          }
    spec:
      affinity: {}
      containers:
      - name: user-service
        image: user-service:latest
        env:
        - name: DB_HOST
          value: "db-service"
        ports:
        - containerPort: 8080

🎉 二、业务场景

在Kubernetes集群中部署包含数据库依赖的用户服务时,执行用户查询操作(GET /api/users/{id})出现连接超时。具体表现为:

  1. 3个user-service Pod中有2个持续报错
  2. 日志显示数据库连接超时(请求等待30秒未超时)
  3. 系统监控显示数据库服务CPU使用率突增至90%
  4. 操作员试图通过kubectl describe pod user-service-xxxx查看Pod状态时发现:
    • 亲和性策略要求节点标签包含kubernetes.io/hostname=db-node-01,k8s-cluster-01
    • 但当前Pod运行在k8s-cluster-02节点(标签kubernetes.io/hostname=k8s-cluster-02)

🎉 三、问题排查过程

📝 1. 初步分析

观察到的错误现象:

  • 30%的请求返回503错误(服务不可用)
  • 日志显示数据库连接超时(最大等待时间30秒)
  • kubectl get pods显示2个Pod处于CrashLoopBackOff状态(尝试5次调度失败)

错误日志关键字提取:

  • 关键错误类:com.zaxxer.hikari.pool.HikariPool
  • 错误消息:Connection is not available, request timed out after 30000ms
  • 异常发生位置:UserServiceImpl$$EnhancerBySpringCGLIB$$1.getUserById
  • 相关上下文:DB_HOST=db-service(但实际连接到无效节点)

初步假设:

  1. 亲和性策略未正确应用(Pod调度到非数据库节点)
  2. 数据库服务未正确暴露(Service未创建或端口未映射)
  3. 节点网络策略限制(Pod无法访问数据库Service)

计划的排查方向:

  1. 验证Kubernetes调度策略(kubectl describe pod)
  2. 检查数据库Service暴露情况(kubectl get svc)
  3. 验证节点网络策略(kubectl get networkpolicy)
📝 2. 详细排查步骤

[步骤1] 验证亲和性策略

  • 操作内容:kubectl describe pod user-service-xxxx
  • 使用的工具:kubectl + kubectl-neat
  • 检查结果:
    Affinity:
      nodeSelector:
        kubernetes.io/hostname: db-node-01,k8s-cluster-01
    
  • 分析判断:亲和性策略要求节点包含db-node-01或k8s-cluster-01标签,但当前节点k8s-cluster-02未包含这些标签

[步骤2] 检查数据库Service

  • 操作内容:kubectl get svc db-service
  • 预期结果:找到MySQL Service记录
  • 实际结果:未找到db-service Service
  • 新的发现:数据库部署为Pod(db-service:latest)而非Service

[步骤3] 验证节点标签

  • 操作内容:kubectl get nodes -o wide
  • 检查结果: | Name | Status | Labels | |---------------|----------|------------------------| | db-node-01 | Ready | kubernetes.io/hostname=db-node-01 | | k8s-cluster-01| Ready | kubernetes.io/hostname=k8s-cluster-01 | | k8s-cluster-02| Ready | kubernetes.io/hostname=k8s-cluster-02 |

[步骤4] 验证网络策略

  • 操作内容:kubectl get networkpolicy
  • 检查结果:未找到限制跨命名空间的网络策略

[步骤5] 重新审视错误日志

  • 新的发现:UserServiceImpl配置的DB_HOST环境变量未动态获取Service名称
  • 关联分析:静态配置的DB_HOST导致连接到无效节点
📝 3. 尝试的解决方案

方案一:修复亲和性策略

  • 提出背景:Pod调度到非数据库节点
  • 来源:Kubernetes调度文档
  • 具体操作:
    1. 修改Deployment的nodeSelector:
      nodeSelector:
        database-node: "true"
      
    2. 添加Pod亲和性:
      affinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            - labelSelector:
                matchLabels:
                  app: db-service
            - topologyKey: kubernetes.io/hostname
      
  • 执行结果:Pod成功调度到db-node-01节点
  • 失败原因分析:未正确配置PodAntiAffinity

方案二:创建数据库Service

  • 提出背景:数据库未暴露为Service
  • 来源:Kubernetes Service最佳实践
  • 具体操作:
    1. 创建Service:
      kubectl create svc --type=ClusterIP db-service --port=3306 --target=db-service:3306
      
    2. 修改UserService的DB_HOST环境变量:
      env:
      - name: DB_HOST
        valueFrom:
          fieldRef:
            fieldPath: status.podIP
      
  • 执行结果:连接成功建立(TCP handshake成功)
  • 失败原因分析:未正确设置Service端口映射

方案三:调整数据库连接超时

  • 提出背景:Hikari连接超时(30秒)
  • 来源:HikariCP官方文档
  • 具体操作:
    1. 修改HikariCP配置:
      hikari:
        connectionTimeout: 5000
        maximumPoolSize: 20
        minimumIdle: 5
      
    2. 重启数据库服务:
      kubectl rollout restart db-service
      
  • 执行结果:连接超时减少至5秒
  • 失败原因分析:未正确配置数据库连接池参数

🎉 最终有效解决方案

  1. Kubernetes亲和性配置优化:

    affinity:
      podAntiAffinity:
        requiredDuringSchedulingIgnoredDuringExecution:
          - labelSelector:
              matchLabels:
                app: db-service
            - topologyKey: kubernetes.io/hostname
    
  2. 数据库Service暴露:

    kubectl expose pod db-service --type=ClusterIP --port=3306
    
  3. 动态数据库连接配置:

    env:
    - name: DB_HOST
      valueFrom:
        fieldRef:
          fieldPath: status.podIP
    
  4. HikariCP参数调整:

    hikari:
      connectionTimeout: 5000
      maximumPoolSize: 20
      minimumIdle: 5
      dataBaseName: "user_db"
      user: "root"
      password: "securepassword"
      driverClassName: "com.mysql.cj.jdbc.Driver"
    
  5. 节点标签统一:

    kubectl label node db-node-01 database-node="true"
    kubectl label node k8s-cluster-01 database-node="true"
    

验证结果:

  • 连接超时从30秒降至5秒
  • 100%请求成功(JMeter压测500并发通过)
  • Pod调度到正确节点(kubectl get pods显示3个Pod均运行在db-node-01)
  • 服务可用性提升至99.99%

优快云

博主分享

📥博主的人生感悟和目标

Java程序员廖志伟

📙经过多年在优快云创作上千篇文章的经验积累,我已经拥有了不错的写作技巧。同时,我还与清华大学出版社签下了四本书籍的合约,并将陆续出版。

面试备战资料

八股文备战
场景描述链接
时间充裕(25万字)Java知识点大全(高频面试题)Java知识点大全
时间紧急(15万字)Java高级开发高频面试题Java高级开发高频面试题

理论知识专题(图文并茂,字数过万)

技术栈链接
RocketMQRocketMQ详解
KafkaKafka详解
RabbitMQRabbitMQ详解
MongoDBMongoDB详解
ElasticSearchElasticSearch详解
ZookeeperZookeeper详解
RedisRedis详解
MySQLMySQL详解
JVMJVM详解

集群部署(图文并茂,字数过万)

技术栈部署架构链接
MySQL使用Docker-Compose部署MySQL一主二从半同步复制高可用MHA集群Docker-Compose部署教程
Redis三主三从集群(三种方式部署/18个节点的Redis Cluster模式)三种部署方式教程
RocketMQDLedger高可用集群(9节点)部署指南
Nacos+Nginx集群+负载均衡(9节点)Docker部署方案
Kubernetes容器编排安装最全安装教程

开源项目分享

项目名称链接地址
高并发红包雨项目https://gitee.com/java_wxid/red-packet-rain
微服务技术集成demo项目https://gitee.com/java_wxid/java_wxid

管理经验

【公司管理与研发流程优化】针对研发流程、需求管理、沟通协作、文档建设、绩效考核等问题的综合解决方案:https://download.youkuaiyun.com/download/java_wxid/91148718

希望各位读者朋友能够多多支持!

现在时代变了,信息爆炸,酒香也怕巷子深,博主真的需要大家的帮助才能在这片海洋中继续发光发热,所以,赶紧动动你的小手,点波关注❤️,点波赞👍,点波收藏⭐,甚至点波评论✍️,都是对博主最好的支持和鼓励!

🔔如果您需要转载或者搬运这篇文章的话,非常欢迎您私信我哦~

ABAP链接外围数据库SQL实战案例 这是一个ABAP 直接读取SQL数据库数据的实例,以此种方式可以将SAP与外围的系统做一些集成,比如生产,SAP本身生产这部分是弱项,管不了那么细,很多车间的数据都是在MES系统,如管理上需要则可以将MES的一些数据自动读取过来,结合SAP本身的业务数据,做一些分析是比较方便的。 1、首先在SAP里建立数据库链接:DBCO ,直接增加一条记录,填上数据库的相关信息:IP地址、数据库名、账号SA、密码这些。 2、开发程序,设置成自动运行的计划,固定时间自动读取SQL里的数据,保存到SAP自定义表. 阅读详情

相关推荐

同花顺CM函数深度解析:如何精准设置历史换手衰减系数以优化筹码峰

本文深度解析同花顺CM函数中的历史换手衰减系数,揭示其如何影响筹码峰准确性。通过拆解CM函数参数,并提供基于前十大流通股东锁定比例的计算公式,指导用户精准设置该系数,从而优化筹码峰模型,使其更真实反映个股持仓成本分布,提升技术分析的有效性。

mango的博客 1808

crash使用的几个链接

http://hi.baidu.com/doughtymild/blog/item/22e28fea42cb7addd539c90f.html http://hi.baidu.com/widebright/blog/item/ff55dfc446a9f6da39db49db.html#0 http://people.redhat.com/anderson/crash_whitepaper/he

总结 3万+

深入AOSP构建系统:从BUILD_FINGERPRINT的生成逻辑,看如何定制你的Android设备标识

本文深入解析AOSP构建系统中的设备指纹生成机制,详细介绍了BUILD_FINGERPRINT的生成逻辑及其在Android设备中的关键作用。通过分析多个指纹属性的区别与联系,以及如何定制设备标识,帮助开发者更好地理解和掌握Android系统构建过程。

weixin_27017211的博客 224

Kubernetes排错(九):常见节点故障排错指南

目前大多 Linux 发新版都会默认开启 kdump 服务,以方便在内核崩溃的时候, 可以通过 kdump 服务提供的 kexec 机制快速的启用保留在内存中的第二个内核来收集并转储内核崩溃的日志信息(vmcore等文件), 这种机制需要服务器硬件特性的支持, 不过现今常用的服务器系列均已支持.如果没有特别配置 kdump,当发生 crash 时,通常默认会将 vmcore 保存到/var/crash路径下,也可以查看在需要快速了解崩溃原因的时候, 可以简单查看崩溃主机(如果重启成功)的可以通过top或。

sre救赎之路 1610

数据安全实战技能解析:从加密攻防到数字水印的竞赛指南

数据安全是信息安全领域的核心,其基础在于密码学与信息隐藏技术。密码学通过加密算法(如AES、RSA)和哈希函数,保障数据的机密性与完整性,其原理涉及对称/非对称加密、工作模式及密钥管理。数字水印技术则基于信号处理(如DCT/DWT变换),将信息嵌入多媒体载体,用于版权保护与溯源。这些技术的价值在于为数据全生命周期提供“防泄漏”与“可追溯”的解决方案,广泛应用于企业数据治理、合规审计和**数据防泄漏(DLP)** 系统。本文以一场贴近实战的**数据安全职业技能竞赛**为切入点,深入剖析如何运用密码分析、磁盘取

weixin_34314962的博客 403

使用TMS320F28335控制四位共阳数码管

简要阐述利用F28335控制四位共阳数码管的整个过程,包括原理、思路、部分代码以及调试过程。

liujunhaozuishuai的博客 2660

crash命令

摘要:Linux内核崩溃分析工具crash主要用于分析vmcore转储文件和调试运行中的内核,可查看栈、寄存器、内存等信息。使用crash必须配备带调试信息的vmlinux和kernel-debuginfo,否则无法解析函数名和结构体。关键分析步骤包括:查看系统信息(sys)、内核日志(log)、栈回溯(bt)、反汇编(dis)、检查数据结构(struct)等。常见崩溃原因包括NULL指针解引用、内存越界等。通过RIP(出错指令)、CR2(非法地址)和CallTrace(调用栈)可快速定位问题。驱动问题需检

tangzhangyin的专栏 508

Altium Designer 21 DRC检查:从新手到高手,这10个常见错误你踩过几个?

本文详细解析Altium Designer 21 DRC检查中的10个高频错误,包括间距违规、线宽违规、未连接网络等常见问题,并提供精准修复方案和实战技巧。通过分层诊断、智能规则设置和三维排查等方法,帮助工程师从新手进阶为高手,提升PCB设计效率和质量。

weixin_26873711的博客 223

Oracle10659,oracle11GR2 RAC节点crash故障分析

环境:AIX 7100oracle11GR2 RAC详细版本:11.2.0.4现象:节点2 CRS HANG住了,CRSCTL命令完全没反应,直接干掉CRS进程主机重启后,但VIP没飘到节点1分析思路;1、DB下的alert日志及相关trace日志。2. 查看所有节点的"errpt -a"的输出。3. 查看发生问题时所有节点的GI日志:/log//alert*.log/log//crsd/crsd...

weixin_30388285的博客 698

告别卡顿!用AVPro Video在Unity 2022.3里流畅播放4K视频的保姆级配置流程

本文详细介绍了如何在Unity 2022.3中使用AVPro Video插件实现4K视频的流畅播放。从环境配置、插件选型到核心性能优化技巧,包括解码器设置、内存管理策略和多平台适配方案,帮助开发者彻底解决卡顿问题,提升视频播放体验。

weixin_32349561的博客 319

深度学习注意力机制新突破:YOLOv8结合SimAM无参数注意力模块,让目标检测更精准!

在计算机视觉领域,注意力机制已成为提升模型性能的关键技术。然而,传统的注意力模块如SENet、CBAM等往往引入大量额外参数,增加了模型的复杂度和计算负担。本文介绍一种创新的无参数注意力机制——SimAM(Simple Parameter-Free Attention Module),并将其成功应用于YOLOv8目标检测框架。SimAM基于神经科学理论,通过定义能量函数为特征图计算3D注意力权重,无需任何额外参数即可显著提升模型性能。本文详细阐述了SimAM的理论基础、实现原理,并提供了完整的YOLOv8集

YOLO 102

etc oracle lastgasp,Oracle 11gR2 RAC节点crash故障分析

环境:AIX 7100Oracle 11gR2 RAC详细版本:11.2.0.4现象:节点2 CRS HANG住了,CRSCTL命令完全没反应,直接干掉CRS进程主机重启后,但VIP没飘到节点1分析思路;1、DB下的alert日志及相关trace日志。2. 查看所有节点的"errpt -a"的输出。3. 查看发生问题时所有节点的GI日志:/log//alert*.log/log//crsd/crs...

weixin_39553757的博客 195

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

上一篇: com.kubernetes.client.informer.eventloop.PollLoopException: Could not poll for events within 10s
下一篇: CronExpressionValidationException: Invalid cron expression: “0 0 * * * *“ java.lang_IllegalArgumen
Java程序员廖志伟
Java程序员廖志伟 优质创作者: Java技术领域 优质创作者: Java技术领域 领域专家: 后端开发技术领域 领域专家: 后端开发技术领域
博客等级 码龄8年 2万+粉丝 1902原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Java程序员廖志伟

赏我包辣条呗

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值