JWT过期、刷新与黑名单管理,Flask开发者必须掌握的5个核心技巧

第一章:Python Flask JWT认证基础

在构建现代Web应用时,安全地管理用户身份验证是核心需求之一。JSON Web Token(JWT)作为一种开放标准(RFC 7519),能够在各方之间以安全的方式传输信息。结合Flask这一轻量级Python Web框架,开发者可以快速实现基于JWT的身份认证机制。

JWT的基本结构与工作原理

JWT由三部分组成:头部(Header)、载荷(Payload)和签名(Signature),通常以`xxx.yyy.zzz`格式表示。它通过加密签名确保数据的完整性,适用于分布式系统中的无状态认证。
  • Header:指定令牌类型和加密算法
  • Payload:携带声明信息(如用户ID、过期时间)
  • Signature:防止数据被篡改,由前两部分加密生成

Flask中集成PyJWT库进行认证

使用PyJWT库可轻松实现JWT的生成与验证。以下是一个简单的令牌生成示例:
# 安装依赖
# pip install PyJWT Flask

import jwt
import datetime
from flask import Flask, request, jsonify

app = Flask(__name__)
SECRET_KEY = 'your-secret-key'  # 应存储在环境变量中

@app.route('/login', methods=['POST'])
def login():
    # 模拟用户登录成功
    token = jwt.encode({
        'user_id': 123,
        'exp': datetime.datetime.utcnow() + datetime.timedelta(hours=1)
    }, SECRET_KEY, algorithm='HS256')
    return jsonify(token=token)
上述代码在用户登录后返回一个包含用户信息和过期时间的JWT。客户端后续请求需在Authorization头中携带该令牌:
Authorization: Bearer <token>
服务器通过中间函数解码并验证令牌有效性,从而决定是否授予访问权限。
优点缺点
无状态,易于扩展令牌一旦签发无法中途撤销
跨域支持良好需妥善管理密钥与过期策略

第二章:JWT过期机制深入解析与实践

2.1 JWT过期原理与安全意义

JWT(JSON Web Token)通过 `exp`(Expiration Time)声明实现自动过期机制。该字段为时间戳,表示令牌的失效时间,服务端在验证时会校验当前时间是否小于 `exp`。
过期时间设置示例
{
  "sub": "1234567890",
  "name": "John Doe",
  "iat": 1516239022,
  "exp": 1516242622
}
上述代码中,`exp` 设置为 1516242622,代表令牌在签发后一小时失效(`iat` 为签发时间)。超出此时间,服务端将拒绝访问。
安全意义
  • 限制令牌生命周期,降低被盗用风险
  • 结合 HTTPS 可有效防止中间人攻击
  • 避免长期有效的凭证驻留客户端
合理设置过期时间是保障无状态认证安全的核心策略之一。

2.2 使用PyJWT实现令牌自动过期

在基于Token的身份验证系统中,令牌的生命周期管理至关重要。PyJWT提供了一套简洁的API来生成和验证带有过期时间的JWT令牌。
安装与基础使用
首先通过pip安装库:
pip install PyJWT
生成带过期时间的令牌
使用exp声明设置过期时间(单位:秒):
import jwt
import datetime

secret_key = "your-secret-key"
payload = {
    "user_id": 123,
    "exp": datetime.datetime.utcnow() + datetime.timedelta(hours=1)
}
token = jwt.encode(payload, secret_key, algorithm="HS256")
上述代码创建了一个1小时后失效的令牌。exp是JWT标准注册声明之一,PyJWT在解码时会自动验证其有效性。
自动过期验证
解码时若令牌已过期,将抛出ExpiredSignatureError:
from jwt import decode, ExpiredSignatureError

try:
    decoded_payload = decode(token, secret_key, algorithms=["HS256"])
except ExpiredSignatureError:
    print("令牌已过期")
该机制确保了无需额外逻辑即可实现自动失效控制。

2.3 自定义过期时间的灵活性设计

在缓存系统中,统一的过期策略难以满足多样化的业务需求。为提升系统的适应能力,引入自定义过期时间机制成为关键。
灵活的TTL配置接口
通过开放可编程的TTL(Time To Live)设置,允许不同数据项在写入时指定独立的存活周期:
type CacheItem struct {
    Value      interface{}
    Expiry     time.Time
}

func (c *Cache) Set(key string, value interface{}, ttl time.Duration) {
    expiry := time.Now().Add(ttl)
    c.items[key] = &CacheItem{Value: value, Expiry: expiry}
}
上述代码中,Set 方法接收 ttl 参数,动态计算过期时间点。这种方式支持从秒级到小时级的精细控制,适用于会话缓存、热点数据预热等场景。
多级过期策略对比
  • 固定全局TTL:实现简单,但缺乏弹性
  • 基于访问频率调整:读取频繁则延长寿命
  • 业务标签驱动:按数据类别设定策略
该设计提升了资源利用率与响应一致性。

2.4 过期异常捕获与用户友好提示

在分布式系统中,缓存过期是常见场景。当请求访问已过期的数据时,系统应能准确捕获该异常并返回清晰的提示信息。
异常类型识别
常见的过期异常包括 CacheExpiredException 和 TokenExpiredError。需通过 try-catch 捕获并分类处理。
func GetData(key string) (string, error) {
    data, err := cache.Get(key)
    if err != nil {
        if errors.Is(err, ErrKeyExpired) {
            return "", fmt.Errorf("数据已过期,请刷新后重试")
        }
        return "", fmt.Errorf("获取数据失败:%v", err)
    }
    return data, nil
}
上述代码在检测到键过期时,封装了可读性强的提示信息,便于前端展示。
用户提示优化策略
  • 使用统一错误码标识过期类异常(如 410)
  • 前端根据错误类型显示对应提示文案
  • 支持自动重试机制提升体验

2.5 生产环境中的过期策略优化

在高并发生产环境中,合理的过期策略能有效降低内存占用并提升缓存命中率。传统的 TTL(Time-To-Live)机制虽简单易用,但在数据访问分布不均时易引发“冷数据滞留”问题。
滑动窗口过期策略
通过用户行为动态延长热点数据的生命周期,避免频繁重建缓存。例如:
func RefreshCache(key string, ttl time.Duration) {
    if redis.Exists(key) {
        redis.Expire(key, ttl) // 每次访问刷新过期时间
    }
}
该逻辑适用于会话类数据,确保活跃连接持续可用。
分层过期配置对比
数据类型初始TTL刷新策略最大存活时间
用户会话30分钟滑动窗口2小时
商品信息10分钟固定过期10分钟
统计报表1小时定时预热24小时

第三章:刷新令牌机制的设计与实现

3.1 刷新令牌的工作流程解析

刷新令牌(Refresh Token)机制用于在访问令牌(Access Token)过期后安全获取新的令牌,避免用户重复登录。
核心工作流程
  • 客户端使用访问令牌请求资源
  • 若访问令牌失效,服务器返回 401 状态码
  • 客户端携带刷新令牌向认证服务器请求新访问令牌
  • 服务器验证刷新令牌合法性并发放新访问令牌
典型请求示例
POST /token HTTP/1.1
Host: auth.example.com
Content-Type: application/x-www-form-urlencoded

grant_type=refresh_token&refresh_token=tGzv3J&client_id=client123
上述请求中,grant_type=refresh_token 表明使用刷新模式,refresh_token 为长期有效的凭证,client_id 用于标识客户端身份。
安全性设计要点
刷新令牌通常具备:长期有效但可撤销、绑定客户端、单次使用或有限使用次数、存储于安全环境(如 HttpOnly Cookie)。

3.2 基于Redis存储刷新令牌状态

在分布式认证系统中,使用Redis集中管理刷新令牌(Refresh Token)的状态可有效提升安全性与可扩展性。相比数据库持久化,Redis的高并发读写和自动过期机制更适合处理短期有效的令牌。
核心优势
  • 高性能:毫秒级响应,支撑高频率令牌校验
  • 自动失效:利用TTL特性实现令牌自然过期
  • 跨服务共享:多个认证节点共享同一状态源
典型数据结构设计
SET refresh_token:abc123 "user_id:456|expires_at:1735689600" EX 2592000
该命令将刷新令牌以键值对形式存入Redis,EX参数设置30天过期时间,确保长期凭证不会永久有效。
状态校验流程
客户端提交令牌 → 查询Redis是否存在 → 检查是否已撤销或过期 → 验证通过后签发新访问令牌

3.3 安全发放与验证刷新令牌实践

刷新令牌的生成与安全存储
刷新令牌(Refresh Token)应使用强随机算法生成,并设置较长但合理的过期时间。为防止泄露,建议将其以加密形式存储于服务端数据库或安全的令牌存储系统中。
  1. 使用加密安全的随机数生成器创建令牌
  2. 绑定用户会话与客户端信息(如IP、User-Agent)
  3. 设置独立的过期策略(如7天滚动过期)
验证流程实现示例
func validateRefreshToken(tokenString string, userID string) (*jwt.Token, error) {
    token, err := jwt.ParseWithClaims(tokenString, &RefreshClaims{}, func(token *jwt.Token) (interface{}, error) {
        return []byte(os.Getenv("REFRESH_SECRET")), nil
    })
    if err != nil || !token.Valid {
        return nil, errors.New("无效或已过期的刷新令牌")
    }
    claims := token.Claims.(*RefreshClaims)
    if claims.UserID != userID {
        return nil, errors.New("用户身份不匹配")
    }
    return token, nil
}
该函数首先解析并验证JWT签名,确保令牌未被篡改;随后校验声明中的用户ID与当前请求一致,防止横向越权访问。密钥通过环境变量管理,提升安全性。

第四章:JWT黑名单管理关键技术

4.1 黑名单机制在JWT中的必要性

JSON Web Token(JWT)作为无状态认证方案,服务端不存储会话信息,一旦签发无法主动失效。这导致用户登出或凭证泄露时,令牌仍可继续使用,构成安全风险。
典型安全场景
  • 用户主动注销登录
  • 管理员强制下线用户
  • 检测到异常行为需撤销访问权限
为应对上述问题,引入黑名单机制:将未到期但需提前失效的JWT记录在存储系统中,每次请求校验时查询是否存在于黑名单。
func isTokenBlacklisted(tokenID string) bool {
    // 查询Redis中是否存在该jti
    val, _ := redisClient.Get(context.Background(), "blacklist:" + tokenID).Result()
    return val == "true"
}
该函数通过JWT中的唯一标识(jti)查询Redis缓存,判断令牌是否已被加入黑名单。利用Redis的高效读写特性,确保验证过程对系统性能影响最小。黑名单条目可设置与原JWT相同的过期时间,自动清理历史数据,避免无限增长。

4.2 利用Redis快速实现令牌吊销

在高并发系统中,JWT常用于无状态认证,但其默认不可撤销性带来安全风险。Redis凭借低延迟和高效的数据结构,成为实现令牌吊销的理想选择。
设计思路
将已吊销的令牌(或JWT ID)存入Redis,并设置与令牌有效期一致的TTL,避免长期占用内存。
核心实现代码
import redis
import time

r = redis.StrictRedis(host='localhost', port=6379, db=0)

def revoke_token(jti: str, exp: int):
    r.setex(f"blacklist:{jti}", exp - int(time.time()), "1")
该函数将JWT的唯一标识 jti 存入Redis,键名为 blacklist:{jti},过期时间与令牌剩余生命周期同步,确保自动清理。
验证逻辑
每次请求需检查令牌是否在黑名单中:
  • 解析JWT获取 jti
  • 查询 Redis 是否存在对应键
  • 若存在,则拒绝访问

4.3 黑名单数据持久化与清理策略

在高并发系统中,黑名单数据的可靠性与存储效率至关重要。为确保服务重启后黑名单规则不丢失,需将其持久化至可靠存储。
持久化机制
采用定期快照与操作日志结合的方式,将内存中的黑名单写入Redis或MySQL。以下为基于Go的定时落盘示例:

func persistBlacklist() {
    ticker := time.NewTicker(5 * time.Minute)
    for range ticker.C {
        data := blacklist.GetAll() // 获取当前黑名单
        db.Save(data)              // 持久化到数据库
    }
}
该逻辑每5分钟执行一次,GetAll()获取内存中所有条目,Save()写入数据库,保障数据可恢复性。
自动清理策略
为避免数据膨胀,引入TTL(生存时间)机制。通过有序集合按过期时间排序,定期清理过期项:
  • 设置默认有效期:如IP封禁持续24小时
  • 使用后台Goroutine扫描并删除过期记录
  • 支持动态调整策略,如根据攻击频率自动延长封禁时间

4.4 高并发场景下的性能优化方案

缓存策略优化
在高并发系统中,数据库常成为性能瓶颈。引入多级缓存可显著降低后端压力。优先使用 Redis 作为分布式缓存层,并结合本地缓存(如 Caffeine)减少网络开销。
// Go 中使用 sync.Map 实现轻量级本地缓存
var localCache = sync.Map{}

func Get(key string) (interface{}, bool) {
    return localCache.Load(key)
}

func Set(key string, value interface{}) {
    localCache.Store(key, value)
}
上述代码利用 sync.Map 提供并发安全的键值存储,适用于读多写少场景,避免 map 的锁竞争。
连接池与异步处理
通过数据库连接池(如 PostgreSQL 的 pgxpool)控制最大连接数,防止资源耗尽。同时,将非核心逻辑(如日志记录、通知)交由消息队列异步执行,提升响应速度。
  • Redis 缓存穿透:采用布隆过滤器预判键存在性
  • 雪崩防护:为缓存设置随机过期时间
  • 限流机制:基于令牌桶算法控制请求速率

第五章:总结与最佳实践建议

持续集成中的配置管理
在现代 DevOps 流程中,确保部署配置一致性至关重要。使用环境变量分离敏感信息是基本准则。例如,在 Go 应用中通过 os.Getenv 读取配置:

package main

import (
    "fmt"
    "os"
)

func main() {
    dbHost := os.Getenv("DB_HOST") // 从环境变量获取数据库地址
    if dbHost == "" {
        dbHost = "localhost" // 默认值仅用于开发
    }
    fmt.Println("Connecting to:", dbHost)
}
监控与日志的最佳实践
生产系统应统一日志格式以便集中采集。推荐使用结构化日志,如 JSON 格式输出。
  • 所有服务使用 UTC 时间戳
  • 关键操作记录 trace ID 以支持链路追踪
  • 错误日志必须包含堆栈(在安全允许范围内)
  • 定期进行日志轮转,防止磁盘溢出
容器化部署检查清单
检查项说明示例值
资源限制设置 CPU 和内存上限memory: 512Mi, cpu: 300m
健康检查定义 Liveness 和 Readiness 探针HTTP GET /health on port 8080
非 root 用户运行提升容器安全性USER 1001
性能调优的实际案例
某电商平台在大促前通过连接池优化将数据库延迟降低 60%。关键参数调整如下:
max_open_conns: 50 → 100
max_idle_conns: 10 → 30
conn_max_lifetime: 30m → 5m

相关推荐

Flask认证体系从零构建:Session、JWT与Flask-Login深度实践

Web认证是保障应用安全的基石,其核心在于身份识别(Authentication)与会话管理(session)的可靠协同。原理上,服务端需通过加密签名、状态校验与生命周期控制,确保用户身份不可伪造、登录态不可劫持。技术价值体现在可审计性、抗攻击性(如防XSS、CSRF、时序攻击)及跨架构适配能力。典型应用场景包括内部管理系统、前后端分离图书平台、政务内网系统等,尤其在Flask-Vue架构中需权衡session与JWT的使用边界。本文聚焦Flask生态下真实落地的认证方案,深入解析Flask-Login契约

weixin_33728708的博客 419

JWT生成token及过期处理方案

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34111819的博客 6119

Flask-Login核心机制与实战避坑指南

Flask-Login是Python Web开发中实现用户会话管理的关键组件,其本质是一套基于Session的状态协议,而非简单的登录功能封装。它通过`_user_id`会话键、`UserMixin`契约接口和`current_user`动态代理三者协同,在无状态HTTP上构建有状态认证流。技术价值在于解耦认证逻辑与业务代码,支撑从头歌实验到生产级图书管理系统、智能租房平台等多场景落地。典型应用场景包括单体应用登录保护、Vue前后端分离的跨域会话同步、RESTful API的权限分层控制。本文聚焦`is_a

weixin_30600197的博客 371

关于分布式系统中jwt token主动过期的方案总结

jwt token本是为了解决服务间无状态调用确认调用身份合法性的问题出现的解决方案。其设计是为了去中心化、无状态的设计,无需一个统一的token管理服务。为了解决无法主动过期token的问题,就需要人为引入状态对token进行管理,需要服务端记录某些token,这又违背了jwt token的设计初衷。在实际生产中如果有类似需求,我们可以根据实际情况结合每种解决方案的优缺点来选择解决方案。我个人比较推荐黑名单的解决方案,因为其对存储的要求适中,且可以实时使token主动过期生效,提高了系统的安全性。

qq_34776150的博客 3084

deepfacelab下载安装及训练(小白篇),以及导出SAEHD为dfm文件,解决broken pipe问题

其中如果用的是RTX30系列显卡的话,需要把WIN10升级到20H4或更新版本,然后打开硬件加速,不然会出现训练时一直卡在第一个迭代不动了,我的服务器版本为22H2,符合。支持WIN10,win11,WIN7,LINUX,不支持mac(因为mac不支持NVIDIA显卡)

caoyongsheng的博客 3920

[QT笔记]QTableView与QTableWidget表头设置实战对比

本文深入对比了QT开发中QTableView与QTableWidget在表头设置上的核心差异与实践方法。QTableWidget提供开箱即用的便捷API,适合快速开发;而QTableView遵循模型-视图架构,表头数据由模型管理,虽设置稍复杂但灵活性与扩展性更强。文章通过实战代码示例,详细解析了两种组件的适用场景、性能考量及常见避坑指南,帮助开发者根据项目需求做出高效选择。

weixin_29018335的博客 324

JWT过期处理——单token方案

前后端分离的项目中采用jwt作为接口的安全机制会遇到jwt过期的问题。 jwt中可以设置过期时间,即使是设置成一个月,但可能用户正上一秒还在使用,下一秒jwt过期被叫去重新登录,这是不能接受的,所以需要有处理jwt过期的机制。 在这个问题上比较常用的做法是采用双token——access token和refresh token来处理,access token用户授权,refresh token用于前者过期后获取新的access token。 这里。 我在这里记录我单token方案的思路。 用户登录时生成t

weixin_44347271的博客 1万+

闲置服务器之代理服务器篇

这台服务器是在阿里云免费白嫖的,天工开物计划,阿里给的300块无门槛优惠券,买了一台新加坡的境外服务器,288,刚刚抵扣完,因为是境外服务器,能够访问一些国内不能访问的网站,所以本文章仅从技术的角度来搭建代理服务器,使用时,请自觉遵守国家相关规定,如有任何违法行为,与本人无任何关系!!!。本文使用tinyproxy来搭建代理服务器。

m0_50281408的博客 2108

保护你的API:cookiecutter-flask-restful中JWT认证的实现与最佳实践

在当今API驱动的开发环境中,保护接口安全至关重要。cookiecutter-flask-restful作为一个功能全面的Flask模板,内置了强大的JWT(JSON Web Token)认证机制,帮助开发者快速构建安全可靠的API服务。本文将深入探讨该模板中JWT认证的实现方式及最佳实践,为你的API安全保驾护航。 ## 什么是JWT认证? JWT(JSON Web Token)是一种基于J

gitblog_00070的博客 519

VMD-CNN-BiLSTM-Attention预测模型 —— 数学模型介绍&完整实例代码

想解决电力负荷预测中的非线性、非平稳难题?这篇博客介绍了一种创新混合模型,结合变分模态分解(VMD)和CNN-BiLSTM-Attention深度学习架构,实现超高精度预测! ✨ 核心亮点: ✅ VMD分解:有效分离复杂负荷信号,提取关键频率特征 ✅ 混合深度学习:CNN捕捉局部模式 + BiLSTM学习长时序依赖 + 注意力机制聚焦关键时段 ✅ 端到端优化:从数据预处理(滑动窗口、归一化)到模型训练(MSE损失+Adam优化),完整流程公开! ✅ 工业级评估:提供MSE、MAE、MAPE、R²多指标验证

qq_42924330的博客 1657

Unity-Mirror网络框架-从入门到精通之Mirror简介

在现代游戏开发中,网络功能日益成为提升游戏体验的关键组成部分。Mirror是一个用于Unity的开源网络框架,专为多人游戏开发设计。它使得开发者能够轻松实现网络连接、数据同步和游戏状态管理。本文将深入介绍Mirror的基本概念、如何与其他网络框架进行比较,以及如何从零开始创建一个使用Mirror的简单网络项目。Mirror是一个功能强大的Lite网络框架,旨在替代Unity的UNet网络解决方案。它提供了高效的多玩家架构、简单易用的API,以及良好的社区支持。

TxNet 3099

JWT安全实战:从CTF攻击到Python Flask健壮认证系统构建

JSON Web Token(JWT)作为一种开放标准,通过在各方之间安全传输信息,实现了无状态的用户身份验证。其核心原理是基于数字签名(如HS256或RS256算法)确保令牌的完整性和来源可信,从而在分布式系统和前后端分离架构中提供高效的身份验证机制。这一技术在现代Web开发中具有重要价值,尤其适用于构建可扩展的API和微服务认证体系。然而,JWT的安全性高度依赖于密钥管理和算法验证的正确实现,常见的应用场景包括用户登录会话管理、单点登录(SSO)以及OAuth 2.0的访问令牌。在实际工程实践中,开发者

weixin_30245867的博客 373

高通8155源码下载与Android源码编译

一.下载代码 高通下载源码位置: Qualcomm CreatePoint 注册账号,然后登入 可以先选择edit -> infotainment -> sa8155 -> favorites, 点击View TOC就可以过滤出sa8155所有的信息目录.如下图 拉取代码链接在ChipCode中,点击进去可以看到所有的基线版本,选择你需要下载的版本点进去,如sa8155p-la-1-0_ap_standard_oem,把高通专有代码和开源代码都下载到本机. 1..

Johnny2004的专栏 7678

GTE-text-vector-large保姆级教程:Flask中间件集成JWT认证与访问控制

本文介绍了如何在星图GPU平台上自动化部署GTE文本向量-中文-通用领域-large应用镜像,并构建安全的Web服务。通过集成Flask与JWT认证中间件,该镜像可实现文本向量化处理,典型应用于智能客服、文档分析等场景的命名实体识别、情感分析等任务,有效保护API访问安全。

weixin_33245447的博客 101

RK3588 实战级 YOLOv5 Android 全解析:NPU 量化 + 多线程 + 跟踪算法,源码一次买齐

本文将带你完成一个完整的AI视觉项目:在搭载RK3588芯片的Android开发板上运行实时目标检测与跟踪应用。实战目标:成功运行官方YOLOV5摄像头实时检测案例技术深度:深入理解RKNN开发框架和源码实现核心技能:掌握NPU推理、多线程并发、目标跟踪等关键技术。

FJN110的博客 158

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

使用Qwen2.5-Coder-1.5B实现Token安全管理:从生成到验证

本文介绍了如何在星图GPU平台上自动化部署Qwen2.5-Coder-1.5B镜像,实现Token安全管理功能。该镜像能够自动生成安全的用户身份验证Token,并应用于Web API访问控制等场景,提升开发效率与系统安全性。

weixin_35755823的博客 431

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

JWT原理、实战与安全:前后端分离身份认证的核心技术

身份认证是分布式系统与Web应用安全的基础,其核心在于确保通信双方身份的可靠验证与信息传输的完整性。JWT(JSON Web Token)作为一种开放标准,通过数字签名机制,实现了信息在各方之间安全、自包含的传输。其技术价值在于彻底的无状态设计,服务器无需维护会话存储,极大地简化了水平扩展与微服务架构下的认证复杂度。在工程实践中,JWT凭借其紧凑的JSON格式和灵活的声明机制,广泛应用于前后端分离应用、移动端API以及服务间通信等场景。本文将深入解析JWT的Header、Payload、Signature三

weixin_34099526的博客 355

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

革命性Flask API开发模板:cookiecutter-flask-restful让RESTful服务开发效率提升10倍

🚀 **Flask API开发**从未如此简单!**cookiecutter-flask-restful**是一款专为Python开发者打造的**革命性Flask RESTful API开发模板**,它能让你在几分钟内搭建起完整的、生产级别的RESTful服务。无论你是API开发新手还是经验丰富的后端工程师,这个模板都能让你的开发效率提升10倍! ## 🔥 为什么选择cookiecutter

gitblog_00015的博客 427

Python-JOSE实战指南:JWT身份认证与安全实现详解

在Web应用与API开发中,身份认证与授权是保障系统安全的核心环节。JWT(JSON Web Token)作为一种基于JSON的开放标准,通过紧凑且自包含的方式在各方之间安全传输信息,其核心原理在于利用数字签名(如HMAC或RSA)确保令牌的完整性与可信度。JWT的技术价值在于实现了无状态认证,简化了分布式系统的会话管理,提升了扩展性。它广泛应用于单点登录、API访问控制及微服务间身份传递等场景。Python-JOSE库作为JOSE标准在Python生态的完整实现,封装了JWT、JWS等底层密码学操作,开发

weixin_33735077的博客 354

API认证实战指南:API Key、JWT与OAuth 2.0的核心原理与安全实践

在现代Web服务与API集成中,身份验证与授权是保障系统安全的核心机制。其基本原理是通过令牌(Token)或密钥来验证请求方的身份与权限,确保只有合法用户或服务能访问受保护的资源。从技术实现看,这涉及到密码学、会话管理和网络协议等多个层面。这些技术的核心价值在于构建可信的通信桥梁,防止未授权访问和数据泄露,是分布式系统、微服务架构和第三方集成的安全基石。典型的应用场景包括服务器间通信、用户登录认证、以及第三方应用授权访问用户数据等。本文聚焦于API Key、JWT和OAuth 2.0这三种主流认证授权方案,

weixin_33816821的博客 523

Python认证授权库全解析:从JWT到OAuth2的实战指南

认证与授权是现代应用安全架构的核心基础,分别解决“你是谁”和“你能做什么”的问题。其原理基于密码学验证和权限策略,通过标准化协议确保系统访问安全。在技术实现层面,JWT作为无状态令牌标准,采用JSON格式封装声明信息,配合数字签名实现跨域身份验证;OAuth2则通过授权码、客户端凭证等模式,实现安全的第三方应用授权流程。这些技术的工程价值在于将复杂的安全逻辑封装为可复用的组件,大幅降低开发门槛和安全风险。在应用场景上,它们广泛服务于API网关保护、微服务间通信、第三方登录集成和企业单点登录系统。本文聚焦Py

weixin_34185320的博客 327

从0到1掌握Python PyJWT:黑客都无法破解的令牌秘籍

本文介绍了从零开始掌握Python PyJWT的全路径学习指南,分为五个阶段:1)JWT基础与环境准备,包括核心概念、结构分析和环境搭建;2)核心功能掌握,深入Payload声明和签名算法;3)项目集成,与Flask等Web框架结合;4)高级功能如Token刷新机制;5)部署与安全审计。每个阶段包含实战代码示例和最佳实践,重点强调了密钥安全、算法选择、异常处理等关键点。通过循序渐进的学习路径,开发者可以全面掌握PyJWT的应用与安全实现。

漫画之迷学编程 779

JWT认证全流程解析:从单点登录原理到多语言实战实现

在分布式系统和微服务架构中,身份认证是保障系统安全的核心技术。JWT(JSON Web Token)作为一种基于令牌的无状态认证机制,通过Header、Payload、Signature三部分结构实现信息的安全传输。其工作原理基于数字签名验证,确保令牌的完整性和真实性。JWT的技术价值在于天然支持跨域访问和分布式部署,避免了传统Session认证中的状态同步问题。在单点登录(SSO)场景中,JWT能够实现用户一次登录、多系统访问的便捷体验,同时为API安全访问提供标准化解决方案。本文通过Java、Node.

weixin_33834137的博客 302

现代Web全栈认证架构:从JWT到纵深防御的实战指南

身份认证(Authentication)与授权(Authorization)是构建安全Web应用的基石,其核心原理在于通过一套可信机制验证用户身份并控制资源访问。在分布式与微服务架构成为主流的今天,传统的基于Session的有状态认证面临扩展性挑战,技术价值正转向基于令牌的无状态认证,以实现服务的水平扩展与解耦。JSON Web Token(JWT)因其自包含、可验证的特性,成为实现无状态认证的主流方案,它解决了服务端会话状态管理的难题。然而,单一技术无法应对所有威胁,因此需要引入纵深防御(Defense

weixin_30315905的博客 312
上一篇: 揭秘Python异步爬虫瓶颈:如何用HTTPX实现10倍速数据抓取
下一篇: Java开发者健康管理全攻略:20年老兵亲授高效护体7式
SimTrans
博客等级 码龄1年 158粉丝 2004原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值