从零构建可信私有仓库:5步完成安全认证与镜像推送全流程

harbor 2.0 搭建docker私有仓库 harbor Harbor 是一个CNCF基金会托管的开源的可信的云原生docker registry项目,可以用于存储、签名、扫描镜像内容,Harbor 通过添加一些常用的功能如安全性、身份权限管理等来扩展 docker registry 项目,此外还支持在 registry 之间复制镜像,还提供更加高级的安全功能,如用户管理、访问控制和活动审计等,在新版本中还添加了Helm仓库托管的支持。 Harbor最核心的功能就是给 docker registry 添加上一层权限保护的功能,要实现这个功能,就需要我 阅读详情

第一章:从零开始理解私有仓库的核心价值

在现代软件开发中,代码资产的安全性与协作效率成为团队关注的重点。私有仓库作为代码管理的核心基础设施,提供了对源码访问的精细控制,确保敏感信息不被未授权人员获取。它不仅是企业知识产权的守护者,更是实现高效 CI/CD 流程的基础支撑。

为何需要私有仓库

  • 保障核心代码仅对内部成员可见,防止泄露
  • 支持多团队协作时的权限分级管理
  • 满足合规性要求,如 GDPR、ISO 27001 等安全标准

私有仓库与公有仓库的关键差异

特性私有仓库公有仓库
访问权限受限,需授权公开可读
适用场景企业项目、内部工具开源项目、社区贡献
安全性高低

快速搭建私有 Git 仓库示例

使用 Git 命令初始化一个本地私有仓库,并配置基础访问控制:

# 创建项目目录并初始化仓库
mkdir my-private-project
cd my-private-project
git init --bare

# 设置禁止匿名克隆(配合 SSH 或 HTTPS 鉴权)
echo "description: Private repository for internal use" > description
chmod 700 hooks/post-update  # 可选钩子增强安全
上述命令创建了一个“裸”仓库,适合用于中心化共享。实际生产环境中通常结合 GitLab、Gitea 或 GitHub Enterprise 使用,以提供 Web 管理界面和更完善的用户鉴权机制。
graph TD A[开发者提交代码] --> B(Git 客户端推送) B --> C{私有仓库服务器} C -->|认证通过| D[存储并触发 CI] C -->|认证失败| E[拒绝访问]

第二章:搭建安全可信的私有仓库环境

2.1 理解Docker私有仓库架构与Registry原理

Docker私有仓库是企业级容器镜像管理的核心组件,其核心服务由Docker Registry提供。Registry作为无状态的HTTP服务器,遵循Docker Distribution API规范,负责存储、检索和分发镜像。
核心架构组成
私有仓库通常由三部分构成:Registry服务、存储后端(如本地文件系统、S3)和认证服务。Registry通过插件化方式对接不同存储驱动,实现灵活扩展。
version: '3'
services:
  registry:
    image: registry:2
    environment:
      - REGISTRY_STORAGE=s3
      - REGISTRY_AUTH=htpasswd
    ports:
      - "5000:5000"
上述配置启动一个基于S3存储并启用HTTP认证的Registry实例。其中REGISTRY_STORAGE指定后端存储类型,REGISTRY_AUTH控制访问权限。
镜像寻址与分层机制
Docker镜像通过内容寻址(Content Addressing)标识每一层,使用SHA-256哈希值确保数据完整性。各层在本地联合挂载形成完整文件系统,实现高效复用。

2.2 部署本地私有仓库并配置持久化存储

在Kubernetes或容器化环境中,部署本地私有镜像仓库可提升镜像拉取效率与安全性。使用Docker Registry是常见选择。
启动私有仓库容器
docker run -d \
  --name registry \
  -p 5000:5000 \
  -v /opt/registry:/var/lib/registry \
  registry:2
该命令将镜像数据挂载至宿主机/opt/registry目录,实现数据持久化。参数-v确保镜像不会因容器删除而丢失。
关键目录说明
  • /opt/registry:存储所有推送的镜像数据
  • registry:2:官方镜像版本2,稳定且支持HTTP API v2
通过上述配置,私有仓库具备了基础的高可用与数据保护能力,适用于开发与测试环境长期运行。

2.3 启用TLS加密实现HTTPS安全通信

为保障Web服务的数据传输安全,启用TLS加密是实现HTTPS通信的核心步骤。通过公钥基础设施(PKI)机制,TLS可确保客户端与服务器之间的通信机密性与完整性。
生成私钥与证书签名请求(CSR)
首先需生成服务器私钥并创建CSR文件,用于向证书颁发机构(CA)申请数字证书:

openssl req -new -newkey rsa:2048 -nodes \
  -keyout example.com.key -out example.com.csr
该命令生成2048位RSA私钥及CSR文件,其中-nodes表示不对私钥进行加密存储,便于Nginx等服务启动时自动读取。
配置Nginx启用HTTPS
在Nginx服务器块中配置SSL证书路径与TLS协议版本:
配置项说明
ssl_certificate指定公钥证书路径
ssl_certificate_key指定私钥文件路径
ssl_protocols启用TLSv1.2及以上版本

2.4 配置基础认证机制保护仓库访问权限

在私有仓库部署中,启用基础认证是保障资源安全的第一道防线。通过用户名与密码的简单组合,有效控制镜像的拉取与推送权限。
配置Docker Registry认证
使用htpasswd工具生成用户凭证文件:

htpasswd -Bc /auth/registry.password admin
该命令创建名为admin的用户,并将加密后的凭据存储于/auth/registry.password。参数-B启用bcrypt加密,安全性优于传统MD5。
启动带认证的Registry服务
通过环境变量挂载认证配置:
  • REGISTRY_AUTH=htpasswd:启用htpasswd认证模式
  • REGISTRY_AUTH_HTPASSWD_PATH=/auth/registry.password:指定凭据文件路径
  • REGISTRY_AUTH_HTPASSWD_REALM="Registry Realm":设置认证域
客户端需先执行docker login registry.example.com完成身份验证,方可进行镜像操作。

2.5 验证仓库可用性与连通性测试实践

在构建可靠的数据同步系统前,必须确保目标仓库具备基本的可访问性与响应能力。通过主动探测机制,可有效识别网络延迟、认证失败或服务中断等问题。
基础连通性检测
使用标准HTTP客户端发起健康检查请求,验证仓库端点是否存活:
// 发起GET请求检测仓库健康状态
resp, err := http.Get("https://repo.example.com/health")
if err != nil {
    log.Fatal("仓库不可达:", err)
}
defer resp.Body.Close()
if resp.StatusCode == http.StatusOK {
    fmt.Println("仓库服务正常")
}
上述代码通过发送HTTP GET请求至/health端点,判断返回状态码是否为200,从而确认服务可用性。错误处理覆盖网络连接失败、超时及TLS握手异常等场景。
验证流程清单
  • 确认DNS解析正常
  • 测试端口连通性(如HTTPS 443)
  • 校验API令牌有效性
  • 检查响应延迟是否在阈值内

第三章:构建安全认证体系的关键步骤

3.1 基于htpasswd的身份验证机制解析

基本原理与应用场景
htpasswd 是 Apache 提供的用于管理用户文件的工具,常用于 HTTP Basic 认证场景。它通过生成和维护用户名与加密密码对的文本文件,实现轻量级访问控制,适用于静态网站或反向代理的登录保护。
密码存储格式与加密方式
username:$apr1$randomsalt$encryptedpassword
该格式中,$apr1$ 表示使用 MD5-based 的 Apache 特定算法(apr1),后续分别为盐值与哈希结果。htpasswd 支持多种加密方式,包括 crypt、SHA、MD5 等,其中 apr1 因加盐机制更安全,被广泛采用。
常用操作命令示例
  • htpasswd -c -b .htpasswd admin password123:创建新用户并写入文件
  • htpasswd -b .htpasswd user2 pass456:添加用户至已有文件
  • htpasswd -D .htpasswd username:删除指定用户
参数说明:-c 表示创建新文件,-b 允许在命令行直接输入密码,提升自动化能力。

3.2 搭建反向代理集成认证服务实战

在微服务架构中,统一认证是保障系统安全的核心环节。通过反向代理层集成认证逻辑,可实现对后端服务的无侵入式保护。
配置 Nginx + Lua 实现 JWT 验证
使用 OpenResty 扩展 Nginx 能力,在请求转发前校验令牌有效性:

location /api/ {
    access_by_lua_block {
        local jwt = require("jsonwebtoken")
        local token = ngx.req.get_headers()["Authorization"]
        if not token or not jwt.verify(token:sub(7), "secret-key") then
            ngx.status = 401
            ngx.say("Unauthorized")
            ngx.exit(ngx.HTTP_UNAUTHORIZED)
        end
    }
    proxy_pass http://backend;
}
上述代码在 access_by_lua_block 阶段解析 Authorization 头部,验证 JWT 签名并拦截非法请求,确保只有合法用户可访问后端服务。
认证流程与组件协作
步骤组件动作
1客户端携带 Token 请求资源
2Nginx拦截并校验 Token
3Redis验证 Token 是否已注销
4后端服务处理已认证请求

3.3 使用客户端证书增强双向认证安全性

在TLS通信中,仅依赖服务器证书验证已不足以应对高级威胁。启用客户端证书可实现双向认证(mTLS),确保通信双方身份均受信任。
配置客户端证书验证流程
服务器需配置为请求并验证客户端证书,常见于金融、政企等高安全场景。客户端预先部署由受信CA签发的个人证书。
server {
    listen 443 ssl;
    ssl_client_certificate ca.pem;
    ssl_verify_client on;
    ssl_certificate cert.pem;
    ssl_certificate_key key.pem;
}
上述Nginx配置开启客户端证书验证:ssl_verify_client on 强制校验,ssl_client_certificate 指定受信CA列表。
证书生命周期管理
  • 使用私有CA签发客户端证书,便于内部管控
  • 设置较短有效期并集成自动轮换机制
  • 建立证书吊销列表(CRL)或OCSP响应服务

第四章:镜像推送全流程操作与最佳实践

4.1 登录私有仓库与身份凭证管理技巧

在与私有镜像仓库交互时,安全且高效的身份认证是关键。Docker 提供了 `docker login` 命令用于认证,支持用户名密码、token 或 SSH 密钥等多种方式。
登录操作示例

docker login registry.example.com -u myuser -p mypass
该命令将凭证加密存储至 ~/.docker/config.json。为提升安全性,建议使用凭证助手(credHelper)或系统密钥环。
推荐的凭证管理策略
  • 避免明文传递密码,使用环境变量或凭证存储工具
  • 定期轮换访问令牌,降低泄露风险
  • 在 CI/CD 环境中使用短期有效的 OAuth Token
通过合理配置,可实现安全、自动化的镜像拉取流程。

4.2 构建标准化镜像并打标签规范命名

为提升镜像的可维护性与部署一致性,构建标准化镜像需遵循统一的命名规范和标签策略。
镜像命名规范
推荐使用三级命名结构:`//:`。例如:
registry.example.com/frontend/webapp:v1.2.0
其中,`registry` 为私有仓库地址(可选),`project` 表示项目名称,`component` 是服务组件,`tag` 遵循语义化版本或 Git 提交标识。
标签管理策略
采用多标签机制以支持不同环境需求:
  • 版本标签:如 v1.2.0,用于正式发布
  • 环境标签:如 latest-staging,标识测试镜像
  • 构建元数据:结合 CI 流水线注入 Git SHA,如 v1.2.0-abc123
通过自动化构建脚本统一生成标签,确保镜像来源可追溯、版本可验证。

4.3 推送镜像到私有仓库及版本控制策略

在完成本地镜像构建后,推送至私有仓库是实现持续交付的关键步骤。首先需登录私有 registry:
docker login registry.example.com -u username -p password
该命令建立与私有仓库的安全认证连接,确保后续操作具备权限。 推送镜像时应结合语义化版本控制策略,推荐使用 `major.minor.patch` 格式标记迭代层级。
版本标签管理建议
  • latest:仅用于开发测试环境,避免生产使用
  • v1.2.0:正式发布版本,不可变
  • v1.2.0-gitHash:增强可追溯性
推送命令示例
docker tag app-image:latest registry.example.com/team/app:v1.4.0
docker push registry.example.com/team/app:v1.4.0
上述流程确保镜像具备唯一标识与历史追踪能力,为后续部署提供稳定输入源。

4.4 验证镜像完整性与拉取回滚操作演练

在容器化部署中,确保镜像的完整性是安全运行的关键环节。通过内容寻址机制,Docker 使用摘要(Digest)唯一标识镜像版本。
验证镜像完整性
可使用 docker pull 搭配摘要拉取特定镜像:
docker pull nginx@sha256:abc123...
该方式避免标签篡改风险,确保拉取镜像的不可变性。每次拉取时,引擎会校验内容哈希是否匹配。
镜像拉取失败的回滚策略
当新版本镜像异常时,可通过标签回滚至稳定版本:
  1. 记录历史镜像标签:如 v1.8.0、v1.9.0
  2. 执行回滚命令:
    docker run -d --name app nginx:v1.8.0
  3. 验证服务状态并监控日志输出
操作类型命令示例用途说明
按摘要拉取docker pull img@sha256:...确保内容完整性
标签回滚docker run img:v1.8.0恢复至已知稳定状态

第五章:构建企业级镜像治理体系的未来路径

随着容器化技术在企业生产环境中的深度落地,镜像治理已从运维辅助演变为安全与合规的核心环节。企业需建立覆盖镜像全生命周期的治理体系,涵盖构建、扫描、签名、分发与退役等阶段。
自动化镜像安全扫描
在CI/CD流水线中集成静态镜像扫描工具,如Trivy或Clair,可实现漏洞自动阻断。以下为GitLab CI中集成Trivy的示例配置:

scan-image:
  image: aquasec/trivy:latest
  script:
    - trivy image --exit-code 1 --severity CRITICAL $CI_REGISTRY_IMAGE:$CI_COMMIT_REF_SLUG
基于策略的访问控制
通过OPA(Open Policy Agent)定义镜像拉取策略,确保仅签署且通过合规检查的镜像可在生产集群运行。典型策略可限制:
  • 必须来自可信仓库前缀(如 registry.company.com/)
  • 基础镜像版本不得早于指定基线(如 alpine:3.18+)
  • 容器不得以root用户启动
镜像血缘追踪与审计
利用Cosign进行镜像签名,并结合Sigstore记录签名校验链。配合Kyverno策略引擎,可实现Kubernetes部署时的实时验证。
治理维度工具链建议实施要点
漏洞管理Trivy + DefectDojo设定CVSS评分阈值自动拦截
合规性OpenSCAP + OPA定期同步监管要求模板
分发安全Notary v2 + Harbor启用双因素推送认证
大型金融机构已采用上述架构,在混合云环境中统一管理超12,000个私有镜像,实现99.7%的自动合规率。关键成功因素在于将治理策略左移至开发阶段,并通过可观测性平台持续监控策略执行效果。
uvx:Python 零缓存冷启动执行器,5–12 倍加速脚本运行 Python 脚本执行效率长期受限于传统工具链的解析慢、下载串行、安装冗余三大瓶颈。uvx 作为基于 Rust 构建的原生二进制执行器,通过无状态依赖解析(pubgrub 算法)、异步并发 HTTP 下载(reqwest/tokio)和按需导入加载(on-demand import resolution)三重技术突破,实现首次执行比 pip 快 5–12 倍的零配置冷启动体验。其核心价值在于将‘环境准备’从开发流程中剥离,直接面向脚本本身提供可复现、可分发、可审计的轻量执行能力,天然适配 CI/CD 构建提 阅读详情

相关推荐

OWASP开源软件十大风险解析:从SCA工具到SBOM管理的安全实践指南

软件供应链安全已成为现代工程实践的基石,其核心在于对第三方组件的系统性风险管理。从原理上看,这涉及对软件物料清单的完整可见性、依赖关系的自动化分析以及潜在漏洞的持续监控。在技术价值层面,有效的供应链安全管理不仅能预防已知漏洞的引入,更能系统性规避许可证合规、恶意包植入等深层风险,直接保障业务的连续性与合规性。其典型应用场景贯穿开发全流程,从IDE编码时的实时预警,到CI/CD流水线中的自动化门禁,再到生产部署前的最终校验。本文将结合软件成分分析工具和SBOM标准实践,深入探讨如何构建覆盖组件引入、集成、运行

weixin_34199405的博客 405

docker从远程镜像仓库拉取镜像或文件,然后推送到远端镜像仓库命令

1、从远端镜像仓库拉取镜像或文件到本地 本机要求按照了docker sudo docker login --username=100015xxx ccr.ccs.tencentyun.com sudo docker pull ccr.ccs.tencentyun.com/zhibo-prod/zjzb_gitlab:[tag] 2、将本地镜像推送到远端镜像仓库 sudo docker login --username=1000154xxxx ccr.ccs.tencentyun.com sudo doc

qq_37139220的博客 4094

Ubuntu20.04运行Vins-fusion

因已安装ROS noetic,eigen,opencv及ceres等库,这部分环境配置就不细讲,直接下载VINS-FUSION的代码库 下载编译 cd ~/vins-fusion/src git clone https://github.com/HKUST-Aerial-Robotics/VINS-Fusion.git cd ../ catkin_make source ~/catkin_ws/devel/setup.bash 编译时会发现一堆错误,别急,无非就是环境冲突问题,一个个解决 1)首先,ROS

xiaojinger_123的博客 1万+

【Docker基础】Docker镜像管理:docker pull详解

docker pull是Docker中最基础也是最重要的命令之一,理解其工作原理和最佳实践对于高效使用Docker至关重要。镜像采用分层存储结构,每一层都可以被复用,这使得镜像非常高效且占用空间小。Docker镜像采用分层存储结构,每一层都是只读的,当拉取镜像时,实际上是在下载多个层。docker pull是Docker中最基础也是最重要的命令之一,它用于从镜像仓库中拉取或下载镜像到本地。当镜像被运行时,它就变成了一个容器,你可以从一个镜像创建多个容器,就像可以从一个类创建多个对象实例一样。

IT成长日记的博客 3754

机器学习系列(1)_逻辑回归初步

1、总述 逻辑回归是应用非常广泛的一个分类机器学习算法,它将数据拟合到一个logit函数(或者叫做logistic函数)中,从而能够完成对事件发生的概率进行预测。 2、由来     要说逻辑回归,我们得追溯到线性回归,想必大家对线性回归都有一定的了解,即对于多维空间中存在的样本点,我们用特征的线性组合去拟合空间中点的分布和轨迹。如下图所示:     线性回归能对连续值结果进行预测,

寒小阳 13万+

Inventor插件开发入门:从零开始创建一个简单的记事本调用插件

本文详细介绍了如何从零开始开发一个Autodesk Inventor插件,实现记事本调用功能。内容涵盖SDK环境搭建、插件项目创建、代码实现、部署调试等关键步骤,并提供了功能区按钮集成、错误处理等进阶技巧,帮助开发者快速掌握Inventor插件开发的核心流程。

convnet3designer的博客 239

从 0 到 1:Windows+Docker 搭建 Jenkins,自动拉取 Git 代码打包部署

本文详细介绍了在Windows系统下使用Docker部署Jenkins并配置自动化构建流程的步骤。主要内容包括:1)安装Docker Desktop和SSH服务;2)通过Docker拉取Jenkins镜像并启动容器;3)Jenkins初始化及基础配置(安装Maven、Git等插件);4)创建自动化构建任务,实现从Git拉取代码、Maven打包到通过SSH部署到远程服务器的完整流程。文中特别提醒了Windows系统下SSH路径配置的注意事项,并提供了Tomcat自动化部署的建议方案。

m0_67605733的博客 1241

【机器视觉】Halcon 最新版本安装教程(HALCON 24.11.1.1 Progress-Steady)

注:如果使用评估版本,下载前先了解最新评估授权密钥所支持的版本。。近几年不同版本安装过程类似,均可参考本教程。

OpenSeek的博客 3万+

Windows + Docker Desktop 安装部署 GitLab(超详细教程)

本文详细介绍了在Windows系统下使用Docker Desktop安装GitLab CE的完整流程。主要内容包括:Docker环境准备、GitLab镜像拉取、容器启动配置(端口映射)、初始登录(获取默认root密码或重置密码)以及常用容器管理命令。特别提供了生产环境推荐的数据卷挂载方式,确保数据持久化。该方案适合本地学习、测试环境搭建及个人私有仓库使用,访问地址为http://localhost:8929,默认账号root,密码可通过容器内命令获取或重置。

weixin_45284808的博客 1007

脑机接口技术介绍、应用与挑战

脑机接口的概念最先于1973年提出,伴随着计算机性能的飞速提高,在美国“人类脑计划”的资金支持下,脑机接口的研究进入了高速发展期。去年年末,我国科技部会议透露:中国将拿出540亿元,推进中国脑计划的发展。同时,这一举措也推动了我国脑机接口的研究发展。 脑机接口属于多学科交叉科技,涉及神经科学、计算机科学、认知科学、控制与信息科学技术、医学等多个学科。技术实现方式是通过信号采集设备从大脑皮层采集脑电信号,经过放大、滤波、A/D转换等处理,转换为可以被计算机识别的信号,然后对信号进行预处理,提取特征信号,再利

weixin_44603934的博客 9134

【实战项目开发技术分享】ROS1.0、ROS 2.0和CyberRT开源通信框架对比

随着机器人和自动驾驶技术的飞速发展,开源通信框架在机器人、自动驾驶行业扮演着重要的角色。ROS1.0是一个广泛应用于机器人领域的开源框架,ROS 2.0是其改进版本,而CyberRT是Baidu Apollo自动驾驶平台的通信框架。ROS和ROS 2.0都注重灵活性和共享性,适用于各种机器人应用。CyberRT则专注于实时性和高性能,适用于自动驾驶等对实时性要求较高的场景。选择适合的框架取决于具体应用需求和开发者的偏好。

xiewf的博客 2万+

010-Docker 镜像使用

Docker 镜像是容器的基础,它是应用和环境的可移植、可复制的模板。理解如何拉取、构建、管理和优化 Docker 镜像对于提升开发效率和生产环境的稳定性至关重要。掌握镜像的使用和优化技巧,将帮助你创建更轻量、易维护的容器化应用。继续深入 Docker 镜像使用,下面介绍一些更高级的操作和最佳实践。Docker 镜像是容器化应用的核心,通过合理使用和管理镜像,你可以提高开发和部署效率,优化应用的体积,并确保应用的稳定性和安全性。

小宝哥Code的专栏 1584

【AUTOSAR-E2E】-2.3-配置E2E:基于E2EPW配置一个RX接收的Signal Group(使用E2E Profile 1)

《共13页精讲》:此法也适用于E2E Profile 4/5/6/7/11/22 目录 1 检查CAN Matrix Arxml/DBC是否满足E2E需求 2 在DaVinci Developer中为Port添加E2E保护 3 在DaVinci Configurator settings设置 4 如何使用应用层的E2E保护 5 结尾 <--返回「Autosar_BSW高阶配置」总目录--> <--返回「Autosar_BSW高阶配置」专栏主页--> <-.

「汽车电子助手」的博客 3954

私有仓库的构建

v /mnt/registry:/var/lib/registry:表示将容器内的默认存储位置 /var/lib/registry 中的数据挂载到宿主机的 /mnt/registry 目录下。sudo cp /tmp/domain.crt /etc/docker/certs.d/你的服务器IP:5000/ca.crt。scp /opt/docker-registry/certs/domain.crt 客户端用户名@客户端IP:/tmp/一、私有仓库服务器(registry)的构建。

asd152352的博客 724

芒果YOLO11改进44:主干Backbone篇之MobileViT::结合最新 ICLR2022 顶会|轻量通用的MobileViT结构(一)Transformer,轻量级、通用且移动友好的视觉转换

MobileViT::结合最新 ICLR2022 顶会|轻量通用的MobileViT结构(一)Transformer,轻量级、通用且移动友好的视觉转换

包括YOLOv5、YOLOv7、YOLOv8等模型改进 373

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

云原生必备工具!手把手教你搭建Harbor私有仓库(上)

Harbor是一个开源的企业级容器镜像仓库管理系统,旨在提供安全、可信赖的容器镜像管理解决方案。它由VMware公司开发并贡献给CNCF(云原生计算基金会)进行维护。总之,Harbor是一个功能强大、安全可靠的容器镜像仓库管理系统,适用于企业级容器化环境,为用户提供了完善的容器镜像管理解决方案。

程序员溪昂 865

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

终极指南:10个关键步骤实现Woodpecker CI/CD与Sigstore的供应链安全认证

Woodpecker是一个简单而强大的CI/CD引擎,具有出色的可扩展性。在当今的软件开发环境中,软件供应链安全变得至关重要。本文将详细介绍如何通过10个关键步骤,将Woodpecker CI/CD与Sigstore集成,实现端到端的软件供应链安全认证,确保您的容器镜像从构建到部署的完整可信链。 ## 🔐 为什么需要软件供应链安全? 现代软件开发依赖大量的第三方组件和容器镜像,这些组件可能成

gitblog_00741的博客 326

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

helm3 快速部署 Harbor 镜像仓库

Harbor 是一个CNCF基金会托管的开源的可信的云原生docker registry项目,可以用于存储、签名、扫描镜像内容,Harbor 通过添加一些常用的功能如安全性、身份权限管理等来扩展 docker registry 项目,此外还支持在 registry 之间复制镜像,还提供更加高级的安全功能,如用户管理、访问控制和活动审计等,在新版本中还添加了Helm仓库托管的支持。Harbor最核心的功能就是给 docker registry 添加上一层权限保护的功能,要实现这个功能,就需要我们在使用 doc

因上努力,果上随缘。但行好事,莫问前程。 3070

Kubernetes笔记-Harbor安装(CICD四)

Harbor 是一个CNCF基金会托管的开源的可信的云原生docker registry项目,可以用于存储、签名、扫描镜像内容,Harbor 通过添加一些常用的功能如安全性、身份权限管理等来扩展 docker registry 项目,此外还支持在 registry 之间复制镜像,还提供更加高级的安全功能,如用户管理、访问控制和活动审计等,在新版本中还添加了Helm仓库托管的支持。 Harbor最核...

BigData_Mining的博客 1761

AI平台第三方供应链安全:从模型投毒到纵深防御的实战治理

在软件开发和人工智能领域,供应链安全已成为保障系统稳定与数据隐私的核心议题。其原理在于,现代应用高度依赖外部开源库、预训练模型和云服务,攻击者通过污染这些上游组件,即可在下游应用中植入后门或窃取数据,形成链式风险。这种攻击模式的技术价值在于其隐蔽性和放大效应,能绕过传统边界防御,直接威胁模型完整性与业务机密性。在AI平台的应用场景中,风险载体具体体现为模型权重篡改、训练数据投毒及恶意依赖包植入,例如攻击者通过PyPI发布仿冒的torch库或在Hugging Face模型嵌入后门。因此,构建涵盖准入控制、主动

chubaisheng8627的博客 457

环境配置的本质:从可运行到可复现的工程实践

环境配置是软件开发中决定代码行为确定性的底层机制,其核心在于通过隔离、声明、可审计与最小化原则,保障跨机器、跨时间、跨角色的一致性执行。它并非简单的包安装流程,而是涉及Python虚拟环境、Docker镜像摘要锁定、poetry.lock哈希校验、依赖求解与ABI兼容性等关键技术环节。在数据科学、AI模型训练、金融量化及SaaS服务等场景中,环境差异常导致浮点计算偏差、静默崩溃或学术复现失败。本文聚焦可复现性与生产就绪两大技术价值,结合真实故障案例与Poetry+Docker实操路径,提供一套经金融、边缘A

weixin_30258901的博客 532

突破GitLab工具箱镜像同步壁垒:DaoCloud公开镜像仓库技术解密

你是否还在为GitLab工具箱镜像拉取速度慢而烦恼?是否因频繁的同步失败导致开发工作停滞?本文将深入解析DaoCloud公开镜像仓库如何高效同步GitLab工具箱镜像,帮助你彻底解决这些痛点。读完本文,你将掌握: - GitLab工具箱镜像同步的核心原理 - DaoCloud镜像仓库的独特优势 - 多种实用的同步工具和操作方法 - 常见问题的解决方案 ## 项目背景与目标 很多开发者在使用Gi...

gitblog_00243的博客 490

Docker镜像拉取、管理、制作操作讲解(命令说明+代码演示)

本文讲解了docker与镜像相关的近乎全部操作,并举例。

lifetime_gear的博客 1万+

Docker镜像构建与仓库管理全攻略

Docker镜像构建与仓库管理全攻略大纲 镜像构建基础 Dockerfile语法与核心指令解析 镜像分层机制与构建优化技巧 多阶段构建实战:减少镜像体积 构建上下文与.dockerignore文件作用 高级构建策略 动态构建参数(ARG vs ENV) 跨平台构建(buildx工具使用) 镜像安全扫描与漏洞修复 构建缓存机制与--no-cache策略 本地镜像管理 镜像标签规范与版本控制 镜像导出/导入(save/load)操作 本地仓库清理与空间回收 镜像历史查看与元数据分析 远程仓库管理 公有仓库

m0_74949561的博客 1226

Docker安装+镜像拉取+容器+创建镜像+push to docker hub

文章目录1. 安装2. 镜像操作 1. 安装 参考 https://www.runoob.com/docker/ubuntu-docker-install.html curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun 测试安装成功 docker run hello-world 查看版本 docker version 2. 镜像操作 查找镜像 docker search centos 拉取镜像 docker pul

Michael是个半路程序员 830

docker方式搭建、配置gitLab(傻瓜式、完整)

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档。

weixin_45272815的博客 2729
上一篇: 【DevSecOps必备技能】:掌握Falco告警配置,实时拦截容器攻击行为
下一篇: 【独家】eBPF与Docker共存陷阱:资深架构师总结的4大性能雷区
InstrFun
博客等级 码龄1年 142粉丝 1990原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值