静态网站迁移至阿里云OSS的实战过程

阿里云OSS迁移至华为云OBS,Java整合华为云OMS实现文件的自动批量迁移功能 华为云对象存储服务(Object Storage Service,简称OBS)是华为云提供的一个高可靠、高安全、高可扩展的云存储服务。它允许用户在云上存储和管理海量数据,如图片、视频、文档、备份文件等。阿里云对象存储服务(Object Storage Service,简称OSS)是阿里云提供的一种海量、安全、低成本、高可靠的云存储服务。与华为云的OBS类似,OSS 用于存储和管理各种类型的非结构化数据,例如图片、视频、音频、日志文件、备份数据等。 阅读详情

本文作者:Alien,就职于国内某云游戏公司。
本文正在参加“最佳上云实践”评选,来给我们投一票吧:https://yq.aliyun.com/activity/158

之前公司里有大量的静态网站需要维护,一直以来都是用Nginx来提供服务,相关同事通过FTP来管理网站。网络结构是这样的。
这里写图片描述
维护起来真是累死人了,要给每个人创建一个FTP账号,每个FTP账号权限还都不一样。服务器上还要做负载均衡,还要做数据同步。每天还担惊受怕,担心服务器上宕机。后来实在忍不了了就去决定把这些网站全面迁移至阿里云的OSS上,阿里云的OSS直接可以提供web服务的。
接下来就简单介绍一下我迁移网站的过程以及遇到的一些问题。

一、网站文件迁移

首先根据静态网站的数量创建了一大堆的Bucket,这里刚上来就遇到了一点小问题,当我创建Bucket的时候,提示“Bucket数量超过上限”,于是我火速给提了工单给阿里云,阿里云工程师答复说每个账号默认最多创建10个Bucket,在我的要求下,工程师允许我多开了几个Bucket。创建完Bucket后就可以把网站文件都上传了,因为我创建Bucket时设置的是公共读的权限,所以会自动生成一个Bucket域名供用户访问的,在“Bucket属性”中的“域名管理”中就可看到,通过这个域名可以查看网站是否正常。

二、更改域名指向

这个时候访问Bucket的域名就可以访问网站了,但是我们需要使用自己的域名才行。这里只需两步搞定。
首先依然在“Bucket属性”中的“域名管理”中,添加一个自己的域名。
这里写图片描述
然后去DNS服务器上把自己域名添加一个CNAME记录,指向此Bucket的外网域名。
等待DNS缓存刷新之后访问自己的域名就可以实现网站的访问啦

至此,其实网站的迁移就已经结束了,但是还有许多细节要调整呢。

三、默认首页。

我们平时访问http://alientest.oss-cn-hongkong.aliyuncs.com/和http://alientest.oss-cn-hongkong.aliyuncs.com/alien/ 这种域名的时候会自动访问所在目录下的一个默认首页的,这里也是需要在OSS上配置一下才行的。
在“Bucket属性”中的“静态网站”页面,直接写一个默认首页的文件名就可以了。
这里写图片描述
但是这OSS上这样的设置只能在访问根目录的时候生效,在访问http://alientest.oss-cn-hongkong.aliyuncs.com/alien/这种子目录的时候依然访问的是http://alientest.oss-cn-hongkong.aliyuncs.com/index.html页面,我还以为阿里云的出了BUG,于是赶紧向阿里云的工程师咨询。结果阿里云的工程师答复说OSS的网站功能就是这样设计的,不支持子目录下的默认首页。这下我就犯难了,难道这种子目录就必须使用绝对路径来访问么?
后来我们老大给出了一个让我相当佩服的解决方法,在根目录下的index.html文件中加了一段JS代码让他检测访问的路径实现跳转。

 <script> 
    if('/alien/'==window.location.pathname){ 
    window.location.href='http://alientest.oss-cn-hongkong.aliyuncs.com/alien/index.html' 
    } 
    </script>

这种代码的意思就是如果访问的路径中包含/alien/那么就跳转到http://alientest.oss-cn-hongkong.aliyuncs.com/alien/index.html这个页面中。完美解决了子目录中不支持默认首页的功能。
(以上Bucket和域名都是我为了写这篇文章临时创建的)

四、访问日志

之前使用Nginx的时候是可以通过日志来检查网站有没有异常,在OSS中日志需要手动开启,先创建一个用于存放日志的Bucket,然后在网站的Bucket里“Bucket属性”-“日志管理”中指向新创建的Bucket就行了,可以把所有网站的Bucket日志都放到一个Bucket中,使用日志前缀来区分。
这里写图片描述
利用阿里云的其他服务来分析日志这事儿我这篇文章里就先不写了。OSS上对静态网站的支持还有一些其他的功能这里也暂时不写了,大家自己去摸索吧,都挺简单的。

五、权限管理

之前是有些同事是通过FTP可以管理网站内容的,在OSS身上要实现类似的功能就要借助于他的“访问控制 RAM”(https://ram.console.aliyun.com/)产品了。
通过“访问控制”可以创建子账号,并且根据需求赋予子账号不同的权限。
首先呢,在“用户管理”中新建要给用户,这个很简单了就不说了。
复杂的是需要给这些用户分配策略,在RAM内置的策略中OSS相关的策略只有两个,“AliyunOSSFullAccess”和“AliyunOSSReadOnlyAccess”,一个是可以读写OSS中的所有数据,另一个是可以读OSS中的所有数据,这两个策略权限都太大了,我这里需要具体控制到OSS下的每个Bucket的权限,只能自己自定义授权策略了。
我这里就简单给出两个例子吧,也是我其中正在用的策略。
第一个是授予访问OSS中alientest这个Bucket的所有权限,就是可读可写可删。

 {
  "Version": "1",
  "Statement": [
    {
      "Action": [
        "oss:ListBuckets"
      ],
      "Effect": "Allow",
      "Resource": "acs:oss:*:*:*"
    },
    {
      "Effect": "Allow",
      "Action": "oss:*",
      "Resource": [
        "acs:oss:*:*: alientest",
        "acs:oss:*:*: alientest /*"
      ]
    }
  ]
}

第二个是授予访问OSS中alientest这个Bucket的只读权限。

 {
  "Version": "1",
  "Statement": [
    {
      "Action": [
        "oss:ListBuckets",
        "oss:GetBucketAcl"
      ],
      "Effect": "Allow",
      "Resource": "acs:oss:*:*:*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "oss:ListObjects",
        "oss:GetObject"
      ],
      "Resource": [
        "acs:oss:*:*: alientest",
        "acs:oss:*:*: alientest/*"
      ]
    }
  ]
}

自定义策略写起来还是挺简单的,可以很灵活的定义各种不同的策略。创建完策略后就可以把策略授权给不同用户了。
这样就把各种权限就开放给其他同事了,我在也不用管理一大堆账号密码了,省心啊。

六、用CDN给网站加速。

利用阿里云的CDN服务给OSS的网站加速好处是大大的。首先加快网站的访问就不说了,最重要的是省钱啊。
OSS的外网访问费用是00:00-08:00(闲时):0.25元/GB 8:00-24:00(忙时):0.50元/GB。
而阿里云的CDN按照流量计费的话在10T流量内只需0.36元/GB,而且用得越多与便宜,况且CDN还能选择按照带宽计费。
启用CDN功能也是两步搞定。
首先在阿里云的CDN上添加一个新域名,源站类型选择OSS,并且指定Bucket。
这里写图片描述
创建完成后在域名的“基本信息”中有一个CNAME的域名,在DNS服务器上把这个域名指向这个CNAME就行啦。

七、使用HTTPS访问网站

既然都写到这里了,那就继续进一步吧,让网站支持HTTPS。
也是非常简单的。首先在阿里云的云盾(https://yundun.console.aliyun.com)中的“证书服务”中申请一个证书(有免费的证书哦)。
申请成功后直接点“推送”,推送到CDN。
这里写图片描述
然后就完事儿了,比Nginx上简单多了吧。
然后可以在CDN上设置是否强制使用HTTPS。另外这里要说一下的是启用HTTPS服务后,CDN的使用会多花一点钱的,具体去查CDN资费吧,其实也不贵。

好了,以上就是我迁移网站到OSS上的整个过程,介绍了我目前用到的一些主要的功能,在迁移过程中遇到的一些坑我写在里面了,希望对你有所帮助。

阿里云对象存储OSS迁移流程(2) 请您务必在迁移任务完成后,校验目的端迁移数据,确保数据无误。因您未在校验目的端迁移数据无误前删除源数据,导致数据丢失所引起的一切损失和后果均由您自行承担。 阅读详情

相关推荐

阿里云OSS静态网站托管:无需服务器的极简部署方案

本文详细介绍了阿里云OSS静态网站托管的极简部署方案,无需服务器即可快速上线企业官网、个人博客等静态网页。通过与传统ECS方案的对比,突出其零运维、低成本和高可用性优势,并提供从创建Bucket到绑定自定义域名的完整教程,帮助用户实现高效部署。

weixin_33933118的博客 393

tp6.1 第三方filesystem扩展支持阿里云OSS和七牛和腾讯云COS)使用教程

一、安装 官网:https://gitee.com/thans/thinkphp-filesystem-cloud composer require thans/thinkphp-filesystem-cloud 二: 在config/filesystem.php中添加配置 'aliyun' => [ 'type' => 'aliyun', 'accessId' => '******', 'accessSecret' => '

php菜鸟技术天地 6485

阿里云OSS存储桶权限配置避坑指南:从公共读到私有化的实战调整

本文针对阿里云OSS存储桶常见的公共读权限安全隐患,提供了一套从风险自查到实战调整的完整避坑指南。文章深入解析了OSS多层权限模型,指导用户如何识别配置漏洞,并通过创建RAM用户、生成签名URL、配置精细化Bucket Policy等步骤,安全地将存储桶从公共读迁移至私有化,实现最小权限原则,有效防范数据泄露风险。

weixin_29218509的博客 457

nginx 反向代理oss

上面是阿里云的官方文档: 同一个节点的ECS和OSS可以通过内网通信,内网的流量是免费的。 可以通过nginx反向代理的方式,通过内网访问OSS中的内容。 具体的配置如下: upstream ossproxy  {         server oss-cn-beijing-internal.aliyuncs.com; #OSS的内网地址 } serv

moliyiran的专栏 9004

阿里云OSS C语言SDK实践指南

对象存储服务(OSS)是一种利用云端服务器来存储数据的解决方案。相对于传统的文件存储或块存储,对象存储服务以其高可用性、可扩展性及易用性在云时代被广泛应用。通过OSS服务,用户能够方便地上传、存储、下载和管理数据,并且这种服务通常以按需付费的模式提供,以减少硬件成本和维护开销。C-SDK的核心功能覆盖了OSS服务的所有基础操作,包括但不限于对象的上传、下载、删除、列举以及获取元数据等。这些功能都是通过精心设计的接口来实现的,使开发者可以轻松地将对象存储功能集成到自己的应用程序中。

weixin_42598278的博客 542

在 Windows 上安装 OpenCV – C++ / Python

而且,安装并不是一件容易的事。这些安装程序仅适用于安装 OpenCV for C++。如果您想安装适用于 Python 的 OpenCV,您将在博客后面找到相关信息。在这篇博文中,我们将在 Windows 上安装适用于 C++ 和 Python 的 OpenCV。C++ 安装是在自定义安装 exe 文件的帮助下完成的。而Python的安装是通过Anaconda完成的。从源代码安装 OpenCV 需要花费大量时间。根据您的硬件和安装配置,该过程可能需要 5 分钟到 2 小时不等。

Demondai999的博客 2092

配置阿里云oss云存储

配置阿里云oss云存储 /** * .--, .--, * ( ( \.---./ ) ) * '.__/o o\__.' * {= ^ =} * > - < * / \ * // \\ * //| . |\\ * "'\ /'"_.-~^`'-.

phper23的博客 503

Android13 CarPowerManagementService onApPowerStateChange流程分析

如下为CarPower上电的流程图:下面我们从代码角度分析:在CPMS的init方法中会调用onApPowerStateChange(CpmsState.WAIT_FOR_VHAL, CarPowerManager.STATE_WAIT_FOR_VHAL); 设置ApPowerState为STATE_WAIT_FOR_VHAL: 在onApPowerStateChange中调用PowerHandler 的handlePowerStateChange方法: 在handlePowerStateChang

liuning1985622的博客 927

基于oss实现静态网站发布

oss建站

weixin_45969972的博客 1241

四参数与七参数坐标转换含义及区别

一.前言 不同坐标系,其椭球体的长半径,短半径和扁率是不同的。比如我们常用的四种坐标系北京54、西安80、WGS84、CGCS2000所对应的椭球体,它们的椭球体参数就各不相同。而不同空间直角坐标系之间的转换一般通过七参数或者四参数来实现坐标转换。 二.四参数转换 两个不同的二维平面直角坐标系之间转换通常使用四参数模型,四参数适合小范围测区的空间坐标转换,相对于七参数转换的优势在于只需要2个公共已知点就能进行转换,操作简单。 在该模型中有四个未知参数,即: (1)两个坐标平...

尘海折柳的博客 1万+

多跳问答技术解析:从原理到金融领域实践

多跳问答(Multi-hop QA)是自然语言处理中的高级任务,要求系统通过多步推理整合分散信息来回答问题。其核心技术在于理解文档间的复杂关联,相比单跳问答需要更精细的数据集设计和模型架构。在金融、医疗等专业领域,多跳问答能有效处理如'腾讯大股东投资的港股上市公司'这类需要串联多个信息点的问题。典型实现方案包括MR-Search框架的三级检索器设计,分别处理实体召回、关系匹配和数值比较。当前最佳实践表明,结合稠密检索与稀疏检索的混合策略,配合动态路由机制,能在保持较高精度的同时控制计算成本。这类技术在金融风

weixin_42566072的博客 607

配置Nginx访问OSS对象存储静态资源

Nginx是目前比较流行的反向代理服务器和WEB服务器,它功能强大并且还是开源软件,支持正则,这也使得它的配置可以十分多样,OSS是阿里云的一种云存储服务,价格便宜,并且不需要考虑性能,支持各种接口,按需收费,本文章将分享一下用Nginx去访问OSS对象存储上的静态资源。 配置环境: 系统:CentOS7.3 Nginx:1.12.1 阿里云OSS 2T存储包 配置背景:公司的数据人员要将200台...

weixin_43112000的博客 1万+

机器人视觉联动精度优化:从±2mm到±0.02mm,产线级手眼标定全实战

2025年我接东莞长安Type-C接口分拣项目的时候,就是栽在了手眼标定上:实验室里标定完精度±0.5mm,一到产线直接掉到±2mm,机器人10次有3次抓不住,2000多件Type-C接口直接报废,还撞坏了2套汇川SCARA机器人的吸盘,本来45天的工期拖了3个月,不仅没赚到钱,还倒贴了几万块。手眼标定从来不是简单的跑个demo、算个矩阵就完事了,它是一个系统工程:从硬件选型、安装固定、相机标定、标定流程、算法优化、环境控制、重复验证,每一个环节都会影响最终的联动精度。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 391

云计算系列之阿里云OSS云存储实战解析

阿里云对象存储服务(Object Storage Service),简称 OSS,是阿里云提供的海量、安全、低成本、高可靠的云存储服务。 OSS 具有与平台无关的 RESTful API 接口,您可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。

sinat_30844883的博客 2606

基于 STM32 的校园电动车充电桩智能计费与过载保护系统设计与实现

本系统基于 STM32F103 主控,通过 HLW8032 电能计量芯片实现精准计费,配合继电器实现过载保护,RC522 模块完成刷卡身份识别,整体方案成本低、可靠性高,适合校园电动车集中充电场景的批量部署。软件采用状态机设计,逻辑清晰,可扩展多路充电口、远程监控等功能。

weixin_42300449的博客 65

SAP 的预算控制并非单一功能,而是根据管控的精细度和业务场景,主要通过三个模块实现:CO(成本控制)、FM(基金管理) 和 PS(项目系统)

SAP系统提供三种预算控制模型:基于CO模块的成本中心/内部订单预算管控,适用于日常费用管理;基于FM模块的基金中心/承诺项目预算控制,满足公共部门严格资金管理需求;基于PS模块的WBS元素预算控制,专为项目型企业设计。各模型通过特定配置实现预算编制、审批、控制和分析功能,并配有核心事务代码(T-Code)支持全流程操作。企业可根据业务场景选择适合的预算控制方式,实现从预算编制到执行监控的闭环管理。

金牌架构师 258

使用阿里云dns+oss+cdn+ssl发布静态网站

一、背景 公司为了做产品的推广,让前端团队开发了一个静态网站,打算部署到互联网,向外提供访问服务,提高宣传力度。像此类的部署我们原来是直接扔到阿里外网服务器上,然后部署到nginx、tomcat或http-server等具有静态资源发布能力的web容器上在,之后把域名解析到对应外网ip上即可。但是,现在我们手上没有服务器,所以就打算利用oss的静态资源托管模式,来访问资源。 二、操作 2.1 oss内bucket创建并设置 1、首先登陆阿里云控制台,找到oss服务,创建一个bucket,默认选择“标

保持学习 2078

全志V3S嵌入式驱动开发(uboot移植)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing @163.com】 安装了ubuntu操作系统,有了开发板,下面就可以进行我们的开发工作了。第一步,我们要面临的问题就是uboot移植。一般来说,嵌入式的基础环境就是uboot、linux和rootfs。uboot完成一些基本硬件的初始化,比如cpu频率设置、ddr初始化、加载linux等等。早前,uboot的烧入比较麻烦,需要jtag工具才能完成。现在来说,很多soc支持系统直接从sd卡启动,这对开发

嵌入式-老费,一个分享专业嵌入式知识的blog 2822

省钱秘笈☞将静态网站迁移至阿里云OSS(教你如何利用OSS低成本建站)

所需:1、开通阿里云OSS并创建Bucket 2、购买域名并通过备案 步骤: 1、在“Bucket属性”中的“静态网站”页面,直接写一个默认首页的文件名就可以了。 2、由于OSS的网站功能不支持子目录下的默认首页,只能讲所有页面放置在根目录。所以要在根目录下的index.html文件中加一段JS代码让他检测访问的路径实现跳转。 <s...

weixin_34051201的博客 596

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

海量存储的云上基石(阿里云):阿里云OSS从入门到实战

阿里云对象存储OSS是阿里云提供的海量、安全、低成本、高持久性的云存储服务。它支持标准、低频访问、归档、冷归档和深度冷归档等多种存储类型,全面覆盖从热到冷的各种数据存储场景。阿里云OSS是一款海量、安全、低成本、高持久性的对象存储服务,是云上非结构化数据存储的首选方案。OSS是什么:一种可通过HTTP接口访问的、无限扩展的云存储服务核心优势:12个9的数据持久性、99.995%的服务可用性、丰富的存储类型和成本优化能力应用场景:音视频存储、静态网站托管、数据备份归档、AI/物联网、影视渲染等创建OSS实例。

zengcong12138的博客 445

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

省钱秘笈☞将静态网站迁移至阿里云OSS(教你如何利用OSS低成本建站) ...

所需:1、开通阿里云OSS并创建Bucket 2、购买域名并通过备案 步骤: 1、在“Bucket属性”中的“静态网站”页面,直接写一个默认首页的文件名就可以了。 2、由于OSS的网站功能不支持子目录下的默认首页,只能讲所有页面放置在根目录。所以要在根目录下的index.html文件中加一段JS代码让他检测访问的路径实现跳转。 <s...

weixin_34236497的博客 645

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

阿里云OSS命令行工具ossutil使用教程

阿里云OSS命令行工具ossutil使用教程 项目地址:https://gitcode.com/gh_mirrors/os/ossutil 一、项目介绍 背景与功能 ossutil是阿里云为对象存储(Object Storage Service, OSS)提供的一款高效的命令行工具,旨在简化对OSS的文件管理和数据传输任务。它支持Windows、Linux和macOS等主流操作系统,适用于快速上传...

gitblog_00352的博客 2310

【阿里云ECS进阶训练营】day03ACA认证学习笔记二

阿里云活动传送门:https://developer.aliyun.com/adc/college/ 目录第三章:掌握云数据库RDS3.1运输局RDS产品介绍3.2云数据RDS实例管理3.3云数据RDS数据库管理3.4运输局RDS的数据迁入3.5云数据RDS产品家族第四章:掌握云存储OSS4.1阿里云OSS产品概要4.2阿里云OSS相关概念4.3阿里云OSS的基本介绍4.4阿里云OSS的API与SDK介绍4.5阿里云OSS之静态网站托管 第三章:掌握云数据库RDS 3.1运输局RDS产品介绍 RDS产品概要

池鱼 2283

阿里云-OSS

了解OOS使用中的基本概念 Bucket(存储空间) Bucket是用户用来管理所存储Object的存储空间。每个用户可以拥有多个Bucket。Bucket的名称在OSS的范围内必须是全局唯一的,一旦创建之后无法修改名称。Bucket内部的Object数目是没有限制的, Bucket对于用户来说是一个管理Object的单元,所有的Object都必须隶属于某个Bucket。Bucket有一些属性熟用来控制Region、Object的访问控制、Object的生命周期等,这些属性是作用在该Bucket下所有的Ob

weixin_42098207的博客 1418

阿里云国际站:对象存储OSS的优势是什么

阿里云OSS是一种功能强大、性能优越、安全可靠、成本低廉的云存储服务,为用户提供了可靠的数据存储和管理解决方案。

TG_aliyun314的博客 714

从零认识阿里云OSS:云原生对象存储的核心价值

作为云原生存储的基石,OSS正在重新定义企业数据存储的方式。OSS权限管理的实战技巧生命周期策略的优化配置跨区域复制的灾备方案设计大数据场景下的性能调优无论您是需要构建千万级用户的图片分享平台,还是处理PB级的AI训练数据,OSS都提供了坚实的存储底座。立即前往阿里云控制台,开启您的云端存储之旅。

亚瑟老师的博客 2146
aliencsdn
博客等级 码龄11年 4粉丝 1原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值