使用七牛云存储的一些经验总结

java对接七牛后台进行内容审核(鉴黄、敏感人物、暴恐) 关于七牛内容审核的介绍 在七牛的控制台找到智能多媒体 接下来找到智能内容审核,可以看到一些审核数据情况,主要包含:鉴黄、暴恐、敏感人物 另外看一下API接口说明: 查看地址是:https://developer.qiniu.com/dora/api/4252/image-review 主要分为两部分接口:新图片和旧图片。具体接口内容可点击上面地址进去看,此处不作详细介绍。 2、主动提交到七牛... 阅读详情

近段时间将使用七牛云存储来存放用户上传的数据,客户端通过七牛的js-sdk与七牛交互,服务端C#实现了七牛相关的接口。在这过程中多多少少遇到点问题,在这里总结一下。原文: 使用七牛云存储的一些经验总结

599错误处理

如果在与七牛的交互中出现http状态码为599的错误,一句话,不要犹豫,直接联系七牛技术支持 。七牛的文档也在很多地方提到这个错误,都是指导大家去联系技术支持的。笔者是在分块上传后的 mkfile 调用时出现的,联系技术支持后,说是调整了一下,让我重试。后来就好了...

分块上传无法从回调中获得文件的原始名

简单上传采用的是multipart/form-data方式上传,七牛服务端能够从请求中获得文件的原始名,并支持使用魔法变量 $(fname) 回调业务服务器。不过当使用分片上传的时候情况有所不同。分片上传需要在最后调用 mkfile ,来将分片拼接起来。但是,mkfile 接口支持普通的请求,并没有附带文件名,所以七牛也就无法获得文件名,此时从 $(fname) 中是取不到文件名的。这个问题我也向七牛技术支持提交了问题,得到的结果是使用自定义变量 mkfile 支持将自定义变量放在url中,回调的时候自定义变量可以传递给业务服务器。

慎用图片预处理

七牛云支持很多对文件的预处理,其中最常用的应该就是图片预处理了,可以对图片的大小做变换等。七牛推荐使用GET的方式直接指定图片处理结果的url,像这样:

http://qiniuphotos.qiniudn.com/gogopher.jpg?imageView2/1/w/200/h/200

处理后的图片会自动缓存,用户不用关心,只要每次访问都用这个url就行了。然而,笔者在开始的时候,为了保持与其他文件形式统一的处理方法,对图片使用了预处理(因为视频什么的只能预处理),即在token中指定了预处理。此时问题出现了,从后台的日志看到,图片的预处理通知回调竟然比正常的上传成功回调还要快!这就导致预处理结果到来之前,我的业务服务器的数据库中还没有这个图片,无法保存预处理结果了。所以 推荐还是使用url直接处理,对图片要慎用预处理

视频文件无法快进播放

通常用户在观看视频的时候都会根据自己的喜好,快速将视频定位到指定的时间播放。实现这个功能,需要视频本身有关键帧信息、服务端需要支持关键帧播放请求,在 这篇文章 中有详细讨论。

但是笔者发现,在使用七牛云转化后的视频,这样做是无效的。于是咨询技术支持,得到的答案是:转化的文件是具有关键帧的,但七牛使用CDN加速,所以关键帧请求需要CDN的支持,如果想要用这个功能的话,需要单独联系销售或技术支持在CDN上配置,而且时间比较长。笔者联系了销售和技术支持,说是帮我配置,但到现在还没有搞定,因为最近这个也不是特别重要,所以也没有跟下去。

Callback校验

这是可选的一个步骤。由于七牛云会在上传完成之后回调业务服务器,所以理论上说业务服务器需要校验这个回调的合理性。原理在七牛的 文档 中有,需要用到 HMAC-SHA1 签名函数。但是七牛的sdk中没有提供直接的方式来做校验,在研读文档、多次失败和查看sdk源码后,笔者终于校验成功了。关键的分歧在于,文档中的这句话:

获取明文:data = Request.URL.Path +”\n” +Request.Body

这里的 Request.URL.Path 是否包含Querystring?答案是包含的!下面是笔者C#服务端的校验代码,使用的是ASP.NET Web Api:

```C#

byte[] key = System.Text.Encoding.UTF8.GetBytes(Qiniu.Conf.Config.SECRET_KEY);

using (HMACSHA1 hmac = new HMACSHA1(key))

{

var t = filterContext.Request.Content.ReadAsStringAsync();

t.Wait();

string rawbody = t.Result;

log.DebugFormat("request's rawbody : {0}", rawbody);

string text = filterContext.Request.RequestUri.PathAndQuery + "\n" + rawbody;

log.DebugFormat("PathAndQuery + \n + rawbody : {0}", text);

byte[] digest = hmac.ComputeHash(System.Text.Encoding.UTF8.GetBytes(text));

string computed = Qiniu.Util.Base64URLSafe.Encode(digest);

log.DebugFormat("Computed hash after base64 : {0}", computed);

  IEnumerable<string> auths;
  if (filterContext.Request.Headers.TryGetValues("Authorization", out auths) && auths.Count() == 1)
  {
    string auth = auths.First();
    log.DebugFormat("Authorization in header : {0}", auth);
    if (auth.StartsWith("QBox "))
    {
      var arr = auth.Substring(5).Split(':');
      if (arr.Length == 2)
      {
        if (arr[1] != computed)
        {
          log.ErrorFormat("Authorization failed. Since auth from header {0} not equals computed {1}", arr[1], computed);
        }
        else
        {
          log.Debug("Authorization success.");
          //only pass can be return
          return;
        }
      }
      else
      {
        log.Error("Callback Authorization's format is invalid, can not find two part after split by ':'.");
      }
    }
    else
    {
      log.Error("Callback Authorization's format is invalid, missing leading 'QBox '.");
    }
  }
  else
  {
    log.Error("The request from qiniu callback is missing 'Authorization'");
  }

  filterContext.Response = filterContext.Request.CreateResponse(System.Net.HttpStatusCode.Forbidden);

}

如下几个注意点:

- 明文应当是请求的path+querystring部分和rawbody
- 对于.NET而言,明文和key都需要用UTF-8编码变换成字节才能进行签名。而php中的hash_hmac函数完全不用这么复杂...
- 签名的结果再用base64的url安全的方式编码,再与请求的http头部的Authorization比较

建议官方在文档中加入一些相对底层一些的编程语言的实现,php太高端了...


## js-sdk实现略显粗糙 ##

在使用过程中,我发现[官方的js-sdk](https://github.com/qiniupd/qiniu-js-sdk/)有几个我觉得不好的地方:

**不能为每个文件获取UpToken**

试想,在文件上传过程中有获取UpToken是必须的,而且UpToken又需要包含预处理指令,不同的文件显然需要不同的UpToken,而在js-sdk的实现中,只在初始化这个上传组件对象的时候请求一次上传凭证,后面所有的上传都需要使用这个预先得到的UpToken:

```javascript
    uploader.bind('Init', function(up, params) {
        getUpToken();
    });

于是我修改了这部分,在 BeforeUpload 事件中请求UpToken。建议官方考虑更改这个地方

只能实现分片上传,无法断点续传

js-sdk的实现在分片上传的实现上,是很简单的,不仅没有使用分片,而是分块(一块4m,调用mkblk),而且没有实现持久化ctx,或者类似的回调或接口。4m分块这个问题还可以不追究,没有实现持久化ctx就说不过去了,不持久化怎么实现断点续传撒?!就算不实现,也应该给出回调的入口,让调用者来实现持久化,而我实在无法找到这个'空子'可钻,只能直接在源码上改动了。

没有复用流行类库的东西

这个其实算不上问题,因为作为一个不依赖jquery的sdk,当然不能使用jquery现成的东西,比如ajax。不依赖jquery就算了,依赖plupload是几个意思嘛,还依赖全局对象...于是最后,我干脆自己将sdk改成了Backbone的类,将不要的东西统统去掉,使用jquery和underscore简化代码了...

七牛云存储之图片的上传【PHP】 由于七牛云存储使用了命名空间USE,命名空间是在PHP5.3才引入的,所以5.3之前的版本会报错的哦 第一、下载七牛云存储SDK对应的PHP版本 第二、解压文件(我重新命名为了qiniusdk),放到项目根目录 第三、却名上传文件的机制(HTML上传,后台上传) 第四、上传成功 详解第三步(以下代码全部与sdk同级目录): HTML上传: "> 阅读详情

相关推荐

csdn七牛云存储作为网站的图片外链

使用七牛云存储作为网站的图片外链 最近在把一篇本地的doc更新到优快云上的时候,由于是使用markdown编写,其中的图片又比较多,如果一张张上传到优快云后再更新到文章当中比较费劲,所以就考虑使用图片外链,然后批量替换markdown当中的图片地址为外链地址。网上大致找了找,看到有人使用七牛云存储来作图片外链,而我之前恰好以经注册认证过七牛云存储,所以就记录了一下把七牛云存储作为图片外链网站

ziven tech 3386

给springboot配置七牛云存储+图片审核

首先,毫无疑问你需要注册一个七牛云账号并申请储存空间。注意:这里R是我的自定义返回类,需要的可以找我拿。发现已经经过自动审核并上传到云了,成功!直接开启增量审核,随便配置一下即可自动审核。最后在控制台找你的存储空间的设置。上传图片发现成功并返回文件名。可以看我前面发的文章。

qq_52458633的博客 662

ThinkPHP6使用七牛云存储,不改代码,改下配置就上七牛

ThinkPHP6使用七牛云存储,不改代码,改下配置就上七牛 介绍 ThinkPHP6中使用flysystem作为文件处理类,flysystem是一个php文件处理库,可以使用相同的接口连接本地,ftp,ssh,dav,国外的各种oss,国内的各种oss等等,具体的可以搜索了解下. ThinkPHP6官方提供了本地的flysystem接入使用,但是没有提供七牛云的使用,实际上,flysystem也...

Augushong的博客 3312

七牛云图片上传和审核

七牛云图片上传和审核

zh624040645的博客 561

关于七牛云存储问题汇总(持续更新)

上传问题汇总下载问题汇总1.如何将一个空间里的内容全部复制到另一个空间,文件名不变?答:1.使用sdk,调用batch接口进行批量复制,设置key为原文件名即可 2.使用shell工具,使用batch接口进行批量复制 3.使用镜像加速,将其他空间的文件拉取到七牛 a、什么是镜像加速? 七牛云存储允许为存储空间指定一个镜像回源网址,用于取回资源。当访问某个资源却发现其不存在时,存储系统将查找该

Tecooler 2535

nodejs使用七牛云存储来上传文件

nodejs 使用七牛云存储上传文件nodejs 使用七牛云存储上传文件 1-准备工作 2-服务器端的云存储操作 2-1文件上传 文件下载 文件获取 在网上寻找了很多七牛云存储的博文,也百度了许多。但是都不尽如人意,因此自个撸一个小示例。 1-准备工作 确认安装node和npm 安装 qiniu,formidable,express模块 npm install --save qiniu form

www 你所不知道的 3715

七牛云回调请求header里的authorization参数Apache不能获取的问题

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34361881的博客 1270

七牛云存储图片

目录1.七牛云存储的介绍七牛云存储,是非常流行的用户存储图片 视频 音频 等文件的存储方式,可以大大的降低用户请求对我们自己服务器的查询压力, 能有效的提高网页的打开速度,使用户获取更好的使用体验。官方文档2.七牛云前后端代码实现2.2七牛云上传的步骤2.3七牛云sdk 实现2.4修改图片上传的前端接口 3.七牛云入门文档步骤1:创建空间步骤2:上传文件步骤3:下载文件步骤4:删除文件步骤5:删除空间前端请求后端,获取上传的token将后端返回的token放入提交的表单中设置el-upload中的上传地

weixin_69282348的博客 426

七牛 回调 java_七牛回调验证(java,php源码)

1,七牛的客户可以对七牛回调过来的信息做验证。防止其他网站的信息冒充七牛。2,安全性*由于回调地址是公网可任意访问的,回调服务如何确认一次回调是合法的呢?七牛云存储在回调时会对请求数据签名,并将结果包含在请求头Authorization字段中,示例如下:Authorization:QBox iN7NgwM31j4-BZacMjPrOQBs34UG1maYCAQmhdCV:tDK-3f5xF3SJY...

weixin_32751907的博客 436

七牛云存储高效管理工具 - qshell使用实战指南

qshell,作为七牛云存储中不可或缺的命令行工具,赋予了开发者对云资源进行精细管理的能力。通过一系列简单易用的命令,qshell让批量上传、下载、管理文件,以及与七牛云存储服务交互变得轻而易举。它不仅提供了基础的文件操作,还支持更高级的功能,如数据同步和数据完整性校验。

weixin_36123300的博客 1086

七牛云存储API开发实践

七牛云存储提供了一整套高效的云存储解决方案,以支持快速、安全地存储和分发数据。在本章中,我们将探索七牛云存储的API接口,了解它们的基本功能,并指导您如何开始使用这些工具。

weixin_33068055的博客 1246

使用七牛云存储在网站中进行图片外链

       在优快云中写博客,如果想在文章中插入一张图片,其实是非常简单的,只要从你本机进行图片选择,然后选择上传,图片就会上传到优快云的服务器,到时候在文章显示的时候就会读取该图片。但是如果是在自己的搭建的网站中要进行图片的显示就会遇到问题,因为图片无法从你本机读取,除非你的本机是一台服务器。所以我们要选择一个专门存储图片的服务商,同时存储的图片还能进行外链,即获得图片的URL地址,到时候...

乞力马扎罗的雪CYF的博客 9915

【理解机器学习算法】之岭回归Ridge - L2 Rgularization

本人就职海外从事人工智能领域开发设计。 希望花时间总结下流行的机器学习算法,希望大家一起学习,欢迎指正!

Hyman Qiu 2319

如何在WordPress中使用七牛云存储

序:七牛云存储可以方便的将网站的图片等数据镜像到七牛云存储的空间,直接从云端将数据返回给用户。这样可以大大节省网站的空间,提升网站的访问速度。 真正显示一键实现WordPress博客静态文件CDN加速。下面主要介绍一下WordPress中七牛云存储插件的使用。 一、申请七牛云存储的账号 首先需要申请七牛云存储的账号,申请好后,点击创建空间,选择空间类型为公开空间,提交 二、配...

517

Word中 Go to endnote 出现闪退问题解决办法

Word中 Go to endnote 出现闪退问题解决办法

努力努力努力 1万+

OpenBCI脑电实验避坑指南:如何用Python准确捕捉P300信号

本文详细介绍了使用OpenBCI和Python进行P300脑电信号实验的避坑指南,包括电极贴放、信号采集、信号处理和数据分析等关键步骤。通过实战经验和代码示例,帮助研究者避开常见陷阱,提高P300信号捕捉的准确率,适用于脑机接口和神经科学研究。

weixin_30316097的博客 553

七牛云存储域名配置和JavaAPI使用

七牛云存储域名配置和JavaAPI使用 七牛云存储的测试域名只能试用一个月(国家为了链接实名化可溯源,据传之前有人使用七牛的测试域名传播淫秽信息),所以我们需要配置自己的域名来 在七牛云添加融合cdn域名。使用自己的二级域名,如cdn.whichard.cn 得到一个cname记录 腾讯云配置cname: 把得到的cname填到记录值处,主机记录处注意:填写二级域名cdn即可,不是填写cd...

whichard的博客 1504

SOUL.md 人格定制的 7 个高阶技巧:Hermes Agent 精准控制 AI 行为模式

揭示 SOUL.md 的本质是行为契约而非人格设定,介绍7个围绕边界约束的高阶技巧,包括用上下文锚点(INPUT SCOPE/OUTPUT TARGET/CONSTRAINTS)替代角色描述、动态渲染锚点适配CI流程等,显著降低token消耗与人工review耗时。

weixin_42520239的博客 253

Java 代码实现七牛云存储图片

前言 项目想把图片上传到七牛云存储上,笔者把七牛最简单的用法示范一下,方便初学者。文章如有错误,欢迎各位指出。 比如上面的 beautiful girl 图片的 url 是http://img.blog.youkuaiyun.com/20160119111734404 我们最终用代码上传到七牛图床后,七牛云存储的 url 为 http://7xq7ik.com1.z0.glb.clo

程序员_007的博客 3932

基于 Spring Cloud 环境污染物数据分析与预测平台

基于 Spring Cloud 环境污染物数据分析与预测平台

935

复制幻灯片到另一个PPT编程

请确保将源PPT文件和目标PPT文件的文件名修改为你实际使用的文件名。运行上述代码后,目标PPT将包含源PPT中的所有幻灯片和形状。这里假设源PPT文件名为"source.pptx",目标PPT文件名为"target.pptx"。方法将每个幻灯片的布局添加到目标PPT中。是一个强大的库,可以用于创建、修改和操作PPT文件。要将一个PPT中的幻灯片复制到另一个PPT,可以使用Python的。这段代码遍历源PPT的每个幻灯片,并使用。步骤 3: 打开源PPT和目标PPT。这将保存修改后的目标PPT文件。

ByteSparkX的博客 1322

七牛云存储html内容,集成七牛云存储

wangEditor编辑器从`v2.0.14`版本开始,将支持使用[七牛云存储](http://www.qiniu.com/)上传图片。但是,在使用编辑器集成七牛云存储之前,还需要阅读[七牛云存储javascript sdk](http://developer.qiniu.com/code/v6/sdk/javascript.html)的文档,来了解七牛云存储js sdk的使用方法。否则也无法顺利...

weixin_42113456的博客 295

【LLC快速上手系列】如何在LLC谐振里优雅地调死区时间?

用示波器死盯Vds波形,找到ZVS临界点;别听“经验值”,亲自调才准;死区时间并非越短越好,也不是越长越稳,而是要“刚刚好”;用热成像看MOSFET温升变化,ZVS调好了,温度马上掉2~5℃;轻载难ZVS?适当提升频率 or 降低Lr可破!

weixin_43199439的博客 497

如何在 Spring Boot 项目中集成七牛云存储

在SpringBoot项目中集成七牛云

qq_73793166的博客 1773

docker部署neo4j,设置密码。Neo.ClientError.Security.Unauthorized: The client is unauthorized due to authenti

卷,设置NEO4J_AUTH将不会起作用,因为该数据库已经配置了身份验证。Neo4j Docker 服务将会启动,但您需要使用已与该数据库关联的用户名和密码才能登录。这里,使用了环境变量NEO4J_AUTH,设置了用户名为neo4j,密码为neo4jneo4j。这个命令还是比较全的,包括设置密码,设置端口,挂载外部的数据目录等。原因嘛,就是使用docker创建的neo4j,登录不上。把👆提到的外挂的数据,都清空了,再重新来一遍。有一种情况下,这样设置密码,并不会成功。如果不出意外,目前就算大功告成了。

xiezhipu的博客 565

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

java后端-微信小程序使用七牛云存储

微信小程序使用七牛云存储导读开发前的准备七牛云配置微信小程序测试号配置java配置-spring-boot正式开始java端代码七牛云工具类编写响应类编写七牛云响应结果获取token的控制器小程序代码七牛云工具类工具类的调用总结借鉴 导读 最近在做一个微信小程序项目,项目中涉及到大量图片的存储,由于之前的项目用到了七牛云存储服务,所以也打算在此项目中选用七牛云作为资源站点使用。 七牛云的存储方式为:服务端转储,客户端直传,客户端token上传; 本文主要讲解客户端token上传 开发前的准备 七牛云配置 首

weixin_45121446的博客 1486

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

上一篇: 使用七牛云存储生成缩略图
下一篇: VS2010下 LibVLC开发环境搭建
codepython
博客等级 码龄20年 125粉丝 6原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值