腾讯云 AI 视觉产品基于流计算 Oceanus(Flink)的计费数据去重尝试

腾讯Oceanus实时计算平台架构设计 腾讯Oceanus实时计算平台架构设计—学习总结 一、背景 实时计算应用主要分为以下四类: (1)ETL:ETL应该是目前实时计算最普遍的应用场景。例如在TDBank的数据链路中,TDSort读取消息缓存系统Tube中的消息,通过流数据处理系统将消息队列中的数据进行实时分拣,并落地到HDFS接口机集群,并将最终分拣后的数据由加载到TDW中。 (2) 监控系统: 监控系统需要能够对产品和服务进行多维度的监控,对指标数据进行实时的聚合和分析,并支持方便灵活的报警规则设置。 (3)实时BI:及时运营策略。 (4 阅读详情

| 导语: 介绍下最近使用 Flink 来对计费数据进行去重的具体做法

一. 背景

AI 视觉产品在我们腾讯云-人工智能的产品目录下,包括人脸识别、人脸特效、人脸核身、图像识别、文字识别等。
流计算 Oceanus 在腾讯云-大数据的产品目录下,是基于 Apache Flink 构建的企业级实时大数据分析平台。
AI 视觉产品是按调用量计费,毕竟涉及到钱,用户对计量数据准确是非常敏感的; 另外调用量本身也比较大,如何保证数据的准确一致也是一个比较大的挑战。
数据不准: 主要包括数据丢失和数据重复(当然可能有其他问题比如上报的数据本身错误等,暂不属于本次讨论范围)。
数据丢失: 相当于调用量少算,会影响我们的收入。一方面我们通常重试、持久化等方式尽量减少数据的丢失,目标当然是完全不丢,但很难做到100%不丢。另一方面很少量的数据丢失对于实际收入影响很小,对用户基本没有影响。
数据重复: 相当于调用量多算就会多收用户钱,用户一旦发现肯定会投诉过来。所以是必须要去解决的,但是数据量很大,要做到精确去重比较难。

整体的背景和处理逻辑可以参考如下业务流程图, 本次主要介绍下我们在数据去重方面的一些尝试。

在这里插入图片描述

系统架构图:

在这里插入图片描述

二. 思路与调研

去重的触发时机: 数据重复的原因主要是各种重试:包括上游传输环节的超时重试和下游计算环节的系统重启导致的数据重算。因为我们通常使用的是最终的数据,只要保证最终数据不重复即可,所以只要在最后的计算环节进行一次去重就可以,前面的环节不用处理。

去重的技术手段: 保证数据处理中不重复、不丢失(数据一致),通常有 2 个技术手段:事务和幂等可重入(幂等重入可能出现部分数据插入了的时间段,没有事务还能保证过程中的精确,但如上所述我们只要最终数据一致,所以幂等也是可以的)。

事务的实现难度高,尤其在分布式或多个组件要用到 2PC 之类的事务,更加复杂;所以通常事务都是组件本身成熟的实现,很少从头开发的; 而幂等通常是使用数据的唯一键来保证去重,但是在我们数据累计这里不适用,因为聚合时的数据的顺序和数量在每次计算时不是固定的,所以如果出现重启要重新计算时并不能生成和上次一样的唯一键,就难以使用键去重。

经过调研发现 Flink 本身是支持 2PC 事务和内部的状态存储,可以做到 exactly-once,当然使用起来会有成本(包括学习成本、问题排查等,Flink 的开发入门和资料可以参见 Flink 入门 1-零基础用户实现简单 Flink 任务[2] 和 Flink 入门9-Jar 作业开发[3])。
考虑到后续我们数据量增加后的数据处理能力以及其他一些流处理的场景都还是会用到 Flink,所以与其自己 DIY 不如使用成熟开源的组件,也符合当前开源协同的趋势,所以决定直接使用 Flink 里面的去重,下面是 Flink 实现 2PC 的流程:
在这里插入图片描述

2PC 事务有 2 个角色:协调者(发起者、控制者)和参与者(要支持本地事务),如上图所示。
Flink 的 JobManager 是协调者;Flink 内部的状态、流程属于内部参与者;Kafka 作为 Source 和 Sink 是外部参与者,尤其是作为 Sink 的 Kafka 要选择支持事务的版本(>=0.11)。

Flink 介绍事务的可以参考 官方文档[4]。

Spark vs Flink 在 excatly-once 上的对比讨论,也说到很多基本概念的理解:https://zhuanlan.zhihu.com/p/77677075

三. 实现

基本的流程和上图一致,基本代码如下:

在这里插入图片描述

简单介绍下每个步骤,同时讨论下可能的问题:

0. 前提:

Flink 打开 Checkpoint,相当于 Flink 打开了 redo、undo log 等持久化的机制,是事务的基础。

1. 事务开始:

从上一个处理完成 offset 消费 Kafka 数据,当然这里 Kafka 里面的数据格式需要自行去解析,可以做些简单的处理。

2. 事务处理:

2.1 按照用户 KeyBy 分流,提高并发

按照用户分流可以保证同一个用户在同一个处理流中,从而保证数据去重(不同用户的数据认为不会重复的)。当然这里也有一个数据倾斜的问题:如果某个用户调用量特别大就会导致部分流负载很高,拖累这个处理的速度,目前我们的数据分布根据测试还好。通过学习了解到如果数据倾斜严重可以再次选择更好的 Key 分流:比如可以按照用户 RequestId 的前缀进行分流更均匀,另外 Flink 也提供了 rebalance 的接口强制将数据打散,当然要符合逻辑数据分布要求。

2.2 声明 map 状态存储处理过的数据,用于去重

测试时可以选 memory,但是线上还是要使用 Rocksdb 应对数据量大的场景,同时要开启 TTL 机制避免状态太大对内存和 Checkpoint 保存和恢复时产生太大的 IO 压力,开始时建议先选择比较短的 TTL,观察内存和负载再逐步调大,目前我们 TTL 可以到 15 分,希望可以逐步调大到 1 小时 - 10 小时。
当然当这里如果数据量特别大时,用到的存储也就很,很容易磁盘、内存产生大的压力,所以这里要进行实际的测试和调整:比如增多机器提高并发,或者使用 Rocksdb 增量式的 Checkpoint 等。
这里存储数据的时间长短决定了去重的数据的范围,如果太大如上所述对存储压力很大,造成 Flink 运行不稳定;但如果太小只能小局部去重,对于跨度比较大的数据重复不能应对,比如跨天的数据也可能重复,在离线上报的链路中就可能跨天重试的,通常在实时上报的链路不会出现,对于这种长时间还有重复的,目前想到有 2 个处理的方向(还没具体落地):

  1. 使用 Redis 存储处理过的数据(不要求很及时),上报时先去这里去重;问题首先是对存储压力增大不少,同时要增加一次查重的耗时
  2. 要求上报方记录下上报的结果不要重复上报,即使重复上报时间间隔也不能太长这里虽然对业务不友好,但是可以理解,毕竟极端情况下也有现在 30 号要从新上报 1 号的数据也可能出现,那如果用方案 1,就要 1 个月的数据完全存储下来成本太大。
2.2.1 去重 Key 的选择

通常来说直接选 RequestId 就可以,当然保险起见,加上用户维度也是可以的(可以应对下 RequestId 少量重复的情况)。但测试中发现几个问题:

  1. 用户一次的请求,到后台业务对应多次处理都上报给计费了,组合结果后返回给用户——这样就会导致只统计了其中一个操作,其他操作被去重过滤。解决的方法就是去重 Key 也加上 action。
  2. 接入层重试的情况,第一次请求处理失败上报了失败,然后接入层重试成功了上报了成——这样就会导致只统计了失败的,成功的上报被过滤了。解决的方法也是加上错误码。

3. 数据聚合:

3.1 目前 window 选择1分钟粒度聚合汇总
3.2 聚合 Key 根据业务需要进行选择
3.3 出库到 Kafka 时生成一个 uuid

uuid 是 java 自带的函数生成,相当于一个全局唯一随机数,好处就是有了唯一键,后面数据处理、入库时就很方便。

4. 输出到 Kafka:

目前 Flink 内置的支持事务的 Sink 只有 Kafka>0.11。当然可以根据 Flink 的 2PC (两阶段提交) 接口自行去实现需要后端的 Sink,比如 MySQL、PG。这里我们使用 Kafka 作为输出除了简单成熟,另外就是考虑到如果数据量增大,Kafka 这里的大数据能力就是天生的,数据库就需要扩容或替换——当然这里增加了一个 Kafka 到 PG 的同步的流程,流程变的更长了;但是考虑到后续数据量大和解耦的考虑,还是推荐出库到 Kafka。

下面是 Flink 2PC 的 Sink 要继承实现的接口:

public abstract class TwoPhaseCommitSinkFunction<IN, TXN, CONTEXT> extends RichSinkFunction<IN>
        implements CheckpointedFunction, CheckpointListener {
  
    // 开始一个事务,返回事务信息的句柄
    protected abstract TXN beginTransaction() throws Exception;
  
    // 预提交(即提交请求)阶段
    protected abstract void preCommit(TXN transaction) throws Exception;

    // 正式提交阶段
    protected abstract void commit(TXN transaction);

    // 取消事务
    protected abstract void abort(TXN transaction);
}
4.1 打开 Kafka 事务出库

如上所述,Flink 的 Kafka 连接器在流计算 Oceanus (Flink) 平台已经支持,可以直接使用。这里是事务出库到 Kafka 的,那么后续读取 Kafka 这里的数据也要配置 read_commited 的级别的读,整个链路数据一致。

四. 问题

在上面的流程说明中已经就每步可能的问题进行了说明和讨论,但是肯定还有新的问题,就需要后续运营过程中发现进行修复。这里我们预料比较麻烦的问题是:
如果 2PC 事务过程中出现异常问题时,是否可以比较快、完美的恢复回来;否则可能出现死锁或启动不起来的情况。
以上是最近 2-3 个月的实现的情况,后面还会继续验证、继续发现问题,所以还是要进一步的学习和理解 Flink 的底层机制,甚至可以进行代码级的贡献——这一步肯定非常难,短时间不可能完成,初期投入很多但是产出不多,但是可以肯定的是值得长期投入。
本文作为 Flink 应用的一次尝试,如发现有错误请直接指出,同时欢迎有相同需求的同学一起讨论。

五. 参考链接

[1] Flink 实践教程:入门 1-零基础用户实现简单 Flink 任务:https://cloud.tencent.com/developer/article/1895677
[2] Flink 实践教程:入门9-Jar 作业开发:https://cloud.tencent.com/developer/article/1907822
[3] Flink 事务介绍:https://flink.apache.org/features/2018/03/01/end-to-end-exactly-once-apache-flink.html

流计算 Oceanus 限量秒杀专享活动火爆进行中↓↓

在这里插入图片描述

请添加图片描述

oceanus架构 58同城的分布式数据库中间件架构设计与实现的介绍 立即下载

相关推荐

DDR4内存PCB设计实战:8层板Fly-by拓扑信号完整性优化

本文深入探讨了DDR4内存条在8层PCB板上采用Fly-by拓扑时的信号完整性优化实战。文章详细解析了层叠规划、阻抗控制、电源分割、等长布线及串扰抑制等关键设计要点,并强调了仿真验证的重要性,为硬件工程师提供了从理论到实践的完整设计指南与自查清单。

weixin_29296241的博客 340

navi文件操作:Linux文件系统命令大全终极指南

想要快速掌握Linux文件系统操作却记不住复杂的命令参数?navi交互式命令行备忘录工具就是你的完美解决方案!🚀 navi作为一个智能的命令行工具,能够让你轻松浏览和执行各种文件操作命令,无需记忆复杂的语法和参数。 ## 什么是navi命令工具? navi是一个革命性的交互式命令行备忘录工具,专门为Linux用户设计。它通过提供动态的命令建议和参数提示,彻底改变了传统命令行操作的方式。无论你

gitblog_00077的博客 467

10X Genomics单细胞数据分析实战:从FASTQ到UMAP可视化的完整流程

本文详细介绍了10X Genomics单细胞数据分析的完整流程,从FASTQ原始数据处理到UMAP可视化。通过Seurat工具包实现数据质量控制、标准化、降维聚类和细胞注释,特别适合生物信息学新手学习。文章包含可复现的代码示例和常见问题解决方案,帮助研究者快速掌握单细胞测序数据分析的核心技术。

weixin_30952535的博客 538

Oceanus的实时流式计算实践与优化

导语|随着互联网场景的不断深化发展,业务实时化趋势越来越强,要求也越来越高。特别是在广告推荐、实时大屏监控、实时风控、实时数仓等各业务领域,实时计算已经成为了不可或缺的一环。在大数据技...

QcloudCommunity的博客 611

告别‘小目标’丢失!手把手复现DNANet红外检测网络(PyTorch版)

本文详细介绍了如何使用PyTorch从零实现DNANet红外小目标检测网络,重点解析了DNIM模块和CSAM注意力机制的设计与实现。通过实战教程,帮助开发者解决红外小目标检测中的特征提取和训练调参难题,适用于军事侦察、安防监控等场景。

weixin_28701593的博客 254

用PyTorch手把手搭建液态神经网络(LNN):从微分方程到无人机避障实战

本文详细介绍了如何使用PyTorch搭建液态神经网络(LNN),从微分方程基础到无人机避障实战应用。LNN通过动态时序建模和微分方程实现高效计算,特别适合多传感器数据融合场景。文章包含完整的代码实现、训练技巧及性能优化方案,帮助开发者快速掌握这一前沿技术。

uber9的博客 441

人工智能Java SDK:人工智能技术如何与大数据技术栈协同工作?

人工智能技术如何与大数据技术栈协同工作? 人工智能模型训练很大程度依赖标注的数据。而需要标注数据量大的话,离不开大数据平台提供技术支持。 训练好的模型,反过来同样可以用于大数据技术栈。 场景1:ToB 在企业内部的大数据平台中,有两个典型环节可能用到人工智能技术: 数据采集环节 - 非结构化数据解析,如:图片,文本,音频等。 数据挖掘分析服务 - 图片搜索,基于深度学习的推荐,NLP问答,智能客服等。 人工智能 & 大数据 场景2:泛安防 近几年,人工智能在泛安防领域得到了广泛的应

weixin_39355136的博客 1373

【如何利用扩展卡尔曼滤波解决跟踪毫米波雷达目标】

笛卡尔坐标系(非极坐标系):使用两个垂直的轴(通常是x轴和y轴)来确定一个点的位置。你沿着这两个轴移动确定的距离来找到这个点。极坐标系:使用一个角度和一个距离来确定一个点的位置。首先,你转到一个特定的方向(角度),然后沿着那个方向移动确定的距离来找到这个点。希望这个例子能帮助你理解两种坐标系的基本概念!

小秋 AI SLAM 入门实战教程 885

Flink-Kafka相关学习笔记

文章目录Kafkaflink中国github社区: [PPT + 视频](https://github.com/flink-china/flink-training-course)Flink整合kafka: Kafka ->kafka基本概念: Fast: 非常快,单个Kafka broker每秒能够读写数百兆字节从数千台客户端, Scalable: 可扩展,容量不够之后,可以通过增...

东方小硕 808

Ollama DNS 重新绑定攻击 (CVE-2024-28224)

一旦 DNS 重新绑定攻击成功,攻击者就可以对这些 API 进行排序,以读取 Ollama 运行的进程可访问的任意文件数据,并将这些数据泄露到攻击者控制的系统中。完成对“创建模型” API 请求的调用后,Ollama 将收集组成新创建的用户模型的许多工件,包括大型语言模型数据、许可证数据等,以及我们要提取的文件,所有这些都可以通过其 SHA256 内容进行寻址。这是我们要窃取的文件,在我们的示例中,是可通过运行 Ollama 的主机上的路径名访问的现有文本文件。值得注意的是,该模型配置为通过参数中的。

技术超强的网络安全平台 1648

H3C交换机命令大全,分模块好记忆!

在深入命令之前,我们先来了解H3C交换机的命令行基础。<H3C>[H3C]常用基础命令如下:这些基础命令是操作H3C交换机的敲门砖,熟练掌握后,我们将按模块深入探讨更具体的配置命令。H3C交换机的命令可以按功能模块分类,包括系统管理、接口配置、VLAN操作、链路聚合、路由配置、安全管理等。

网络技术联盟站 784

赛题解读 | 如何基于 Flink + AI 解决疫情防控难题?

7月22日,万众瞩目的第二届 Apache Flink 极客挑战赛正式发布。在疫情防控的背景下,第二届 Flink 极客挑战赛要求参赛队伍利用大数据技术 + AI 算法技术来帮助解决防控...

Ververica的博客 1021

【部署】Docker部署OpenClaw及常见问题解决(win11)

给AI单独开一个隔离的小容器,AI执行所有命令、下载文件都在这个小盒子里,就算AI被诱导执行危险命令,也不会影响你Win11本机的文件和系统,是必开的安全功能。Docker容器里的OAuth回调,会尝试在你Win11本机的1455端口捕获认证信息,但容器和Win11本机的网络隔离,导致浏览器访问不到这个回调地址。「挂载」就是把你Win11本机的文件夹,共享给容器里的「虚拟小电脑」,两边都能读写文件,比如你想让AI操作你D盘里的代码文件,就需要挂载。

海兰 4699

Flink高手之路4-Flink流批一体

env.fromElements(可变参数)env.fromCollection(各种集合)env.generateSequence(开始,结束)env.fromSequence(开始,结束SourceFunction:非并行的随机数据源(并行度为1)RichSourceFunction:丰富的非并行的随机数据源(并行度为1)ParallelSourceFunction:并行的随机数据源(并行度可以大于等于1)

W_chuanqi的博客 2379

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

SIGMOD 2025|腾讯 Oceanus 开创云原生流计算弹性新纪元

对于服务型应用,在传统的资源调整过程中,随着资源规模的增大,由于资源申请、任务部署等阶段耗时的线性增大,其重启代价将逐步提高,服务可用性将受到更大的影响,而 Oceanus 运行时资源调整方案可以实现服务无损进行资源调整,保持服务的可用性。对于数据处理型应用,资源调整重启任务时,会从持久化的状态位点回溯部分数据,引起短期的流量波动,并且存在数据处理断流情况,而 Oceanus 能够有效解决该问题,在不影响正常的数据处理,保证流量稳定的前提下,实现资源的动态调整。

腾讯开源 486

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Flink的图像处理与计算机视觉实战

1.背景介绍 1. 背景介绍 Apache Flink 是一个流处理框架,可以用于实时数据处理和计算。在过去的几年里,Flink 已经成为一个非常受欢迎的框架,因为它提供了高性能、低延迟和易于扩展的解决方案。 在计算机视觉领域,图像处理是一个非常重要的部分。图像处理涉及到图像的捕获、存储、传输、处理和显示等方面。图像处理技术广泛应用于各个领域,如医疗、金融、交通等。 在这篇文章中,我们将讨...

AI天才研究院 1265

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

腾讯Oceanus实时计算平台架构设计---学习总结

一、背景 实时计算应用主要分为以下四类: (1)ETL:ETL应该是目前实时计算最普遍的应用场景。例如在TDBank的数据链路中,TDSort读取消息缓存系统Tube中的消息,通过流数据处理系统将消息队列中的数据进行实时分拣,并落地到HDFS接口机集群,并将最终分拣后的数据由加载到TDW中。 (2) 监控系统: 监控系统需要能够对产品和服务进行多维度的监控,对指标数据进行实时的聚合和分析,并支持...

流的博客 7070

基于流计算 Oceanus(Flink) CDC 做好数据集成场景

作者:黄龙,腾讯 CSIG 高级工程师数据时代,企业对技术创新和服务水准的要求不断提高,数据已成为企业极其重要的资产。无论是在在企业数据中台的建设,亦或者是打造一站式数据开发和数据治理的P...

cloudbigdata的博客 3082

oceanus-58总体框架理解

1.总体思路: 通过约定的XML规则(分表分库规则)和 封装jdbc的Connection和PreparedStatement来实现SQL解析,sql路由和sql重写。 2. 3个核心类:ConnectionWrapper(JDBC Connection包装),PreparedStatementWrapper( JDBC PreparedStatement包装),SimpleExecut...

ahua186186的专栏 470

流计算 Oceanus | Flink JVM 内存超限的分析方法总结

作者:董伟柯,腾讯 CSIG 高级工程师 问题背景 前段时间,某客户线上运行的大作业(并行度 200 左右)遇到了 TaskManager JVM 内存超限问题(实际内存用量 4.1G > 容器设定的最大阈值 4.0G),被 YARN 的 pmem-check 机制检测到并发送了 SIGTERM(kill)信号终止该 container,最终导致作业出现崩溃。这个问题近期出现了好几次,客户希望能找到解决方案,避免国庆期间线上业务受到影响。 在 Flink 配置项中,提供了很多内存参数设定。我们逐一检查

cloudbigdata的博客 3397

流计算 Oceanus 操作效率提升指南(一)

作者:李贤雨,腾讯 CSIG 工程师批量操作功能简介为了避免用户机械重复地对作业进行某一类操作,Oceanus 平台支持五种快捷高效的批量操作。分别是批量启动、停止、删除、创建副本、移动。操作入口如下图。操作示例批量操作包含三个步骤。➢ 步骤一:点击批量操作入口;➢ 步骤二:选择需要批量操作的作业;➢ 步骤三:确认提交批量操作(其中,批量移动需要选择目标目录,批量创建副本...

cloudbigdata的博客 195

腾讯云大数据流计算 Oceanus 在 MySQL CDC Connector 的核心优化

引言:Apache Flink 作为流计算引擎,需要持续从上游接收数据流,并向下游输出最新的计算结果。Connector 起到承上启下的作用:Source 负责与上游的 MQ、数据库等源表对接,Sink 则写入各类数据库、数仓、数据湖等目的表。因此,Connector 是 Flink 连接外部生态的桥梁,也是影响作业吞吐量的重要因素之一。Flink CDC Connectors 作为 Flink ...

cloudbigdata的博客 1841

实时计算 Flink> 产品定价 > 计量计费

本页目录 计量 计费 计量 实时计算的基本计量单位为CU(Compute Unit),即计算资源。CU对应于实时计算底层系统是CPU的计算能力。实时计算底层使用虚拟化技术进行资源隔离,保证一个基本的CU消费且最大消费仅能为一个CPU的计算能力。 实时计算 Flink底层经过深度优化从而保证您的Flink SQL作业能够最大化利用底层计...

weixin_34357267的博客 754

腾讯计费消息在Pulsar的应用《Flink on Pulsar》VS《 Flink on Kafka 》

首先说一下Pulsar在都有哪些知名团队在用 2019年8月17《Apache Pulsar Meetup | 北京站》 郭斯杰为我们介绍了 Pulsar 的发展历史、强大的特性、快速的迭代进程、用户案例、Pulsar adpoter 和 Pulsar meetup 等,为本次大会拉开了序幕: https://www.bilibili.com/video/av64833311/?p=1 腾...

huzechen的博客 1454

Apache Flink状态管理和容错机制介绍

本文由韩非(Flink China社区志愿者)整理自8月11日在北京举行的 Flink Meetup 会议。分享嘉宾施晓罡,目前在阿里大数据团队部从事Blink方面的研发...

Hadoop技术博文 1088
上一篇: 腾讯云原生实时数仓建设实践
下一篇: Flink 实践教程-进阶(6):CEP 复杂事件处理
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值