资深技术专家分享:大数据实时计算微服务引擎总结

数据驱动决策平台(DJCP)架构实战:从实时计算到AI协同 在数字化转型浪潮中,企业决策正从依赖经验转向数据驱动。其核心原理在于通过实时数据处理、规则引擎与AI模型服务,将数据能力直接嵌入业务流程。这一技术架构的价值在于打通数据到业务价值的“最后一公里”,实现决策的自动化与智能化。典型应用场景包括智能风控、精准营销、自动化客服与生产流程优化。本文聚焦的**数据-判断协同平台(DJCP)**,正是这一理念的工程实践,它通过**微服务架构**与**实时计算**技术,构建了从数据感知、规则执行、模型推理到人工协同的完整闭环,为企业提供了可配置、可观测、持续优化的决策操作系 阅读详情

总结《大数据架构之道和项目实战》第七章:

  • 学习目标
  1. 掌握分布式采集服务Flume部署及数据采集
  2. 掌握分布式消息服务Kafka部署及数据发送
  3. 掌握Hbase数据库设计和Spark集群环境构建
  4. 掌握Spark连接Kafka的两种方式
  5. 掌握Scala的基本语法和常用算子
  6. 掌握Spark中Job的执行流程
  7. 掌握Spark的Shuffle过程
  8. 掌握Spark解决数据倾斜的几种方式和原理
  9. 掌握分布式实时处理引擎SpringStreaming原理和数据处理方法
  10. 掌握微服务实现数据处理
  11. 掌握微服务实现数据可视化
  • 知识技能
  1. Flume
  1. 介绍:flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。
  2. 可靠性:当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障,从强到弱依次分别为:end-to-end(收到数据agent首先将 event写到磁盘上,当数据传送成功后,再删除;如果数据发送失败,可以重新发送。),Store on failure(这也是scribe采用的策略,当数据接收方crash时,将数据写到本地,待恢复后,继续发送),Besteffort(数据发送到接收方后,不会进行确认)。
  3. 核心概念:

Client:Client生产数据,运行在一个独立的线程。

Flow: Event从源点到达目的点的迁移的抽象。

Source: 数据收集组件。(source从Client收集数据,传递给Channel)

Channel: 中转Event的一个临时存储,保存由Source组件传递过来的Event。(Channel连接 sources 和 sinks ,这个有点像一个队列。)

Sink: 从Channel中读取并移除Event, 将Event传递到FlowPipeline中的下一个Agent(如果有的话)(Sink从Channel收集数据,运行在一个独立线程。)

  1. Flume数据流:

     Flume 的核心是把数据从数据源收集过来,再送到目的地。为了保证输送一定成功,在送到目的地之前,会先缓存数据,待数据真正到达目的地后,删除自己缓存的数据。

      Flume 传输的数据的基本单位是 Event,如果是文本文件,通常是一行记录,这也是事务的基本单位。 Event 从 Source,流向 Channel,再到 Sink,本身为一个 byte 数组,并可携带 headers 信息。 Event 代表着一个数据流的最小完整单元,从外部数据源来,向外部的目的地去。

  1. Kafka介绍:

   在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。

  1. pache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。
  2. Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。
  3. Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类,发送消息者称为Producer,消息接受者称为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)成为broker。
  4. 无论是kafka集群,还是producer和consumer都依赖于zookeeper集群保存一些meta信息,来保证系统可用性
  1. 为什么需要消息队列
  1. 解耦
  2. 冗余
  3. 削峰
  1. 消息模式:
  1. 点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)

 点对点模型通常是一个基于拉取或者轮询的消息传送模型,这种模型从队列中请求信息,而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理,即使有多个消息监听者也是如此。

  1. 发布/订阅模式(一对多,数据生产后,推送给所有订阅者

发布订阅模型则是一个基于推送的消息传送模型。发布订阅模型可以有多种不同的订阅者,临时订阅者只在主动监听主题时才接收消息,而持久订阅者则监听主题的所有消息,即使当前订阅者不可用,处于离线状态。

  1. 架构:
  1. Producer :消息生产者,就是向kafka broker发消息的客户端。
  2. Consumer :消息消费者,向kafka broker取消息的客户端
  3. Topic :可以理解为一个队列。
  4. Consumer Group (CG):这是kafka用来实现一个topic消息的广播(发给所有的consumer)和单播(发给任意一个consumer)的手段。一个topic可以有多个CG。topic的消息会复制(不是真的复制,是概念上的)到所有的CG,但每个partion只会把消息发给该CG中的一个consumer。如果需要实现广播,只要每个consumer有一个独立的CG就可以了。要实现单播只要所有的consumer在同一个CG。用CG还可以将consumer进行自由的分组而不需要多次发送消息到不同的topic。
  5. Broker :一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic。
  6. Partition:为了实现扩展性,一个非常大的topic可以分布到多个broker(即服务器)上,一个topic可以分为多个partition,每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id(offset)。kafka只保证按一个partition中的顺序将消息发给consumer,不保证一个topic的整体(多个partition间)的顺序。
  7. Offset:kafka的存储文件都是按照offset.kafka来命名,用offset做名字的好处是方便查找。例如你想找位于2049的位置,只要找到2048.kafka的文件即可。当然the first offset就是00000000000.kafka
  1. Flume和kafka对比
  1. kafka和flume都是日志系统。kafka是分布式消息中间件,自带存储,提供push和pull存取数据功能。flume分为agent(数据采集器),collector(数据简单处理和写入),storage(存储器)三部分,每一部分都是可以定制的。比如agent采用RPC(Thrift-RPC)、text(文件)等,storage指定用hdfs做。
  2. kafka做日志缓存应该是更为合适的,但是 flume的数据采集部分做的很好,可以定制很多数据源,减少开发量。所以比较流行flume+kafka模式,如果为了利用flume写hdfs的能力,也可以采用kafka+flume的方式。
  3. Flume:Flume 是管道流方式,提供了很多的默认实现,让用户通过参数部署,及扩展API.
  4. Kafka:Kafka是一个可持久化的分布式的消息队列。
  1. Spark集群环境构建

   搭建前必须满足Hadoop集群的安装,因为Spark的存储依赖hdfs,hadoop集群可以在yarn上,也可以由zookeeper协调。

Jdk安装。

Scala的正确安装,Ssh免密登录

  1. Scala
  1.    介绍:Scala 是一门多范式(multi-paradigm)的编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性。

             Scala 运行在Java虚拟机上,并兼容现有的Java程序

             Scala 源代码被编译成Java字节码,所以它可以运行于JVM之上,并可以调用现有的Java类库。

(2)scala基础

  1. Spark
  1. 介绍:Spark是是用于大规模数据处理的统一分析引擎。
  2. 特点:高效性、易用性、通用性、。兼容性
  3. 组成:

SparkCore:将分布式数据抽象为弹性分布式数据集(RDD),实现了应用任务调度、RPC、序列化和压缩,并为运行在其上的上层组件提供API。

SparkSql:Spark Sql 是Spark来操作结构化数据的程序包,可以让我使用SQL语句的方式来查询数据,Spark支持 多种数据源,包含Hive表,parquest以及JSON等内容。

SparkStreaming:是Spark提供的实时数据进行流式计算的组件。

Mllib:提供常用机器学习算法的实现库。

Graphx:提供一个分布式图计算框架,能高效进行图计算。

BlinkDB:用于在海量数据上进行交互式SQL的近似查询引擎。

Tachyon:以内存为中心高容错的的分布式文件系统。

  1. Spark专业语定义
  • Application:Spark应用程序
  • Driver:驱动程序
  • Cluster Manager:资源管理器
  • Executor:执行器
  • Worker:计算节点
  • RDD:弹性分布式数据集
  • 窄依赖
  • 宽依赖
  • DAG:有向无环图
  • DAGScheduler:有向无环图调度器
  • TaskScheduler:任务调度器
  • Job:作业
  • Stage:调度阶段
  • TaskSet:任务集
  • Task:任务
  • Hbase
  1. Echart可视化工具
  • 介绍:Echart是百度研发团队开发的一款报表视图JS插件,功能十分强大,使用内容做简单记录
  • Echart的支持图表:折线图(区域图)、柱状图(条状图)、散点图(气泡图)、K线图、饼图(环形图) 雷达图(填充雷达图)、和弦图、力导向布局图、地图、仪表盘、漏斗图、事件河流图等12类图表。
  • Echart的使用
  1. Spark连接kafka的两种方式

Receiver-based: 这种方法使用一个 Receiver 来接收数据。在该 Receiver 的实现中使用了 Kafka high-level consumer API。Receiver 从 kafka 接收的数据将被存储到 Spark executor 中,随后启动的 job 将处理这些数据。

Direct-based:自 Spark-1.3.0 起,提供了不需要 Receiver 的方法。替代了使用 receivers 来接收数据,该方法定期查询每个 topic+partition 的 lastest offset,并据此决定每个 batch 要接收的 offsets 范围。

  • 技术难点
  1. SparkStreaming从kafka拉取数据

   设置每3秒切分一次RDD,需要设置拉取的kafka参数,需要拉取的topic,从哪开始消费等。

  1. 使用spark-streaming完成日期转换和数据清洗操作

   拉取过来的数据需要根据“\t”进去切分,做数据清洗操作,最后调用filter方法过滤掉companyID为0的CompanyLog

  1. 操作HBase数据库的工具类的设计

   在HBaseUtils的构造方法中要设置指定zookeeper的地址和HBase的rootdir。

  1. HbaseUtils的使用

   在使用HBaseUtils的时候需要先调用其中的getHTbale()获取表的对象再用对象调用HBaseUtils里的其它操作方法。

  1. 智能终端运动数据对象DAO层的开发

   对调用HbaseUtils获得的表保存并按rowkey进行累加

  1. 计算每个公司总步数并把数据保存在HBase上

   在计算每个公司的总步数的时候通过循环镶嵌

ForeachRDD ->foreachpartition->在partiton中创建连接

在foreachpartition中把list(数据)保存到HBase上

 

  1. 单例模式的使用

在HBaseUtils类中需要定义一个static HBaseUtils类提供getInstatnce()的输入。

  在可视化服务这块也需要顶一个Static Map<String,String>提供展示

  1. 对于Company的HBaseUtils的query()的实现

   根据表面和输入条件获取Hbase的记录数,获得表的实例后,要使用前缀过滤器。对表做Scan操作后将结果集封装成map对象并返回。

  1. 根据day获取每个公司对应的步数的实现

   在Dao层调用CompanyUtils的query()方法,因为query()使用前缀过滤器,所以只需要将day作为参数当作前缀就可以实现功能

  1. 可视化Echart的使用
  • 案例经验总结
  1. Scala与java的关系:

   Scala与Java的关系是非常紧密的!!

因为Scala是基于Java虚拟机,也就是JVM的一门编程语言。所有Scala的代码,都需要经过编译为字节码,然后交由Java虚拟机来运行。

所以Scala和Java是可以无缝互操作的。Scala可以任意调用Java的代码。所以Scala与Java的关系是非常非常紧密的

  1. 启动了kafka时执行命令会报错:zookeper is not a recognized option ,原因应该是kafka版本过高,解决方法1:kafka换成旧版本,2:使用新版本的命令
  2. 启动kafka之前要启动zookeeper。启动kafka:进入到kafka安装目录:

kafka-server-start.sh config/zookeeper.properties &

创建topic
Bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
展示topic
bin/kafka-topics.sh --list --zookeeper localhost:2181
描述topic
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
生产者:
bin/kafka-console-producer.sh --broker-list 130.51.23.95:9092 --topic my-replicated-topic
消费者:

bin/kafka-console-consumer.sh --zookeeper 130.51.23.95:2181 --topic test --from-beginnin

  1. 关于@SpringBootApplication

  @SpringBootApplication是一个复合注解,包括@ComponentScan,和@SpringBootConfiguration,@EnableAutoConfiguration

  • @SpringBootConfiguration继承自@Configuration,二者功能也一致,标注当前类是配置类,并会将当前类内声明的一个或多个以@Bean注解标记的方法的实例纳入到srping容器中,并且实例名就是方法名。
  • @EnableAutoConfiguration的作用启动自动的配置,@EnableAutoConfiguration注解的意思就是Springboot根据你添加的jar包来配置你项目的默认配置,比如根据spring-boot-starter-web ,来判断你的项目是否需要添加了webmvc和tomcat,就会自动的帮你配置web项目中所需要的默认配置。在下面博客会具体分析这个注解,快速入门的demo实际没有用到该注解。

@ComponentScan,扫描当前包及其子包下被@Component,@Controller,@Service,@Repository注解标记的类并纳入到spring容器中进行管理。是以前的<context:component-scan>(以前使用在xml中使用的标签,用来扫描包配置的平行支持)。所以本demo中的User为何会被spring容器管理

  1. 在项目需要配置log4j日志的输出路径不然会报错
在boot项目中CompanyStepCountDAO中类中测试按天数查询数据时,自己把CompanyHBaseUtils 中query方法中的自定义family(cf) 和qualifier 不小心多一个字母,然后一直查不出数据。所以以后多多细心。
  1. 在可视化图中(localhost:8080.echart)这个公司分类(在echart.xml)的数据是@SpringBootApplication的main方法用复合注解把数据给扫描出来了,具体数据是在CompanyStepStatApp类里面
  2. Spark运行基本流程
  1. 构建Spark Application运行环境
  2. SparkContext向资源管理器注册
  3. SparkContext向资源管理器申请运行Executor
  4. 资源管理器分配Executor
  5. 资源管理器启动Executor
  6. Executor发送心跳至资源管理器
  7. SparkContext构建DAG图
  8. 将DAG分解成Stage(TaskSet)
  9. 把Stage发送给TaskScheduler
  10. Executor向SparkContext申请Task
  11. TaskScheduler将Task发放给Executor运行
  12. 同时将SparkContext将应用程序代码发放给Executor
  13. Task在Executor上运行,运行完毕后释放所以资源
  1. Spark计算比MapReduce快的原因:
  1. Spark是基于内存去计算的
  2. park的中间结果不落地,MapReduce每次执行完都会讲结果重新写入磁盘
  3. 一次MapReduce只有一个job,而Spark程序中一个action相当于一个job,一个Spark程序可以有多个action,中间计算的结果会放在内存中,当内存不够的情况下才会落地到磁盘。
  4. Scala中的下划线总结
  5. 方法转为函数
  6. 集合中的每一个元素
  7. 获取元素Tuple的值
  8. 模式匹配
  9. 队列
  10. 导包引入的时候
  11. 初始化变量
  1. SparkStreaming连接kafka的两种连接方法对比:Receiver-based(非直连),Direct-based(直连)

   在实际的应用中,Direct Approach方式很好地满足了我们的需要,与Receiver-based方式相比,有以下几方面的优势:

  1. 降低资源。Direct不需要Receivers,其申请的Executors全部参与到计算任务中;而Receiver-based则需要专门的Receivers来读取Kafka数据且不参与计算。因此相同的资源申请,Direct 能够支持更大的业务。
  2. 降低内存。Receiver-based的Receiver与其他Exectuor是异步的,并持续不断接收数据,对于小业务量的场景还好,如果遇到大业务量时,需要提高Receiver的内存,但是参与计算的Executor并无需那么多的内存。而Direct 因为没有Receiver,而是在计算时读取数据,然后直接计算,所以对内存的要求很低。实际应用中我们可以把原先的10G降至现在的2-4G左右
  3. 鲁棒性更好。Receiver-based方法需要Receivers来异步持续不断的读取数据,因此遇到网络、存储负载等因素,导致实时任务出现堆积,但Receivers却还在持续读取数据,此种情况很容易导致计算崩溃。Direct 则没有这种顾虑,其Driver在触发batch 计算任务时,才会读取数据并计算。队列出现堆积并不会引起程序的失败。

缺点:提高成本。Direct需要用户采用checkpoint或者第三方存储来维护offsets,而不像Receiver-based那样,通过ZooKeeper来维护Offsets,此提高了用户的开发成本。

监控可视化。Receiver-based方式指定topic指定consumer的消费情况均能通过ZooKeeper来监控,而Direct则没有这种便利,如果做到监控并可视化,则需要投入人力开发

大数据实时计算实践:百分点架构和算法 介绍了大数据平台的基本原理,并详细说明了其中与实时计算相关部分,实时计算框架和数据查询框架的系统架构、处理流程和应用。而后,我们以海量数据计数问题为例,深入浅出的介绍了在实时计算算法中常用的方法和技巧,以及它们适用的场景和可能带来的问题。这些方法和技巧具有普遍性和通用性,被广泛应用于个性化推荐引擎的各个模块,包括用户意图预测、用户画像、个性化推荐评分、商品分类等等。如果能在实际业务中灵活运用这些方法和技巧,则能够大大提高实时计算的数据规模和处理效率,帮助业务快速发展。 立即下载

相关推荐

大数据实时处理架构实践

基于Spark streaming 的实时系统架构:多个流的处理、持久化offset、离线纠正数据、快速失败重启,报警,人工介入、基于kafka-offset的无状态系统

大数据Flink大屏实时计算深度剖析

目录1. 实时计算应用场景1.1 智能推荐1.2 实时数仓1.3 大数据分析应用2 Flink快速入门3. Flink接入体系3.1 Flink Connectors3.2 JDBC(读/写)3.3 HDFS(读/写)3.4 ES(写)3.5 KAFKA(读/写)3.6 自定义序列化(Protobuf)4 Flink大屏数据实战4.1 双十一大屏数据4.2 Canal同步服务安装4.3 热销商品统计4.4 区域分类统计4.5 订单状态监控统计(CEP)4.6 商品UV统计4.7 布隆过滤器 1. 实时计算

赵广陆 4967

Unity2020版本使用Kinect的修复(附粒子人像互动demo)

Unity2020版本使用Kinect的修复附粒子人像互动demo工程版本及说明工程demo说明演示效果工程地址 工程版本及说明 Unity2020.1.3f1c1 因为想用(学习)jpのK神做的一些粒子效果,由于他使用的是2020的新技术故需要把Kinect插件导入进2020版本,但2020版本已经不支持GUIText及GUITex这些操作了 因此需要修复成UGUI。 工程demo说明 打开工程后直接进入这个场景即可,如果只是想看粒子效果则需要把KinectController关掉,然后开启Beta O

qq_42685027的博客 5372

大数据实时流计算详解

我曾任职于华为 2012 实验室高斯部门,负责实时分析型内存数据库 RTANA、华为公有云 RDS 服务的研发工作。目前,我专注于移动反欺诈解决方案的研发。针对公司业务需求,我开发了一个实时流计算系统,并在此基础上完成了风控系统的研发。最终,这个系统被一个独角兽收购。最近这两年,越来越多的业务和数据分析对实时性提出更高的要求,与之对应解决实时计算问题的流计算框架,也开始流行起来。因为工作原因,常有人问我有关实时流计算系统的问题。整体观察下来我发现:很多时候,他们并非不知道这些框架 ,也并非不熟悉这些框架的

fegus的博客 3573

常见信号逻辑电平标准介绍:TTL、CMOS、ECL、LVDS、CML

逻辑电平是指数字信号电压的高、低电平,相关参数定义如下:(1)输入高电平门限Vih:保证逻辑门的输入为高电平时所允许的最小输入高电平,当输入电平高于Vih时,则认为输入电平为高电平;(2)输入低电平门限Vil:保证逻辑门的输入为低电平时所允许的最大输入低电平,当输入电平低于Vil时,则认为输入电平为低电平;(3)输出高电平门限Voh:保证逻辑门的输出为高电平时的输出电平的最小值,逻辑门的输出为高电平时的电平值都必须大于此Voh;

liuchj的博客 1万+

实现自己的AI视频监控系统-第一章-视频拉流与解码4(重点)

使用本章节代码请引用此优快云链接,尊重知识、尊重他人劳动。这一小节将正式进入代码实现部分。我们会结合实际业务需要和拉流解码流程实现一个灵活、轻便、易用的视频拉流解码模块,支持多路视频拉流解码且可以动态更新更新内部参数。在开始设计之初,我们首先考虑的是使用大家所熟知的 **OpenCV(cv2.VideoCapture)**来实现拉流和解码功能。它的 API 简单直接,几行代码就能实现从网络流中读取帧,对于快速原型验证来说非常方便。然而,在经过深入的调研和测试后,我们发现 OpenCV 在处理多路视频流、追

soulproficiency的博客 2269

玩转大数据6:实时数据处理与流式计算

实时数据处理是指对数据进行的处理速度与数据生成速度基本一致的数据处理方式。它具有高实时性,通常要求处理速度与数据生成速度保持一致,以便对数据进行实时分析和决策。而流式计算则是一种计算模型,它将数据视为流式数据,并对其进行实时处理。流式计算具有实时性、连续性和弹性等特点。它可以对不断生成的数据进行实时处理和分析,提供即时反馈,并可以根据需求动态调整计算资源。

沛哥儿的专栏 3472

Android wifi源码分析(二) Wifi关闭流程

接着上一篇,这篇说一下Wifi的关闭流程。 由上一篇可以知道,framework层提供的wifi开关接口都是**setWifiEnabled**,只是参数不同而已。*true*表示开启wifi、*false*表示关闭wifi。

奋斗的菜鸟ing 3300

一文读懂大数据实时计算(好文收藏)

本文分为四个章节介绍实时计算,第一节介绍实时计算出现的原因及概念;第二节介绍实时计算的应用场景;第三节介绍实时计算常见的架构;第四节是实时数仓解决方案。

很多时候犯错都是在不知情的情况下发生的 1043

【数据分析】宏基因组alpha和beta多样性分析和差异物种筛选案例

本教程为读者呈现了宏基因组α和β多样性分析的完整案例。通过实际数据和详细步骤,读者可以深入理解这两种分析方法及其在R语言中的实现过程。教程中不仅提供了清晰的代码示例,还对每一步骤进行了详细解释,使读者能够轻松跟随并掌握分析技巧。无论是初学者还是有一定基础的研究者,都能通过本教程快速上手宏基因组多样性分析,为微生物组学研究提供有力支持。

专注生信领域 2224

SAP Word 模板与 ABAP XML 数据流合并机制深度解析

Office Open XML 标准把一个.docx拆分成多个部件(document.xml、customXml\item1.xml 等),天然支持命名空间与 XPath;Word 在渲染时,会扫描<w:sdt>(结构化文档标签)与来确定绑定关系;在 ABAP 端,通过简单字符串替换与 XSLT 变换即可完成数据灌入,无需 COM Automation,安全且易于调试。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 373

进击大数据系列(九)Hadoop 实时计算流计算引擎 Flink

点击下方名片,设为星标!回复“1024”获取2TB学习资源!前面介绍了Hadoop 架构基石 HDFS、统一资源管理和调度平台 YARN、分布式计算框架 MapReduce、数据仓库 Hive、计算引擎 Spark等相关的知识点,今天我将详细的为大家介绍 大数据 Hadoop 实时计算流计算引擎 Flink技术相关的知识点,希望大家能够从中收获多多!如有帮助,请点在看、转发支持一波!!!大数据...

民工哥的博客 1578

VisionPro 机器视觉案例 之 彩色保险丝个数统计

CogColorSegmenterTool CogColorMatchTool

机器视觉李小白的博客 2353

Apache Flink,流计算?不仅仅是流计算!

阿里妹导读:2018年12月下旬,由阿里巴巴集团主办的Flink Forward China在北京国家会议中心举行。Flink Forward是由Apache软件基金会授...

阿里技术 1424

【Segment Anything Model】三:SAM模型微调自定义数据集,更改混合提示方式:点,框,点框混合

1.微调SAM预备知识。

cvxiayixiao的博客 1万+

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

qconbeijing2017

http://2017.qconbeijing.com/schedule 第一天 (2017年4月16日/星期日) 签到 专题 主题演讲 快速进化的容器生态 微服务与 DevOps 最佳实践(厂商共建) 微服务与实时处理架构演进(厂商共建) 地点 大会堂A 309B 306A 306B 出品人 ...

1157

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

COSCon’20 云原生与微服务专场,Pulsar 分享也「来势汹汹」

有一幅曾经传播很广的漫画,大意是:软件吞噬世界,开源吞噬软件。后来这个漫画又被人加了两条鱼:云计算吞噬开源,以及云原生吞噬云计算。在我看来,这其实是在玩某种文字游戏,如何定义吞噬(Eat...

Apache Pulsar 634

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

20 位行业专家共话选型经验,优快云「选型智囊团高端研讨会」圆满落幕!

为帮助每位IT管理者与决策者全面的了解企业相关技术、产品与解决方案,扫除技术与产品选型难题。2020年6月3日,优快云联合20位行业专家组成的选型智囊团,在云服务、BI大数据、协同办公...

优快云资讯 3025

易立:从实践积累到需求沉淀,容器技术必将引领主流

10月11-14日,为期四天的2017杭州云栖大会(门票火热抢购中!)将再度在杭州云栖小镇起航,作为全球最具影响力的科技展会之一,本届大会将有不少阿里集团专家以及各企业行业领袖的精彩演讲,优快云授权转载了云栖大会嘉宾的专访内容。本期我们采访的是阿里云资深技术专家易立,他将在10月的云栖大会上分享容器技术的现状解读、生态建设及应用落地。容器技术是目前云计算领域最受关注的方向之一。阿里云在2015年...

well_2000_82的博客 322

阿里资深专家打造从零开始学架构,阿里内部技术栈。

阿里巴巴是大部分程序员梦想的大厂,进阿里也不是一件容易的事,这里分享一份阿里内部PPT、从零开始学架构视频资料,Java系统性核心知识体系助你备战阿里 研发篇部分截图一览,感谢大佬们的分享,并附带一张思维导图,贡大家参考学习。 算法篇部分截图一览,直接上目录 机器算法大集合 PPT内容还有很多!涵盖阿里巴巴的全部技术栈! Java学习清单 第1阶段:扎牢基础深入底层面试我可造火箭 1、多线程与高井发 2、 深入JMM 3、 JVM调优案例实战化指.

ZzzzjQqqq的博客 435

云未来、新可能 - 绿色、无处不在、可信的计算

简介:阿里云资深技术专家、容器服务研发负责人易立在大会主论坛进行了主题为 “云未来,新可能” 的演讲,分享了阿里云基于大规模云原生实践下的技术趋势判断和技术创新进展。 2021 年 12 月 9 日至 10 日,KubeCon + CloudNativeCon + OpenSourceSummit China 2021 在线上举办。阿里云资深技术专家、容器服务研发负责人易立在大会主论坛进行了主题为 “云未来,新可能” 的演讲,分享了阿里云基于大规模云原生实践下的技术趋势判断和技术创新进展。以下为分享全文实

阿里云云栖号 1324

【阿里Java技术进阶】官方钉群直播大全(持续更新) ...

由于我们【阿里Java技术进阶】官方钉群中有粉丝私信小编,去年的直播课怎么在群中看不了了(ps:钉群可保存3个月内的直播回放),因此小编特别搜集了从2018年钉群成立到现在的所有直播内容,快快收藏起来,之后本文会持续更新哦~ 以下为【阿里Java技术进阶】钉钉群往期全部的直播内容: 云栖社区特邀专家徐雷——Java Spring Boot开发实战系列课程...

weixin_34015336的博客 519

基于 Flink 的实时数仓生产实践

数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战。在智能商业中,数据的结果代表了用户反馈、获取数据的及时性尤为重要。快速获取数据反馈能够帮助公司更快地做出决策,更好地进行产品迭代,实时数仓在这一过程中起到了不可替代的作用。 如何更好的建设实时数仓、有哪些优秀的生产实践经验可借鉴? 11月28-30日,Flink Forward Asia 邀请来自 Netfli...

数据库技术 504
上一篇: 数据科学家的技术栈分享:大数据高并发采集微服务引擎
下一篇: 敏捷开发的角色和职责阐述
常耀斌
常耀斌 领域专家: 后端开发技术领域 领域专家: 后端开发技术领域
博客等级 码龄8年 1812粉丝 611原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值