- 博客(6)
- 资源 (7)
- 收藏
- 关注
原创 Flink 广播变量
Flink 广播变量广播变量简介适用范围需求示例数据输出结果实现 广播变量简介 在Flink中,同一个算子可能存在若干个不同的并行实例,计算过程可能不在同一个Slot中进行,不同算子之间更是如此,因此不同算子的计算数据之间不能像Java数组之间一样互相访问,而广播变量Broadcast便是解决这种情况的。 我们可以把广播变量理解为是一个公共的共享变量,我们可以把一个dataset 数据集广播出去,然后不同的task在节点上都能够获取到,这个数据在每个节点上只会存在一份 适用范围 由于广播出去的变量存在于每个
2020-11-13 14:56:56
303
原创 Kafka Sender线程运行过程
Kafka Sender线程运行初探 步骤一 1、获取元数据据 步骤二 2、判断哪些partition有消息可以发送 3、判断partition下的这些批次可以发送出去的条件 4、根据元数据信息获取到这个partition的leader partition对应的broker主机 5、哪些broker需要发送消息 步骤三 1、标识还没有拉取到元数据的topic 步骤四 检查与要发送数据主机的网络是否已经建立好。 步骤五 需要发送的partition会有很多个,一些partition的leader partit
2020-07-30 11:31:27
2182
1
原创 图解Kafka源码(3)
@TOC 图解Kafka内存设计 好久没写技术博客了,今天重新捡起来。本节主要介绍Kafka的内存设计 内存池设计 如上图所示,Kafka为了减少Full GC发生的概率,专门设计了BufferPool这个内存池对象,提高内存的使用效率,减少内存回收次数。整个内存池的大小为32M。内存池包含两个了队列,空内存队列和等待内存队列。申请内存的时,如果空内存队列有内存块并且申请内存的大小等于PoolableSize(16K)时,则提取第一个内存块给申请者使用。否者判断可用内存和空内存队列内存两者之和的大小是否满
2020-07-29 11:31:35
452
转载 大数据概念
大数据(big data),是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。 现在正是学习大
2015-11-10 10:10:08
442
原创 Linq loadwith
<br /><br />Use the LoadWith method to specify which data related to your main target should be retrieved at the same time. For example, if you know you will need information about customers' orders, you can use LoadWith to make sure the order information
2011-04-27 23:06:00
432
原创 SilverLight Canvas is not support in wpf 的问题解决方法
关于SilverLight 2.0 SDK 运行SilverLight1.0 SDK 写的XAML 中出现SCanvas is not support in wpf 的问题解决方法将xaml中 http://schemas.microsoft.com/client/2007"改成 http://schemas.microsoft.com/winfx/2006/xaml/presentati
2008-08-28 11:34:00
385
Manning.ASP.NET.AJAX.in.Action.Aug.2007
2008-11-25
CNN与反向传播
2018-02-02
Inside Microsoft SQL Server 2005 - The Storage Engine
2008-11-25
EXT2.0(chm)手册
2008-11-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅