- 博客(20)
- 收藏
- 关注
RSS订阅原创 论文阅读笔记：BurstSketch Finding Bursts in Data Streams
Burst是数据流中的一种常见模式，其特征是到达率(arrival rate)突然增加，然后突然下降。Burst detection已经引起了研究界的广泛关注。在本文中，我们提出了一种新的sketch，即BurstSketch，以准确地实时检测butst。BurstSketch首先使用Running Track技术高效地选择潜在bursts项目，然后使用snapshotting技术对潜在burst项目进行监控并捕捉burst模式的关键特征。
2023-09-21 15:52:07
468
1
原创 论文阅读笔记-BitSense Universal and Nearly Zero-Error Optimization for Sketch Counters with Compressive
存在问题：1) 由于sketch计数器向低值倾斜(skewed towards low values)，大多数计数器中的较高位仍然为零。如此大量的未使用比特损害了sketch算法所看重的空间效率。2) 不幸的是，缓解这个问题的努力要么适用于特定的算法(specific algorithm)，要么会损害准确性。提出方案：设计了一种新的优化框架BitSense，它集成了现有的sketch算法。关键思想。
2023-09-17 16:33:02
417
1
原创 论文阅读笔记-HeavyKeeper- An Accurate Algorithm for Finding Top-k Elephant Flows
寻找top-k大象流是网络流量测量中的关键任务，在拥塞控制（congestion control)、异常检测(anomaly detection)和流量工程(traffic engineering)中有着广泛的应用。随着网络中线路速率的不断提高，设计准确、快速的大象流在线识别算法变得越来越具有挑战性。以前算法限制：在大的流量(heavy traffic)和小的片上存储器的约束下，现有的算法在实现精度方面受到严重限制。
2023-09-12 18:43:12
615
1
原创 37-论文阅读笔记：Diamond Sketch Accurate Per-flow Measurement for Big Streaming Data
论文阅读笔记：Diamond Sketch: Accurate Per-flow Measurement for Big Streaming Data目录论文阅读笔记：Diamond Sketch: Accurate Per-flow Measurement for Big Streaming DataAbstractIntroduction1.1 背景和动机1.2 提出的方法1.3 关键贡献2. 相关工作3. The Diamond Sketch3.1 基本原理3.2 数据结构3.3 插入3.4 删除3
2023-09-12 18:34:18
284
1
原创 书籍笔记-Traffic Measurement for Big Network Data
即使降低了探测速率(probing rate)，经过足够的时间后，扫描器(scanner)也可以发现存在漏洞的系统。机构网关(institutional gateway)可以通过跟踪每个web内容的出站web请求(outbound wet requests for each web content)数量来确定缓存优先级(caching priority)的外部web内容(external web content)的受欢迎程度，其中来自不同用户对公共URL的所有请求形成一个流(a flow)。
2023-08-03 18:20:54
167
原创 论文阅读笔记：Sliding Sketches- A Framework using Time Zones for Data Stream Processing in Sliding Windows
由于大数据时代的到来，数据流处理(Data stream processing)在近年来已经成为一个热点话题。成员查询(membership query)、频率查询(frequency query)、heavy hitter查询(heavy hitter query)。在滑动窗口(sliding windows)中回答这些查询。虽然大多数现有的解决方案通过使用不同的算法来处理不同类型的查询，但本文关注的是一个通用框架(generic framework)。方案：在本文中，我们提出了一个通用框架，即。
2023-07-30 11:03:13
389
1
原创 第十讲 抽样方法概述
随着信息技术和互联网技术飞速发展，数据获取方式变得多样化，大数据随之产生。大数据共同特征：数据量庞大，不断递增；数据当中由重要的特征或趋势；对于如何更好的搜寻，总结它们，我们没有明确的答案。 大量具有相同特征的数据集构成数据流。指的是相同的源目的IP地址、源目的端口号和协议字段的集合体。：某些IP报头字段中的值的组合。：1）根据四元组进行数据流的分类。2）可以通过哈希函数的方法，分类以后可以进行数据分组总数，总字节数的统计，持续时间统计等。
2023-07-20 21:41:24
604
1
原创 Sketch测量方法
Sketch是一类被广泛应用在网络测量领域的概率数据结构，用于记录多集合或流中元素的频率或估计其基数，且Sketch通常比输入的大小要小很多。基于Sketch的测量属于被动测量通常不发送任何探测包，也不会对网络造成额外开销，Sketch使用概要对感兴趣的信息进行有效的存储和检索，从而实现对活跃流的存在及体积信息的记录。
2023-07-20 11:26:49
1081
1
原创 Bloom Filter测量方法
Bloom Filter是一种概率数据结构，它简单高效、具有随机性，且具有一定的误差，支持成员资格查询。初始状态时，Bloom filter是一个包含m位的数组，每一位都置为0，为了表达Sx1x2xn这样一个n个元素的集合，Bloom Filter使用k个相互独立的Hash函数，它们分别将集合中的每个元素映射到1m的范围中。 插入：对任意一个元素x，第j个哈希函数映射到向量V的位置Hjx就会被置为11≤j≤k。
2023-07-19 19:40:40
89
原创 Bitmap测量方法
：基于“位”的映射，使用一个bit位来标记某个元素对应的value，key是元素，通过1个位表示一个数，0表示不存在，1表示存在。 上图写错了，应该是计算9/8 = 1，9 mod 8 = 1，求得9对应b[1]的第一个位置。
2023-07-19 19:36:20
185
原创 网络测量中数据流方法概述
数据流的概念最早出现在通信领域，指通信传输过程中，所对应信息的“数字编码信号序列”。引入计算机领域后，数据流(Data Stream)代表以非常高的速度到来的输入数据，它强调通信和计算基础设施较难传输、计算和存储。网络数据流(Network Data Stream)为一个时间区间内顺序到达的报文序列，一个“源”有报文头的一个或多个源字段构成，如：源IP地址、源端口、源IP地址和源端口的二元组；类似的，一个目的由一个或多个目的字段构成。
2023-07-18 08:39:01
404
1
原创 论文阅读笔记：Augmented Sketch- Faster and More Accurate Stream Processing
近似算法(Approximated algorithm) 通常用于估计大容量(high volume)、快速数据流上项目的频率。存在问题：最常用的是Count-Min sketch变种，使用次线性空间进行计数，但可能在最频繁的项目计数中产生错误，并可能对低频项目进行错误分类。我们方案：我们通过提高最频繁项目的频率估计精度和减少低频项目可能的误分类来提高基于sketch的算法的准确性，同时也提高了总体吞吐量。解决方案。
2023-07-18 08:26:03
367
1
原创 win10快捷键大全
win10快捷键空格键和下箭头有往下翻页的作用，空格键尤其好用，shift+空格向上翻页win+r运行，打开cmd,regeditwin+l锁定电脑win+d, win+m快速显示桌面将常用应用程序固定在任务栏，win+1, win+2, win+3很快调用win+x调出右下角任务栏的快捷菜单alt+tab切换窗口，其中alt要长按，利用tab选择窗口。同时快速按下alt+tab在目前打开的两个窗口之间切换win+tab窗口切换，会给一个窗口的列表进行选择win+空格 切换输入法tab
2023-07-06 15:29:26
258
1
原创 论文阅读笔记：Cold Filter A Meta-Framework for Faster and More Accurate Stream Processing
近似流处理算法(Approximate stream processing algorithm)，例如：Count-min sketch、Space-Saving 在数据库、存储系统、网络中又很多应用。存在问题：真实数据流的不均衡分布(unbalanced distribution)对现存算法提出很大挑战。目的：为了增强这些算法，提出了一个元框架(meta-framework)，叫做Cold Filter(CF)，可以实现更快、更准确的流处理。核心思想。
2023-07-06 11:53:52
549
1
原创 论文阅读笔记：Pyramid Sketch a Sketch Framework for Frequency Estimation of Data Streams
sketch是一种概率数据结构，常用来存储和查询任意项目的频率(frequency)，由于具有高内存效率，应用于流数据库(stream database)、网络流量测量(network traffic measurement)。准确性(accuracy)、速度(speed)和内存使用(memory usage)。存在问题:现存sketch无法在有限的内存下同时实现高精度和高速，特别是对于倾斜的数据集(skewed datasets)。提出方案。
2023-06-30 10:27:02
392
原创 论文阅读笔记：A survey of sketches in traffic measurement Design, Optimization, Application
这篇文章从网络测量的整个完整过程进行介绍，主要包括：网络测量的准备环节(监控器位置、流量重定向、流分布)、测量数据准备(流量采样、随机化处理、批处理)、sketch结构优化(传统基于哈希的结构、基于学习的映射、计数器层的优化、sketch层的优化)、后处理级别的优化(sketch压缩、sketch合并、信息提取、流键可逆、基于概率理论、机器学习)、应用和实现(13种测量任务、硬件和软件实现)，每个过程中涉及到sketch结构的变种，覆盖多于90种sketch设计。 由于网络流的。
2023-06-14 13:42:25
821
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人