TopK问题性能测试记录--分而治之

最新推荐文章于 2022-06-01 06:45:00 发布
原创 最新推荐文章于 2022-06-01 06:45:00 发布 · 256 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何从两亿个URL中筛选出出现次数最多的10个，包括测试准备、文件切分、统计TOP10等步骤，并提出了改进排序效率的方法。

问题描述：从两亿个URL中找出出现次数最多的10个

1.测试准备：分两次随机生成2亿个url  

(1）数量：100,000,001   耗时：445,152

(2）数量：100,000,005   耗时：554,225

生成文件大小：2.88G

2.切分文件，每个文件大小：3,073K  共生成:987个文件    耗时:350,204

3.各取top100  共1,579,100B

4.统计TOP10   耗时：436,832

 

方法各处尚待改进，尤其是排序，采用的是Collections.sort  故效率较低

 

不过切分开来本身就挺耗时，如果采用改进型的BloomFilter  效率或许会大大提高

 

eleven027
关注
topK问题分析与实现
David的博客
09-08 2470
一，什么是topK问题？ 一组数据中，需要找出前k大（小）的数据 二，思路分析：以前k小为例 思路1：先排序再输出 如果是完全有序，那么输出所求数据很简答了（需要排序，将数据完全排序） 思路2：基于快排，分片，不完全排序 使用快排思想，不断分片，左侧是比基准小的元素，右侧是比基准大的元素， 令 index=基准元素下标 a, index<k 说明第k小元素...
Jmeter性能测试基础（八）----查询性能实战+系统性能分析基础
马小胖测试历险记
12-17 1123
一、下载Jmeter插件 https://jmeter-plugins.org/downloads/old 二、解压到以下目录 三、添加---监听器，如果可以看到新增的组件，说明我们添加插件成功！ 四、常见组件简要介绍 jp@gc - Bytes Throughput Over Time:不同时间吞吐量展示（图表） 聚合报告里，Throughput是按请求个数来展示的，比如说1.9/sec，就是每s发送1.9个请求；而这里的展示是按字节Bytes来展示的图表 jp@gc - Compo.
编写干净的测试–分而治之
最佳 Java 编程
05-22 175
好的单元测试应该仅出于一个原因而失败。 这意味着适当的单元测试仅测试一个逻辑概念。 如果我们要编写干净的测试，则必须识别这些逻辑概念，并且每个逻辑概念仅编写一个测试用例。 这篇博客文章描述了我们如何识别从测试中发现的逻辑概念，以及如何将现有的单元测试分成多个单元测试。 干净还不够好 让我们先看一下单元测试的源代码，该源代码确保当使用唯一的电子邮件地址和社交登录提供者创建新用户帐户...
海量数据相关面试问题（二）：海量数据热点数据/出现频度/TOP-K问题（TOP-K 分而治之/Hash映射 / Hashmap统计频度 / 堆排序决出排名）
Love 6's Private Blog
05-18 616
文章目录前引海量数据相关面试问题（二）：海量数据热点数据/出现频度/TOP-K问题（TOP-K Hash映射分而治之 / Hashmap统计频度 / 堆排序决出排名）1、通用数据频度/热点数据 解决办法1、分而治之/Hash映射2、Hashmap 统计频度 / 最小堆 进行数据排名2、海量数据数据频度相关面试题1、(360公司 2012) 100万条记录的文本文件，取出重复数最多的前10条。2、(360公司 2012) 100亿条记录的文本文件，取出重复数最多的前10条。3、(腾讯公司 2011) 服务器内
分而治之_编写干净的测试–分而治之
cunhu4317的博客
12-15 133
分而治之 好的单元测试应该仅出于一个原因而失败。 这意味着适当的单元测试仅测试一个逻辑概念。 如果我们要编写干净的测试，则必须识别这些逻辑概念，并且每个逻辑概念仅编写一个测试用例。 这篇博客文章描述了我们如何识别从测试中发现的逻辑概念，以及如何将现有的单元测试分成多个单元测试。 干净还不够好 让我们先看一下单元测试的源代码，该源代码确保当使用唯一电子邮件地址和社交登录提供者创建新用户帐户时，...
pytorch中topk()用法的测试与个人理解
qq_42779673的博客
09-25 1411
参数介绍： 直接官网的介绍topk() input：就是输入的tensor，也就是要取topk的张量 k：就是取前k个最大的值。 dim：就是在哪一维来取这k个值。 lagest：默认是true表示取前k大的值，false则表示取前k小的值 sorted：是否按照顺序输出，默认是true。 out ： 可选输出张量 (Tensor, LongTensor) 直接上代码： 首先研究一下dim和k这两个最重要的参数： import torch seed = 0 torch.manual_seed(see
【DE1-SoC系统调试秘籍】：故障排除与性能提升的终极指南
![【DE1-SoC系统调试秘籍】：故障排除与性能提升的终极指南]...接着探讨性能优化的方法与策略，重点介绍性能评估指标和调优工具的应用。深入分析D
GML-DDF故障排除手册：问题诊断与解决指南
[GML指数计算，注意本包指数计算基于GML-DDF，其他类型GML指数可在本人主页寻找，包售后的哦，有问题可通过优快云联系我哦](https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/...
TSDA-C11A故障排除全解析：常见问题的快速解决之道
本文全面系统地探讨了TSDA-C11A的故障排查方法，涵盖了从硬件故障分析到软件调试，再到系统级问题解决的全流程。首先，对TSDA-C11A的硬件组成部分及其可能发生的故障进行了深入的探讨和分析，并介绍了先进故障诊断...
SAMCO-vm05监控与日志管理：实时监控与问题追踪的高效方法
文章首先概述了监控与日志管理的基本理论，随后深入探讨了实时监控系统的构建技术、日志管理的实践应用，以及问题追踪与故障定位的策略。此外，通过案例研究，本文展示了SAMCO-vm05的具体部署和配置，以
海量数据处理 分而治之/hash映射和堆排序
全场梦游c的博客
08-27 478
对于海量数据而言，由于无法一次性装进内存处理，导致我们不得不把海量的数据通过hash映射分割成相应的小块数据，然后再针对各个小块数据通过hash_map进行统计或其它操作。 什么是hash映射？ 简单来说，就是为了便于计算机在有限的内存中处理big数据，我们通过一种映射散列的方式让数据均匀分布在对应的内存位置(如大数据通过取余的方式映射成小数存放在内存中，或大文件映射成多个小文件)，而这个映射...
经典面试题目——TopK问题
日常学习记录、分享，愿我们都遇见更好的自己，与诸君共勉
06-01 2426
你还记得TopK问题吗？这可是面试中常考的呀！
topk相似度性能比较（kd-tree、kd-ball、faiss、annoy、线性搜索）
luoyexuge的专栏
11-19 1万+
目前对向量topk相似度计算算法有许多，如下图： 关于向量取topk相似度的应用场景很多，比如推荐系统里面使用item2vec经常离线计算好topk的相似度，搜索领域里面的query2vec使用topk相似度，word2vec领域里面的topk相似度，本文选取了几个经典的算法做性能比较，kd-tree、kd-ball、faiss、线性搜索、annoy几个算法，环境都是mac本地cpu环境，向...
海量数据相似查找系列2 -- Annoy算法
热门推荐
hero_fantao的专栏
04-19 2万+
上面一章说了下高维稀疏数据如何通过learning to hash的方法来进行相似查找，这种主要想说下另外一种情况，稠密向量如何进行快速相似查找呢？还是以文本为例吧。之前提到过文本的paragraph2vector的向量表示，以及词word2vector向量表示形式。一旦文档变成这种稠密向量形式，那如何从海量文本中快速查找出相似的Top N 文本呢? 所以这里重点想说下Annoy（Approximate Nearest Neighbors Oh Yeah）这个快速算法，这个在实际应用中发现无论计算速度和准确
topk面试题
大道朝天的博客
10-13 293
#include <iostream> #include <queue> #include <vector> #include <functional> using namespace std; vector<int> GetLeastNumber(vector<int> input, int k) { vector&...
最近邻方法和向量模型——第一部分
sinat_31628525的博客
11-27 4116
本文翻译自Annoy（高维空间向量快速计算相似性的开源工具）的作者Erik Bernhardsson写的介绍Annoy的系列博客。这是第一篇，主要介绍了向量空间模型，降维等。作者曾是Spotify的数据科学家。
面试经典的海量数据处理（TOPK）问题—转载+个人见解！
Much effort, much prosperity.
04-17 9750
常见问题： ①Top K问题：分治+Trie树/Hash_map+小顶堆。采用Hash(x)%M将原文件分割成小文件，如果小文件太大则继续Hash分割，直至可以放入内存。 ②重复问题：BitMap位图 或 Bloom Filter布隆过滤器 或 Hash_set集合。每个元素对应一个bit处理。 ③排序问题：外排序 或 BitMap位图。分割文件+文件内排序+文件之间归并。
笔试题--TopK问题
agate_zhang的博客
07-31 930
笔试题--TopK问题    CVTE笔试题 题目：本公司现在要给公司员工发波福利，在员工工作时间会提供大量的水果供员工补充营养。由于水果种类比较多，但是却又不知道哪种水果比较受欢迎，然后公司就让每个员工报告了自己最爱吃的k种水果，并且告知已经将所有员工喜欢吃的水果存储于一个数组中。然后让我们统计出所有水果出现的次数，并且求出大家最喜欢吃的前k种水果。     这个题目就是典型的TopK问
topk算法实现
山月记
03-01 5343
0. 问题介绍 top k就是求解一个数字队列前k大的问题，在工作后者面试中是一个非常常见的问题，这里说明两种解法。 1.基于快排的解法 1.1 算法思路 这里假设你对快排已经熟悉。我们知道快排是随机找个标识，然后用此标识进行排序。 我们进行降序排序的方式，第一次进行排序后，就能获得在序列中的大小位置。如果它正好是第k大，那么它左边的数组就是题目要求的top k（当然，这是很幸运的情况，我们要讨论...
深入解析K-Means聚类算法及其应用
- **二分k-means**：通过分而治之的策略，将数据分成两个簇，然后逐步递归地对每个簇进行处理，直到达到所需簇的数量。 - **模糊c-means（FCM）**：在该方法中，数据点可以属于多个簇，簇的隶属度可以为非0或1的值，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值