TopK问题性能测试记录--分而治之

最新推荐文章于 2022-06-01 06:45:00 发布

eleven027

最新推荐文章于 2022-06-01 06:45:00 发布

阅读量256

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/eleven027/article/details/83949701

本文详细介绍了如何从两亿个URL中筛选出出现次数最多的10个，包括测试准备、文件切分、统计TOP10等步骤，并提出了改进排序效率的方法。

问题描述：从两亿个URL中找出出现次数最多的10个

1.测试准备：分两次随机生成2亿个url

(1）数量：100,000,001 耗时：445,152

(2）数量：100,000,005 耗时：554,225

生成文件大小：2.88G

2.切分文件，每个文件大小：3,073K 共生成:987个文件耗时:350,204

3.各取top100 共1,579,100B

4.统计TOP10 耗时：436,832

方法各处尚待改进，尤其是排序，采用的是Collections.sort 故效率较低

不过切分开来本身就挺耗时，如果采用改进型的BloomFilter 效率或许会大大提高

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

eleven027

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

topK问题分析与实现

David的博客

09-08

2470

一，什么是topK问题？一组数据中，需要找出前k大（小）的数据二，思路分析：以前k小为例思路1：先排序再输出如果是完全有序，那么输出所求数据很简答了（需要排序，将数据完全排序）思路2：基于快排，分片，不完全排序使用快排思想，不断分片，左侧是比基准小的元素，右侧是比基准大的元素，令 index=基准元素下标 a, index<k 说明第k小元素...

Jmeter性能测试基础（八）----查询性能实战+系统性能分析基础

马小胖测试历险记

12-17

1123

一、下载Jmeter插件 https://jmeter-plugins.org/downloads/old 二、解压到以下目录三、添加---监听器，如果可以看到新增的组件，说明我们添加插件成功！四、常见组件简要介绍 jp@gc - Bytes Throughput Over Time:不同时间吞吐量展示（图表）聚合报告里，Throughput是按请求个数来展示的，比如说1.9/sec，就是每s发送1.9个请求；而这里的展示是按字节Bytes来展示的图表 jp@gc - Compo.

参与评论您还未登录，请先登录后发表或查看评论

编写干净的测试–分而治之

最佳 Java 编程

05-22

175

好的单元测试应该仅出于一个原因而失败。这意味着适当的单元测试仅测试一个逻辑概念。如果我们要编写干净的测试，则必须识别这些逻辑概念，并且每个逻辑概念仅编写一个测试用例。这篇博客文章描述了我们如何识别从测试中发现的逻辑概念，以及如何将现有的单元测试分成多个单元测试。干净还不够好让我们先看一下单元测试的源代码，该源代码确保当使用唯一的电子邮件地址和社交登录提供者创建新用户帐户...

Love 6's Private Blog

05-18

616

分而治之_编写干净的测试–分而治之

cunhu4317的博客

12-15

133

分而治之 好的单元测试应该仅出于一个原因而失败。这意味着适当的单元测试仅测试一个逻辑概念。如果我们要编写干净的测试，则必须识别这些逻辑概念，并且每个逻辑概念仅编写一个测试用例。这篇博客文章描述了我们如何识别从测试中发现的逻辑概念，以及如何将现有的单元测试分成多个单元测试。干净还不够好让我们先看一下单元测试的源代码，该源代码确保当使用唯一电子邮件地址和社交登录提供者创建新用户帐户时，...

pytorch中topk()用法的测试与个人理解

qq_42779673的博客

09-25

1411

参数介绍：直接官网的介绍topk() input：就是输入的tensor，也就是要取topk的张量 k：就是取前k个最大的值。 dim：就是在哪一维来取这k个值。 lagest：默认是true表示取前k大的值，false则表示取前k小的值 sorted：是否按照顺序输出，默认是true。 out ：可选输出张量 (Tensor, LongTensor) 直接上代码：首先研究一下dim和k这两个最重要的参数： import torch seed = 0 torch.manual_seed(see

【DE1-SoC系统调试秘籍】：故障排除与性能提升的终极指南

![【DE1-SoC系统调试秘籍】：故障排除与性能提升的终极指南]...接着探讨性能优化的方法与策略，重点介绍性能评估指标和调优工具的应用。深入分析D

GML-DDF故障排除手册：问题诊断与解决指南

[GML指数计算，注意本包指数计算基于GML-DDF，其他类型GML指数可在本人主页寻找，包售后的哦，有问题可通过优快云联系我哦](https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/...

TSDA-C11A故障排除全解析：常见问题的快速解决之道

本文全面系统地探讨了TSDA-C11A的故障排查方法，涵盖了从硬件故障分析到软件调试，再到系统级问题解决的全流程。首先，对TSDA-C11A的硬件组成部分及其可能发生的故障进行了深入的探讨和分析，并介绍了先进故障诊断...

SAMCO-vm05监控与日志管理：实时监控与问题追踪的高效方法

文章首先概述了监控与日志管理的基本理论，随后深入探讨了实时监控系统的构建技术、日志管理的实践应用，以及问题追踪与故障定位的策略。此外，通过案例研究，本文展示了SAMCO-vm05的具体部署和配置，以

海量数据处理 分而治之/hash映射和堆排序

全场梦游c的博客

08-27

478

对于海量数据而言，由于无法一次性装进内存处理，导致我们不得不把海量的数据通过hash映射分割成相应的小块数据，然后再针对各个小块数据通过hash_map进行统计或其它操作。什么是hash映射？简单来说，就是为了便于计算机在有限的内存中处理big数据，我们通过一种映射散列的方式让数据均匀分布在对应的内存位置(如大数据通过取余的方式映射成小数存放在内存中，或大文件映射成多个小文件)，而这个映射...

经典面试题目——TopK问题

日常学习记录、分享，愿我们都遇见更好的自己，与诸君共勉

06-01

2426

你还记得TopK问题吗？这可是面试中常考的呀！

topk相似度性能比较（kd-tree、kd-ball、faiss、annoy、线性搜索）

luoyexuge的专栏

11-19

1万+

目前对向量topk相似度计算算法有许多，如下图：关于向量取topk相似度的应用场景很多，比如推荐系统里面使用item2vec经常离线计算好topk的相似度，搜索领域里面的query2vec使用topk相似度，word2vec领域里面的topk相似度，本文选取了几个经典的算法做性能比较，kd-tree、kd-ball、faiss、线性搜索、annoy几个算法，环境都是mac本地cpu环境，向...

海量数据相似查找系列2 -- Annoy算法

热门推荐

hero_fantao的专栏

04-19

2万+

上面一章说了下高维稀疏数据如何通过learning to hash的方法来进行相似查找，这种主要想说下另外一种情况，稠密向量如何进行快速相似查找呢？还是以文本为例吧。之前提到过文本的paragraph2vector的向量表示，以及词word2vector向量表示形式。一旦文档变成这种稠密向量形式，那如何从海量文本中快速查找出相似的Top N 文本呢? 所以这里重点想说下Annoy（Approximate Nearest Neighbors Oh Yeah）这个快速算法，这个在实际应用中发现无论计算速度和准确

topk面试题

大道朝天的博客

10-13

293

#include <iostream> #include <queue> #include <vector> #include <functional> using namespace std; vector<int> GetLeastNumber(vector<int> input, int k) { vector&...

最近邻方法和向量模型——第一部分

sinat_31628525的博客

11-27

4116

本文翻译自Annoy（高维空间向量快速计算相似性的开源工具）的作者Erik Bernhardsson写的介绍Annoy的系列博客。这是第一篇，主要介绍了向量空间模型，降维等。作者曾是Spotify的数据科学家。

面试经典的海量数据处理（TOPK）问题—转载+个人见解！

Much effort, much prosperity.

04-17

9750

常见问题： ①Top K问题：分治+Trie树/Hash_map+小顶堆。采用Hash(x)%M将原文件分割成小文件，如果小文件太大则继续Hash分割，直至可以放入内存。 ②重复问题：BitMap位图或 Bloom Filter布隆过滤器或 Hash_set集合。每个元素对应一个bit处理。 ③排序问题：外排序或 BitMap位图。分割文件+文件内排序+文件之间归并。

笔试题--TopK问题

agate_zhang的博客

07-31

930

笔试题--TopK问题 CVTE笔试题题目：本公司现在要给公司员工发波福利，在员工工作时间会提供大量的水果供员工补充营养。由于水果种类比较多，但是却又不知道哪种水果比较受欢迎，然后公司就让每个员工报告了自己最爱吃的k种水果，并且告知已经将所有员工喜欢吃的水果存储于一个数组中。然后让我们统计出所有水果出现的次数，并且求出大家最喜欢吃的前k种水果。这个题目就是典型的TopK问

topk算法实现

山月记

03-01

5343

0. 问题介绍 top k就是求解一个数字队列前k大的问题，在工作后者面试中是一个非常常见的问题，这里说明两种解法。 1.基于快排的解法 1.1 算法思路这里假设你对快排已经熟悉。我们知道快排是随机找个标识，然后用此标识进行排序。我们进行降序排序的方式，第一次进行排序后，就能获得在序列中的大小位置。如果它正好是第k大，那么它左边的数组就是题目要求的top k（当然，这是很幸运的情况，我们要讨论...