算法与数据结构——算法题 102：1000亿条记录中查询内容（腾讯笔试题） ？ 待解决

最新推荐文章于 2021-11-13 16:41:28 发布
原创 最新推荐文章于 2021-11-13 16:41:28 发布 · 686 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据结构 #算法

本文探讨了如何设计一个能够高效处理1000亿条记录的查询系统，该系统支持根据URL或IP地址及精确到分钟的时间段进行访问次数统计。

题目：有1000亿条记录，每条记录由url,ip,时间组成，设计一个系统能够快速查询以下内容：
1、给定url和时间段（精确到分钟）统计url的访问次数
2、给定ip和时间段（精确到分钟）统计ip的访问次数

思路：

相关业务问题+系统问题+设计问题整理统计
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
04-07 171万+
业务系统及其他相关面试问题整理：线上相关问题排查+高并发系统的限流+高并发秒杀系统设计+负载均衡+一个网站有 20 亿 url 存在一个黑名单中，这个黑名单要怎么存？若此时随便输入一个 url，你如何快速判断该 url 是否在这个黑名单中？并且需在给定内存空间（比如：500M）内快速判断出？
大数据开发面试题总结-超详细
JohnnyChu的博客
11-18 1万+
1、文件上传： 总结： 客户端上传请求--->namenode检查，返回响应--->客户端真正的文件上传请求，包括文件名，文件大小--->namenode返回上传节点--->客户端准备上传，进行块的逻辑切分--->客户端构建pipline流--->开始上传，先上传到缓存中，再上传到磁盘--->上传完成，关闭pipline流--->上...
有1000亿条记录，每条记录由url,ip,时间组成，设计一个系统能够快速查询以下内容（程序设计题）
chengonghao的博客
07-15 3625
有1000亿条记录，每条记录由url,ip,时间组成，设计一个系统能够快速查询以下内容 1.给定url和时间段（精确到分钟）统计url的访问次数 2.给定ip和时间段（精确到分钟）统计ip的访问次数 你的答案 添加笔记 收藏 纠错 参考答案 答：首先，1000亿条记录全部放到内存肯定不够，那就是分成小文件了
腾讯笔试题
weixin_34126215的博客
08-13 174
1、解释const的含义及实现机制const的含义及实现机制，比如：const int i,是怎么做到i只可读的？答：const用来说明所定义的变量是只读的。这些在编译期间完成，编译器可能使用常数直接替换掉对此变量的引用。 2、买200返100优惠券，实际上折扣是多少？ 到商店里买200的商品返还100优惠券（可以在本商店代替现金）。请问实际上折扣是多少？答：由于优惠券可以代替现金，所以可以使...
如何记录应用的接口访问信息(调用次数，最长时间、最短时间、平均时间等等)
热门推荐
若鱼的专栏
09-26 2万+
已经重写了，代码在这：https://github.com/xjs1919/ezprofiler，主要使用以下方式实现： （1）通过实现BeanPostProcessor，做Controller扫描 （2）通过EnableProfiler这个注解，加载内部的Controller （3）通过自定义HandlerMapping，添加对内部Controller的访问 使用起来很简单，只需要3步：......
机器学习算法工程师--刷题1000题
Talk is cheap, show me the code!
10-07 2752
本文主要收集所有机器学习相关测试题，并且对其中的知识解释，包括知识查找链接、实现代码，方便使用，通过刷题巩固知识框架，和大家共同努力！
海量数据处理——十道海量数据处理面试题与十个方法大总结
qxc10086的博客
08-23 532
第一部分、十道海量数据处理面试题 　　1、海量日志数据，提取出某日访问百度次数最多的那个IP。 　　此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。 　　再详细介绍下此方案：首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个
《微软等数据结构+算法面试100题》自娱自解（完结）
lzc52151的专栏
03-03 5480
这段日子工作不忙，心情也不错，为了娱乐和干点什么，把网上的一篇贴《微软等数据结构+算法面试100题》做了一遍。感觉不错，大部分是比较基础。除了个别语法题由于对该语言不熟无法下手之外，其余的连查带想地全部搞定！边做的同时也做了些记录工作，大都是写出了思路或算法。觉得个别有必要编码验证的也实验了，当然，有一部分是编码验证计划中的，回来有时间慢慢完成。此刻，想起前辈的句话：先了解一些XXX、掌握XXX等知识，一般的题就不在话下了。什么叫一般的题？这些算吗？虽然略有些小成就感，但自知对某些知识掌握还是不透。有时瞪大
备战腾讯2012校园招聘（内含笔试题目和面经）
07-12
以上内容涵盖了从腾讯公司简介、2012年校园招聘的细节、企业文化与价值观、职业发展与薪酬待遇，到具体的笔试题目和面试经验等方面的信息，旨在帮助即将参加腾讯校园招聘的学生们更好地准备和应对挑战。
计算机算法复习及试题（含答案）
01-05
算法是指解决问题的一种方法或一个过程。 算法是若干指令的有穷序列，满足性质： (1)输入：有外部提供的量作为算法的输入。(2)输出：算法产生至少一个量作为输出。 (3)确定性：组成算法的每条指令是清晰，无歧义的。 (4)有限性：算法中每条指令的执行次数是有限的，执行每条指令的时间也是有限的。 程序是算法用某种程序设计语言的具体实现。程序可以不满足算法的性质(4)。 分治法的设计思想是，将一个难以直接解决的大问题，分割成一些规模较小的相同问题，以便各个击破，分而治之。 直接或间接地调用自身的算法称为递归算法。用函数自身给出定义的函数称为递归函数。 1.阶乘函数 阶乘函数可递归地定义为： 边界条件 递归方程 边界条件与递归方程是递归函数的二个要素
如何在千亿行规模的表中快速检索数据
阿里云开发者
06-10 1401
简介：背景自从五十年前关系型数据模型被发明出来后，凭借优秀的表达能力和清晰易懂的特性让其很快在数据库市场中崭露头角，迅速占领市场，成为各行各业的主流数据存储系统。在这五十年内，数据库架构、表达方式、存储结构、优化器等方面都有了长足的发展，但是索引结构的发展相对缓慢了一些，更多的发展是基于现有的索引基础去优化查询优化器。发展了三十年后进入互联网和移动互联网时代，数据规模呈爆发式增长，随即产生了非关系型数据背景自从五十年前关系型数据模型被发明出来后，凭借优秀的表达能力和清晰易懂的特性让其很快在数据库市场中崭露头
算法作业_33(2017.6.16第十七周)(算法机考模拟题1)
weixin_36308821的博客
06-13 589
1000. 函数求值 Description 定义超级和函数F如下： F(0, n) = n，对于所有的正整数n.. F(k, n) = F(k – 1, 1) + F(k – 1, 2) + … + F(k – 1, n)，对于所有的正整数k和n.   请实现下面Solution类中计算F(k, n)的函数（1   class Solution { public:
算法基础问答1000例（持续更新）
u012077670的博客
09-07 495
1. 什么是java的字节代码答：它是一种低级表示，可以运行于java的虚拟机。将程序抽象为字节码可以保证java程序员的代码能够运行到各种设备上。2.java允许整型溢出并返回错误值的做法是错误的，难道java不应该自动检查溢出吗？答：简单的回答。它们之所以被称为原始数据类型就是应为缺乏此类检查。避免此类问题并不需要很高深的知识。我们会使用int类型表示较小的数（小于10个十进制位），而使用lon
刷了 1000 多道算法题，一点心得
努力做最接地气的编程干货分享，感谢关注
05-10 3402
大家好，我是鱼皮，今天分享一下自己刷算法题目的经验。 程序员为啥要刷算法？ 因为 “卷啊”！ 开个玩笑，其实，算法题目已经成为了公司筛人的一种方式，大厂的每一轮面试基本都会有几道算法题，甚至有的公司笔试全部都是算法题。其他题目答的都差不多，那你算法题做不出来，可能就被淘汰了。 所以为啥要刷算法题呢？一方面是帮助你学习和理解算法，但另一方面也是像背公式、背八股文一样，增加你面试时碰到原题的概率。我刷了 1000 多道题嘛，不夸张的说，在面试的时候 80% 的算法题都是原题。 当然，每个人学算法、刷题的目标是不
算法面试题之求前1000大&在树上判断节点父子关系
qxAi的博客
01-13 2086
一、有10亿个杂乱无章的数，怎样最快地求出其中前1000大的数。 想答对这个题是非常简单的，建立一个大小为1000的小根堆就可以了。这个堆满足两个性质： 1.堆中的元素个数总是小于等于1000的 2.堆顶取出的元素总是这个堆里面最小的那一个 这样，这个题可以这样做： priority_queue q; while (cin>>n) { n=-n; //c++中默认优先队列是一个大根堆，
程序员面试金典-----给定100亿个网址，找出重复的URL
g1607058603的专栏
08-18 3495
1、题目描述 给定100亿个网址，如何检测出重复的文件？这里所谓的“重复”是指两个URL完全相同。 2、思路 100亿个网址（URL）要占用多少空间呢？如果每个网址平均长度为100个字符，每个字符要占用4字节，则这份100亿个网址的列表将占用约4兆兆字节（4TB）。在内存中可能放不下那么多数据。 不过，不防假装一下，这些数据真的奇迹般的放进了内存，毕竟先求解简化的题目是很有用的做法。对于此...
试题 算法训练 求1000以内的完数
wnamej的博客
04-26 431
问题描述 　　如果一个数恰好等于它的所有因子（包括1但不包括自身）之和，则称之为“完数”。例如6的因子是1，2，3，且6=1+2+3，因此6是完数。编写程序找出1000之内的所有完数。注意1不是完数。 输入格式 　　无 输出格式 　　如有多个完数，则分行输出，每行输出一个完数。（注意，不要输出其他任何多余字符） 资源限制 时间限制：1.0s 内存限制：256.0MB 代码块： public c...
编程实现按日期统计访问次数
qq_59947103的博客
11-13 2482
1.将日期统计的user_logn.txt文本准备好。 user_logn.txt文本： Nehru,2016-01-01 Dane,2016-01-01 Walter,2016-01-01 Gloria,2016-01-01 Clarke,2016-01-01 Madeline,2016-01-01 Kevyn,2016-01-01 Rebecca,2016-01-01 Calista,2016-01-01 Lana,2016-01-01 Phoebe,2016-01-01 Clayton,201..
世界500强面试题精华：算法与数据结构
本资源是一份包含多组面试题的PDF文档，涵盖了各种IT领域的基础知识和技术挑战，主要集中在算法设计、数据结构、数学逻辑、编程技巧等方面。以下是部分内容的详细解读： 1. **数据结构与算法**： - 面试题涉及了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值