海量号码需要保存，如何才能尽可能少地占用内存？

最新推荐文章于 2025-05-10 13:58:43 发布
最新推荐文章于 2025-05-10 13:58:43 发布
阅读量853 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 面试知识点（自用） 文章标签： 场景题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Linke66/article/details/125978018
本文介绍了两种处理海量电话号码的方法：一是利用字典树来减少内存开销，尤其适合存在公共前缀的情况；二是通过分组排序，结合int型变量存储手机号的偏移，大幅降低内存占用。这两种技术在处理大数据量的手机号码时能有效提高效率并节省资源。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

方法一、字典树

  因为很多电话号码会有公共前缀，并且电话号码是由0-9的数字组成，因此可以考虑利用字典树来减少内存的开销。

方法二、分组排序

  手机号是11位，而4个字节的int型变量最多只能保存一个10位数字，因为INT_MAX - 1 = 2147483627。
  为了解决这个问题，可以对海量手机号按号头进行分组，如138开头为一组、189开头为一组（号头只有几十种），然后对每组号码进行升序排序，并将每一个手机号与所在分组最小手机号相减得到一个差值，作为偏移。
  这样的话，我们只需要记住每组最小的手机号和后面每个手机号的偏移（int型可以存储）就可以了，这样可以大大减少内存占用。

VB.NET使用保存对话框保存图片？
**My Coding Family**
10-16 768
如上问题有的来自我自身项目开发，有的收集网站，有的来自读者…如有侵权，立马删除。再者，针对此专栏中部分问题及其问题的解答思路或步骤等，存在少部分搜集于全网社区及人工智能问答等渠道，若最后实在是没能帮助到你，还望见谅！并非所有的解答都能解决每个人的问题，在此希望屏幕前的你能够给予宝贵的理解，而不是立刻指责或者抱怨！如果你有更优解，那建议你出教程写方案，一同学习！共同进步。ok，以上就是我这期的Bug修复内容啦，如果还想查找更多解决方案，你可以看看我专门收集Bug及提供解决方案的专栏。
YOLO5打包文件太大，怎么才能有效减小打包大小？
**My Coding Family**
09-09 1205
如上问题有的来自我自身项目开发，有的收集网站，有的来自读者…如有侵权，立马删除。再者，针对此专栏中部分问题及其问题的解答思路或步骤等，存在少部分搜集于全网社区及人工智能问答等渠道，若最后实在是没能帮助到你，还望见谅！并非所有的解答都能解决每个人的问题，在此希望屏幕前的你能够给予宝贵的理解，而不是立刻指责或者抱怨！如果你有更优解，那建议你出教程写方案，一同学习！共同进步。ok，以上就是我这期的Bug修复内容啦，如果还想查找更多解决方案，你可以看看我专门收集Bug及提供解决方案的专栏。
【Java如何存一亿个手机号】
樱木花卷的博客
04-05 601
111
我们是如何设计存储4亿个电话号码的
ak619的博客
07-23 1321
这些数据由一捆ZIP文件（当下是40个）提供，每个ZIP文件包含一个10M的CSV文件。这篇文章将会讲述这2.4GB压缩后的数据如何基于一些简单的方式以一种可搜索的格式适配2GB的内存。
面试题：1MB内存空间能存下100万个8位数吗,如果能,怎么储存？
keep12moving的博客
09-18 1317
存不下，8位数，至少也要是int类型了，一个8位数占四个字节，1MB=1024KB=1048576B，能存储1048576/4=262144<100万
如何存储10亿的数据
Forston的博客
03-30 2498
最近突然想到这么一个问题： 假如有<10亿的数据，每个数据不重复，同时是无序，不连续的，如何使用最小的空间来存储来这么多数据，同时又能快速的确认哪个数据有没有。 直接存储10亿个数据 一个int的类型，可以最大可以表示：2147483647，这个数大于10亿，所以可以使用一个int（4个字节）来表示一个数。 在这种情况下，需要的空间是4*10^9，大约需要4G的空间。 如果想去查找一个数据在或不在，此时需要把这么多的数据加载到内存中，分别遍历，需要O(n)的时间复杂度。 利用数组的index
1亿个手机号如何排序？
编程架构三分天下：分层、分治、分时序。
05-26 1767
文章目录问题分析步骤 问题 之前有朋友问了一个问题，说101010万个手机号怎么排序。我说101010万个太少了，读到数组中，直接排就行了。 今天突然想到一个问题，如果是1亿个手机号怎么排序呢？ 分析 先来理清一下需求： 有1亿个不重复的手机号，按行存放在一个大文件mobiles_in.txt中，要求将手机号由小到大排好序的结果输出到另一个文件mobiles_sorted.txt中。 1个手机号11位数字，再加上换行符(\r\n)，一行是13个byte，1亿个手机号的文件大小是13亿byte，大概是1.2
Halcon训练完的模型太大了，导致加载的时候耗时太长，有没有什么办法改变模型大小？使用的是deep ocr和实例分割。
**My Coding Family**
04-30 1700
🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！    备注： 部分问题/难题源自互联网，经过精心筛选和整理，结合数位十多年大厂实战经验资深大佬经验总结所得，数条可行方案供所需之人参考。
keil5运行stm32程序容易闪退，如何解决？
**My Coding Family**
05-06 1277
🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！    备注： 部分问题/难题源自互联网，经过精心筛选和整理，结合数位十多年大厂实战经验资深大佬经验总结所得，数条可行方案供所需之人参考。
FLUENT 软件中design modeler网格划分后，导出失败，如何解决？
最新发布
**My Coding Family**
05-10 866
🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！    备注： 部分问题/难题源自互联网，经过精心筛选和整理，结合数位十多年大厂实战经验资深大佬经验总结所得，数条可行方案供所需之人参考。
如何在有限的内存限制下实现数十亿级手机号码去重
09-24 1216
https://www.jianshu.com/p/b39eb55d4670 版权申明 原创文章：本博所有原创文章，欢迎转载，转载请注明出处，并联系本人取得授权。 版权邮箱地址：banquan@mrdwy.com 问题难点 文本和数据的去重是经常要用到的重要操作，普通数量的文本处理并不存在技术上的难点，可以直接在内存中高效处理，但是如果涉及到的文本量达到了数十亿级别，直接在内存中处理文本去重工作几乎变成不可实现，例如假设有个文本中包含有20亿手机号码，每个手机号码共计11位数字，int最大值只能保存
逻辑运算符，电话号码4bit压缩
hailushijie的专栏
03-15 3005
与或非，由于是直接操作二进制，因而在程序中是执行最快的语句。很多与或非可以实现很多非常巧妙的操作，在此整理一下，随时更新。 1、与或非实现信息状态的加减 package TwoCode; public class Encode { public static void main(String args[]){ Message message = new Message(Messa
C语言中的数据类型
yuanshengti的博客
04-08 379
数据类型
java经典面试题（多文件统计手机号码，通过对象封装，且需要多线程）
supertwoone的博客
09-29 493
问题描述 文件描述 问题描述 现存在三个文件来存储手机号码，通过处理将对象封装成以下形式 通过描述可以看见上述号码有如下特点：号码很多不同，有部分重复 号码通过对象封装有如下要求： 电话号码、电话号码总数、电话号码指定文件出现次数 文件读取使用字符包装类 使用多线程，每扫描一个文件就创建一个线程，在线程的处理时一定要注意并发问题，还要考虑线程运行完毕时的情况。 解题思路 首先此题存在两大问题：如何读取文件内容，如何使用多线程处理 问题一： 使用BufferedReader字符包装类，通
10亿手机号如何去重？（BitMap）
jj89929665的博客
03-17 3579
10亿手机号如何去重方案一使用数组方案二使用HashSet方案三BitMapjava.util.BitSet分桶理论 方案一使用数组 一个数组存入10亿数据，第一位手机号一定为1则忽略。 如果存储的是String类型 存储10e个 需要9.5GB左右。 如果存储的是Long类型 存储10e个 需要7.5GB左右。 进行for循环运算效率很低，内存占用很大。 方案二使用HashSet HashSet底层使用HashMap，需要记录hash值、value、key、next节点等各种各样的东西。消耗内存可想而知
java海量数据_关于java:海量数据处理-大量数据中找出最大的前10个数-Top-K-问题...
weixin_35641153的博客
02-25 318
在工作中咱们常遇到此类问题，从一个大量甚至海量的数据中取出前几个大的数。必须在海量的文章中取出点击量最大的10篇文章。此类问题其实就是Top K问题。给定一个数据(数据量海量 N)，想找到前 K 个最大的或最小的元素。eg：有10亿个Long型整数，存储在文件中，如果找出其中最大的10个？最容易想到的办法是将数据全副排序，而后在排序后的汇合中进行查找，最快的排序算法的工夫复杂度个别为O(nlogn...
MySQL数据库存储电话号码用varchar数据类型
热门推荐
唐糖棠糖的博客
01-04 4万+
int最大长度是11. 如果在建表时不指定字段int类型的长度时，系统则默认生成长度为11的字段。11也是int类型的最大长度，其中第一位表示符号+或者-，后面十位表示数字。 如果指定了长度，该字段其实也是长度为11的字段，因为只要是int类型，系统都分配了长度11位。 所以，当我们在用mysql数据库建表时如果有字段为int类型则不用指定长度了。 电话号码一般11位，所以如果用int类型存储会...
【数据库底层原理思考】在MySQL中存储11位手机号，推荐使用VARCHAR类型的考虑因素和原因
Dylaniou的博客
09-07 638
手机号虽然全部由数字组成，但是作为文本字符串处理的。用VARCHAR变长字符类型来存储手机号，可以确保足够的空间来存储可能的前缀或特殊字符，同时也考虑到了未来可能的扩展性。VARCHAR提供了更好的灵活性，如果未来手机号格式发生变化（例如增加到12位或包含特殊字符），BIGINT存储空间上可能更小占用8字节，但对于手机号码这种固定长度的数据，类型可以更好地支持索引优化，因为字符串类型的索引是针对文本数据进行优化的。VARCHAR存的是实际字符数，对于11位手机号，实际占用并不会比BIGINT大太多。
使用小内存处理海量数据问题(个人总结)
hellosrc的博客
11-03 2325
我没验证具体数值的合法性, 且没给出每个数据大概占多大字节 所以这里的2G, 并不是具体数值, 只是想说明处理海量数据时内存不足, 用常规的一次性把数据全部加载到内存是不可取的; 所以需要你用小内存去处理海量数据, 不是具体值, 但至少得远小于常规处理操作(一次性全部数据加载到内存)的所需内存 这里侧重的是海量数据处理的思想, 而不是斤斤计较数值是否合法 只有2G内存 去对100G的数据进行排序 对100G的文件, 依次读取1G, 然后快排后输出成file1文件; 循环此操作
poi大量数据导出
03-13
### 大量数据导出的最佳实践 在处理大规模 Excel 数据导出时，性能优化和资源管理尤为重要。以下是针对 Apache POI 的最佳实践以及解决方案： #### 1. 使用 SXSSF 替代 XSSFWorkbook SXSSF 是 HSSF 和 XSSF 的扩展，用于支持超大数据集的写操作。它通过限制内存中保留的工作表行数来减少内存占用。当达到指定阈值时，超出的部分会被临时存储到磁盘上[^1]。 ```java import org.apache.poi.xssf.streaming.SXSSFWorkbook; public class LargeDataExport { public static void main(String[] args) throws Exception { int rowAccessWindowSize = 100; // 控制内存中的行数 SXSSFWorkbook workbook = new SXSSFWorkbook(rowAccessWindowSize); try (workbook) { var sheet = workbook.createSheet(); for (int i = 0; i < 1_000_000; i++) { // 假设要写入一百万条记录 var row = sheet.createRow(i); for (int j = 0; j < 5; j++) { // 每行有五列数据 var cell = row.createCell(j); cell.setCellValue("Cell " + i + "," + j); } } // 将工作簿保存至文件 try (var outputStream = new FileOutputStream("large-data.xlsx")) { workbook.write(outputStream); } } finally { workbook.dispose(); // 清理临时文件 } } } ``` 上述代码展示了如何利用 `SXSSFWorkbook` 实现高效的大量数据导出，同时控制内存消耗。 --- #### 2. 避免同步阻塞式导出 传统方式通常采用前端发起请求并等待服务器完成整个导出过程后再返回结果。这种方式可能导致长时间等待甚至连接中断[^2]。推荐改用异步模式或分批下载策略： - **异步任务队列**：将导出任务提交给后台线程池执行，并向客户端返回一个唯一标识符（Task ID）。用户可以通过轮询接口查询进度或者接收通知。 - **分页加载**：如果单次导出的数据量过大，则可以考虑将其划分为多个子集合分别生成独立的小型文件供用户逐一下载。 --- #### 3. 流式读取与写入 对于需要先从数据库或其他源头获取海量原始资料然后再组装成最终报表的情况来说，应该尽可能采取流的方式来进行传输而不是一次性全部载入内存之中。例如借助 JDBC ResultSet 的滚动特性逐笔提取记录；又或者是像提到过的那样运用专门设计用来应对这种情况下的第三方库——excel-streaming-reader 来解析输入源从而减轻负担[^3]。 --- #### 4. 调整 JVM 参数 适当调整 Java 应用程序启动参数也可以帮助缓解因高负载引起的 OOM 错误现象发生几率。比如增加堆大小(-Xmx)，启用 G1GC 收集器等措施均有助于提升整体表现效果。 --- ### 结论 综上所述，在实际项目开发过程中遇到类似需求时应当综合考量各方面因素选取最适合当前环境条件下的技术手段加以解决。优先选用官方提供的高效组件如 SXSSF 并辅以合理的架构设计方案才能真正意义上达成既定目标即快速稳定地完成大批量电子表格文档创建作业的同时又能有效管控硬件资源配置状况不至于造成浪费亦或是崩溃事故频发的局面出现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值