用fopen打开2G以上大文件

最新推荐文章于 2021-06-05 12:42:07 发布
最新推荐文章于 2021-06-05 12:42:07 发布
阅读量6.6k 收藏 2
点赞数
分类专栏： Linux高级命令
本文探讨了在使用fopen处理超过2GB的大文件时遇到的问题，并提供了多种解决方案，包括使用fopen64、修改编译选项、利用内存映射等方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

    fopen打开2G以上的文件，是无法打开的，我估计是跟32Bit有关系，跟内存大小有关系。

    网上说的一些方法：

    （1）用fopen64

    （2）#undef   _FILE_OFFSET_BITS  
             #define   _FILE_OFFSET_BITS   64  
             #include   <unistd.h>  
             #include   <dirent.h>

    （3）在makefile编译选项里加上-D_FILE_OFFSET_BITS=64 -D_LARGE_FILE

    （4）用ifstream

    （5）Windows下用内存映射，ReadFileEx/WriteFileEx

linux fopen打开大于2G文件出错的解决方法 （踩了一个大坑）
嵌入式开发，欢迎交流
02-26 602
先说点题外话， 最近某模块缩容， 导致单机任务堆积， 超过了2G,  fopen就失败了。 开始怀疑是文件权限问题， 但排查后， 发现不是， 但依然找不到原因， 后来某哥敏锐地发现， 文件的值在2G左右， 于是怀疑这里有问题， 于是上网一查， 果然如此。         我不写了， 直接转载网上文章描述这个问题， 转载地址：         http://blog.163.com/qimo60...
linux fopen文件大小,关于文件系统：在C中使用fwrite时文件大小限制为2GB？
weixin_42504327的博客
05-08 1671
我有一个简短的C程序，它将写入文件，直到磁盘上没有更多空间为止：#include int main(void) {char c[] ="abcdefghij";size_t rez;FILE *f = fopen("filldisk.dat","wb");while (1) {rez = fwrite(c, 1, sizeof(c), f);if (!rez) break;}fclose(f);r...
Windows/Linux上使用fopen相关函数读取大文件
网络资源是无限的
06-05 3807
在介绍读取大文件之前，先了解下<cstdint>文件，标准头文件，存放固定宽度整数类型，如int32_t, uint32_t，不管在32位上还是64位上，长度都为4个字节；int64_t, uint64_t，不管在32位上还是64位上，长度都为4个字节。对于int,无论在32位上还是在64位上，长度都为4个字节。 对于long, long long, size_t类型，在windows和linux上会有所不同。以下是汇总： 使用fopen读取大文件相关函数声明如下：注意它们的参数类型和返
fopen打开2G以上大文件
亮眼看视界
08-02 2895
fopen打开2G以上的文件，是无法打开的，我估计是跟32Bit有关系，跟内存大小有关系。     网上说的一些方法：     （1）用fopen64     （2）#undef   _FILE_OFFSET_BITS   #define   _FILE_OFFSET_BITS   64   #include      #include       （3） 在makefile
Linux大文件使用
lsk_30514的专栏
05-18 509
支持大文件的两种方式：1、gcc 加 -D_FILE_OFFSET_BITS=64 -D_LARGE_FILE2、注意一定要定义在include之前#define _LARGEFILE_SOURCE#define _LARGEFILE64_SOURCE#define _FILE_OFFSET_BITS 64建议两种方式都加上。可以在GDB调试时打印p sizeof(off_t)
linux fopen 大文件内容,linux大文件快速读取
weixin_42299066的博客
04-28 453
8种机械键盘轴体对比本人程序员，要买一个写代码的键盘，请问红轴和茶轴怎么选？ReferenceIntro平台archlinux x86_64i7-7700HQ 8G最近需要完成课程”并行与分布式计算”的项目, 并行Dijkstra的项目编写. 问题详情如下:给定输入文件input.txt(1.8GiB), 以邻接表形式给出20001点7000w边的图. 要求给出从0到20000的最短路径. 要求...
linux fopen 大文件内容,LINUX下写大文件—fopen/fprintf，open/write怎么写大文件
weixin_42524171的博客
04-28 747
在32位机器下，默认情况下，文件长度是off_t类型，这个可以从ftrucate的参数，从stat获取的文件属性struct stat中都可以看出文件的长度是用off_t类型表示的，即文件的长度在32位机器下默认是long int类型。所以，默认情况下，在Linux系统下，fopen和open操作的文件大小不能超过2G。我们制造了一个异常文件，5G左右，可以使用dd命令来构建，也可以写个脚本来构建...
2G的超大文件怎么打开
最新发布
09-17
对于2G以上的超大文件，常规的文件操作函数可能无法...首先使用_fopen函数打开文件，然后使用_fseeki64函数设置文件指针到所需位置，最后使用_ftelli64函数获取文件指针的位置。这样就可以对文件进行读取或写入操作了。
libcurl下载大文件
06-26
以上就是使用libcurl下载大文件的基本原理和实践方法，通过灵活配置和恰当的回调函数，libcurl可以高效且安全地处理大文件的下载任务。在实际项目中，还可以根据具体需求扩展功能，例如添加并发下载、限速控制等。
Linux C大文件的创建和读写速率
02-14
在Linux环境中，C语言是进行系统级编程和高效文件...通过以上方法，我们可以在Linux下有效地创建和读写大文件，同时通过合理的优化策略提升读写速率。在实际应用中，根据具体需求调整和实施这些策略，以实现最佳性能。
C语言快速创建大于4G的空文件
03-26
传统的文件操作函数，如`fopen`、`fwrite`等，在处理大文件时可能会遇到限制，尤其是在32位系统上。为了克服这些限制，我们需要了解和利用特定的API或者库函数。 在Windows操作系统中，我们可以使用`CreateFile`...
C/C++读取文件大小
sinat_28305511的博客
04-17 1174
C/C++读取大文件字节数的两种方法第一中方法第二种方法 第一中方法 // An highlighted block FILE *fp=fopen("C:\\Windows\\explorer.exe","rb");//打开文件 int size=0; fseek(fp,0,SEEK_END);//将文件位置指针内置于文件结尾 size=ftell(fp);//得到当前位置...
linux fopen 读文件,LINUX下写大文件—fopen/fprintf，open/write怎么写大文件
weixin_39889337的博客
04-28 335
在32位机器下，默认情况下，文件长度是off_t类型，这个可以从ftrucate的参数，从stat获取的文件属性struct stat中都可以看出文件的长度是用off_t类型表示的，即文件的长度在32位机器下默认是long int类型。所以，默认情况下，在Linux系统下，fopen和open操作的文件大小不能超过2G。我们制造了一个异常文件，5G左右，可以使用dd命令来构建，也可以写个脚本来构建...
fopen创建指定大小的文件
zmy12007的专栏
07-11 2066
其实这个是没有必要的，因为fseek并没有指定seek的边界
文件的打开 (fopen()函数)
MoaKap的专栏
09-12 4382
  文件的打开(fopen()函数) 调用形式：         #include"stdio.h"
C语言中对大文件操作遇到的问题
jimmy_dip的专栏
06-03 484
C操作大文件出错解决
c语言open函数打开大文件大小,C语言open()函数:打开一个文件
weixin_31689491的博客
05-17 1221
函数名：open头文件：函数原型： int open(char *path,int access[,int auth]);功能： 打开一个文件参数：char *path 要打开的包含路径的文件名 ，int access 为打开方式 ， int auth 为访问权限返回值： 成功 返回文件句柄 ，失败 返回-1程序例：打开一个文件，并输出提示#include#include#include...
存文件太大--换至纯C读写文件方法
Allyli0022的专栏
09-19 946
存储的文件大小是原来保存txt的两倍多，错误！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值