Unix/Linux下打开大文件>2G的解决办法

最新推荐文章于 2023-04-03 23:21:57 发布

原创最新推荐文章于 2023-04-03 23:21:57 发布 · 1.4k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#file #工具

本文介绍了如何通过预编译宏定义_FILE_OFFSET_BITS=64 和 _LARGE_FILE 来解决超过4GB大小文件无法正常读取的问题，并提供了一个简单的解决方案。

今天要分析一个4G多的大文件，结果发现fopen老是返回失败，上网查了下，原来是因为系统中>2G的文件打开都会有问题

然后加上_FILE_OFFSET_BITS=64 和 _LARGE_FILE的预定义，然后重新编译解析工具，就能够打开>4G的文件了，就这样问题解决了

CFLAGS = -O -Aa -D_FILE_OFFSET_BITS=64 -D_LARGE_FILE

其他还有例如，利用fopen64之类的调用，因为要改很多的code，我就不说了，详见（linux fopen打开大文件）http://apps.hi.baidu.com/share/detail/22192241

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

KataDoc360

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Unix/Linux环境C编程入门教程(5) Red Hat Enterprise Linux(RHEL)环境搭建

尹成的技术博客

06-25

4186

Unix/Linux版本众多，我们推荐Unix/Linux初学者选用几款典型的Unix/Linux操作系统进行学习。Red Hat Enterprise Linux是Red Hat公司的Linux发行版，面向商业市场，包括大型机。红帽公司从Red Hat Enterprise Linux 5开始对企业版LINUX的每个版本提供10年的支持[1]。而Red Hat Enterprise Linux常

Unix/Linux环境C编程入门教程(9) unbntu CCPP开发环境搭建

尹成的技术博客

06-26

2513

安装unbntu C/C++开发环境1. 首先启动VMware，如果没有安装，请查看前面VMware的安装视频 2 启动虚拟机向导,选择自定义 3 单击下一步 4 选择稍后安装操作系统 5 。选择unbntu 64linux 6 选择默认的名称 7 设置双核CPU 8 设置2G内存9 设置NAT网络地址转换 10 选择默认的IO控制器 11 选择默认的磁盘类型 12 选择创

参与评论您还未登录，请先登录后发表或查看评论

fopen vs fopen64

fulva的专栏

12-28

1万+

fopen64是linux特有的,fopen64（）函数和fopen（）函数相同的，只是底层的文件描述符创建是带有O_LARGEFILE标志。 fopen64（）函数为了加载大型文件所做的扩展。 fopen returns FILE*, stream. fopen64 returns int, file descriptor 通常情况下，我们用fopen（）函数来读问

linux fopen打开大于2G文件出错的解决方法（踩了一个大坑）

认知行动坚持

03-25

1万+

先说点题外话，最近某模块缩容，导致单机任务堆积，超过了2G, fopen就失败了。开始怀疑是文件权限问题，但排查后，发现不是，但依然找不到原因，后来某哥敏锐地发现，文件的值在2G左右，于是怀疑这里有问题，于是上网一查，果然如此。我不写了，直接转载网上文章描述这个问题，转载地址： http://blog.163.com/qimo60

类似于fopen与fopen64的种种情况

weixin_30341735的博客

10-10

634

在Linux和unix系统中，我们会遇到¥和¥64的情况。比如stat64，fopen64等 fopen64是linux特有的,fopen64（）函数和fopen（）函数相同的，只是底层的文件描述符创建是带有O_LARGEFILE标志。fopen64（）函数为了加载大型文件所做的扩展。 fopen returns FILE*, stream.fopen64 returns int, ...

linux fopen打开大于4G的文件失败

xiaojun13355的博客

05-10

2454

用fopen函数打开一个大于4G的文件失败，解决方法：在makefile编译选项里加上如下选项：-D_GNU_SOURCE -D_XOPEN_SOURCE=600 -D_LARGEFILE_SOURCE-D_LARGEFILE64_SOURCE -D_FILE_OFFSET_BITS=64当然还有其他的方法（出自某哥的博客），比如：正常32位linux系统打开大于2G的文件会报错，解决办法：一、定...

linux创建2g文件,linux下超过2G大文件监控

weixin_42511714的博客

04-28

223

linux下超过2G大文件监控发布时间:2007-11-14 00:09:20来源:红联作者:jfonwerin在32位的linux操作系统中，由于程序也为32位，经常出现超过2G的log等文件后导致应用异常。需要采用一种比较方便的方法去发现接近2G的问题，报警给系统维护人员出于此考虑，我们可以使用lsof (list open file)只要处于读写状态的文件都能通过它来快速的定位，如果一个文件...

linux 输出core文件大小,linux下core file size设置笔记

weixin_35229677的博客

05-04

2091

现象说明：突然发现一台测试机器的java程序莫名其妙地没了，但是没有core dump！这就需要打开服务器的core文件生成的功能了，(即core dump文件)，方便程序调试。1)core文件简介core文件其实就是内存的映像，当程序崩溃时，存储内存的相应信息，主用用于对程序进行调试。当程序崩溃时便会产生core文件，其实准确的应该说是core dump 文件,默认生成位置与可执行程序位于同一目...

AIX/linux/unix fopen 打开2G文件问题

吴家应的专栏

08-31

1870

程序采用fopen(filepath,"w"); 文件超过2G，程序自动结束，关闭文件。解决方法:1.编译添加-D_FILE_OFFSET_BITS=64例如：CC=ccAR=arRANLIB=ranlibLDFLAGS=DEBUG=-DDEBUGBIGFILES=-D_FILE_OFFSET_BITS=64CFLAGS=$(DEBUG) -g $(BIGFILES)其他网络上找的方法：//这三个宏定义一下,为支持大于2G的文件#define _LARGEFILE_SOURCE#define _LARGE

企业级Oracle入门Linux/Unix基础①

u011868279的博客

04-03

1287

企业级Oracle入门Linux/Unix基础①

linux c core文件大小,linux配置core文件

weixin_36198673的博客

05-08

718

转载来源：http://tower.iteye.com/blog/453782下面的资料是从互联网上整理的来的，参考文献如下：http://blog.youkuaiyun.com/hanchaoman/archive/2009/08/03/4405655.aspx1. 可以用ulimit -a 查看一下栈的大小。在内核2.6.20下， stack size 为8192 kbytes如果这里没有限制，就栈的大小...

Unix/Linux环境C编程入门教程(15) BT5开发环境搭建

尹成的技术博客

06-27

1620

安装信息安全必备利器BT5以及搭建BT5平台的C/C++开发环境1. Backtrack 是处于世界领先地位的渗透测试和信息安全审计发行版本。有着上百种预先安装好的工具软件，并确定能完美运行，Backtrack5 提供了一个强大的渗透测试平台--从Web hack的应用程序到RFID 审查，都可由Backtrack来完成。2. 选择默认虚拟机3. 选择稍后安装操作系统4. 设置为Linux Unb

linux 大总结

热门推荐

u011624267的博客

06-27

1万+

1.Linux介绍 Linux 内核最初只是由芬兰人林纳斯·托瓦兹（ Linus Torvalds）在赫尔辛基大学上学时出于个人爱好而编写的。 Linux 是一套免费使用和自由传播的类 Unix 操作系统，是一个基于 POSIX 和 UNIX 的多用户、多任务、支持多线程和多 CPU 的操作系统。 Linux 能运行主要的 UNIX 工具软件、应用程序和网络协议。它支持 32 位和 64 位硬件。 Linux 继承 Unix 以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。目前市面上较

保姆级教程-分布式文件系统FastDFS（高效存储，有效解决大量资源上传下载）

m0_55070913的博客

03-09

675

官方网站：https://github.com/happyfish100/ 配置文档：https://github.com/happyfish100/fastdfs/wiki/ 参考资料：https://www.oschina.net/question/tag/fastdfs Java客户端：https://github.com/happyfish100/fastdfs-client-java 文章目录为什么要学习分布式文件系统？什么是分布式文件系统？ FastDFS FastDFS是什么？.

yubaolee_OpenAuthNet_25456_1764964690631.zip

12-07

yubaolee_OpenAuthNet_25456_1764964690631.zip

基于PID控制器和电流控制器的电池充电比较研究（Matlab代码实现）

12-07

基于PID控制器和电流控制器的电池充电比较研究（Matlab代码实现）内容概要：本文主要围绕《基于PID控制器和电流控制器的电池充电比较研究（Matlab代码实现）》展开，介绍了利用Matlab进行电池充电控制策略的仿真与比较研究。重点对比了PID控制器与电流控制器在电池充电过程中的性能表现，涵盖系统建模、控制算法设计、仿真分析及结果评估等内容，旨在为电池管理系统中的充电控制提供优化方案和技术参考。; 适合人群：具备一定自动控制理论基础和Matlab编程能力的电气工程、自动化、能源系统等相关专业的研究生、科研人员及工程技术人员。; 使用场景及目标：①用于电池管理系统中充电控制策略的设计与优化；②开展PID控制与电流控制在动态响应、稳定性、充电效率等方面的性能对比研究；③支持教学实验、科研仿真及实际工程项目中的控制器选型与验证。; 阅读建议：建议读者结合Matlab代码进行仿真实践，重点关注控制器参数设置、系统响应曲线分析及不同工况下的性能差异，同时可扩展至其他先进控制算法（如模糊控制、自适应控制）的对比研究，以深化对电池充电控制技术的理解与应用。

一个基于SpringBoot和MyBatis框架开发的用于高校或公共图书馆自习室资源智能化管理的Web应用程序系统_包含用户注册登录座位预约状态查询取消预约留言反馈及管理员对自习室.zip

12-07

nats.swift-Swift资源

最新发布

12-08

Swift client for NATS, the cloud native messaging system.

linux下neo4j安装与配置

03-28

<think>好的，我需要帮助用户解决在Linux环境下安装和配置Neo4j的问题。首先，我要回忆之前用户提供的引用内容，里面提到了安装Neo4j-3.4.5的教程，访问http://localhost:7474，以及GitHub的参考资料。现在需要根据这些信息，结合我的知识库，生成一个详细的步骤指南。首先，我应该检查用户的需求是否明确。用户想要了解安装和配置的教程，所以需要分步骤说明。可能的步骤包括下载安装包、安装Java环境、解压Neo4j、配置环境变量、修改配置文件、启动服务以及验证安装。此外，可能还需要包括常见问题解决和注意事项。需要注意的是，用户提供的引用中提到的是Neo4j-3.4.5版本，但最新版本可能已经更新。因此，在步骤中应该提醒用户版本差异，并建议查看官方文档。同时，要确保所有命令正确无误，比如使用wget下载、tar解压、修改配置文件的位置等。另外，用户可能不熟悉Linux操作，所以每个步骤需要详细说明，例如如何编辑配置文件，如何设置环境变量。还要注意权限问题，比如使用chmod修改脚本权限。最后，要确保用户知道如何访问Neo4j的Web界面，并处理防火墙设置。在生成相关问题的时候，要考虑用户可能遇到的后续问题，例如如何创建数据库、配置远程访问、备份恢复数据等。还要包括版本升级和性能优化的方法，以及社区版与企业版的区别。这样可以帮助用户全面了解Neo4j的安装和使用。最后，需要确保回答符合格式要求，使用正确的LaTeX语法，但用户的问题中没有数学公式，所以可能不需要太多这方面的内容。但根据系统指令，所有行内数学表达式要用$...$，独立公式用$$...$$，需要检查是否有必要的地方添加，不过在这个安装教程中可能不涉及数学公式，所以可能不需要。但需要确保其他格式要求，如代码块使用正确的语法标记，引用标识添加正确。</think>### Linux环境下Neo4j安装与配置教程 #### 一、环境准备 1. **安装Java环境** Neo4j 3.4.x需要Java 8运行环境，使用以下命令安装： ```bash sudo apt update sudo apt install openjdk-8-jdk ``` 验证安装：`java -version`，输出应包含`1.8.0`[^1]。 2. **下载Neo4j** 访问[Neo4j官网下载页](https://neo4j.com/download-center/#community)，选择`.tar`格式的社区版。或通过命令行下载3.4.5版本： ```bash wget https://neo4j.com/artifact.php?name=neo4j-community-3.4.5-unix.tar.gz ``` --- #### 二、安装与配置 1. **解压安装包** ```bash tar -xf neo4j-community-3.4.5-unix.tar.gz mv neo4j-community-3.4.5 /opt/neo4j ``` 2. **配置环境变量** 编辑`~/.bashrc`，添加： ```bash export NEO4J_HOME=/opt/neo4j export PATH=$PATH:$NEO4J_HOME/bin ``` 生效配置：`source ~/.bashrc` 3. **修改配置文件** 编辑`/opt/neo4j/conf/neo4j.conf`： - 取消注释并修改数据库存储路径： ```properties dbms.directories.data=/var/lib/neo4j/data ``` - 允许远程访问： ```properties dbms.connectors.default_listen_address=0.0.0.0 ``` - 设置默认密码（可选）： ```properties dbms.security.auth_enabled=false ``` --- #### 三、启动与验证 1. **启动服务** ```bash neo4j start ``` 输出应包含`Neo4j is now running`。 2. **访问Web界面** 浏览器打开`http://localhost:7474`，默认用户名/密码为`neo4j/neo4j`，首次登录需重置密码。 3. **服务管理命令** - 停止服务：`neo4j stop` - 查看状态：`neo4j status` --- #### 四、常见问题 1. **端口冲突** 若7474端口被占用，修改`conf/neo4j.conf`中的`dbms.connector.bolt.listen_address`和`dbms.connector.http.listen_address`。 2. **内存不足** 调整JVM堆大小： ```properties dbms.memory.heap.initial_size=2g dbms.memory.heap.max_size=4g ``` --- #### 五、注意事项 - **版本兼容性**：Neo4j 4.x+需Java 11，建议根据版本选择JDK。 - **防火墙设置**：若需远程访问，开放7474（HTTP）、7687（Bolt）端口。 - **数据备份**：定期备份`data`目录下的`databases`文件夹。 ---