Access 执行查询的时候，报超过2G，可是文件大小总共才85M

最新推荐文章于 2024-08-21 09:07:04 发布
原创 最新推荐文章于 2024-08-21 09:07:04 发布 · 5.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

gtx3708
关注
〖Python 数据库开发实战 - MySQL篇⑧〗- MySQL的配置文件与常用的配置方案
易编橙 · 终身成长社群，相遇已是上上签！
07-17 4万+
今天这一章节，我们来讲解一下 MySQL 的配置文件。既然开始写数据库的学习章节，就不能简单的讲一下 "增、删、改、查" ，再讲讲 "创建索引"、"回滚事务"等等。 学数据库就要学明白，毕竟将来是靠技术赚钱的。要学习明白怎么用，怎么配置，学懂学透彻了；当然了 MySQL 的配置有上百个，所以这里会挑选其中最重要的一些参数给大家介绍一下，其他的参数等到用到的时候再来介绍吧。...
日志文件切割：以分隔割tomcat 的 catalina.out 文件为例子
专注于计算机研发知识和资讯分享
08-21 906
logrotate 程序是一个日志文件管理工具。用于分割日志文件，删除旧的日志文件，并创建新的日志文件，起到“转储”作用。可以节省磁盘空间。Logrotate是基于CRON来运行的，其脚本是/etc/cron.daily/logrotate，日志轮转是系统自动完成的。实际运行时，Logrotate会调用配置文件/etc/logrotate.conf。可以在/etc/logrotate.d目录里放置自定义好的配置文件，用来覆盖Logrotate的缺省值。
未及时执行commit()导致的[HY001]错误
uselessman的专栏
07-12 614
在使用pypyodbc时，解决报错:[HY001] [Microsoft][ODBC Microsoft Access Driver] 无法完成查询。可能是因为查询结果超过了数据库的最大大小(2 GB），或者是因为磁盘上没有足够的临时存储空间存储查询结果。
[Access violation ] 2G内地址错误访问
bai_lu_sz的专栏
03-28 860
如无特殊说明 环境都是x86系列cpu ia-32 如果是64位会特殊说明的 例子都是引用swd 更详细的说明请看swd一书 以下说明及以后的博客都会有理解偏差的地方 还请各位前辈和战友指正一二 毕竟本人也是一边看书一边记录 难免会有天圆地方的思想 qq 604015858 欢迎随时指导交流对windows来说 一个任务就是一个线程 cpu对任务的保护分为 任务间保护和任务内保护 任务间
【解决】查询无法完成，因为其包含的查找列数已超过管理员强制实施的查找列阈值。Error code=0x80070093; Error source=Groove...
weixin_34392843的博客
09-22 448
前因： 修改了SharePoint Server 2013 下面的文档库的名称，原先2个汉字，现在8个汉字。结果，SkyDrive Pro 就无法同步了，无论是停止重新同步还是手动填写进行同步都不可以（点我看详细）,提示信息如下所示 Figure 1出现同步错误的对话框 这个具体一些的信息还可能是这样的： 工作文件共享 - 文档 1 尝试同步此文档库时发生错误。 Error code...
Apache日志文件超过2G引起系统缓慢
lhblove的专栏
03-30 873
   apache日志中 access_log文件已达到2g后，会在 error_log 中出现以下错误提示，此时客户访问web页变得缓慢。清除access_log文件，并重启apache后系统正常。 [Tue Mar  9 14:49:00 2010] [notice] child pid 16863 exit signal File size limit exceeded (2
Access 的最大容量
09-05 2530
Access 的最大容量      以 Access 2000?中文版为例。打开帮助，找到以下条目:设置和定义microsoft Access -> Microsoft Access 规格Microsoft Access 数据库常规规格属性 最大值Microsoft? Access 数据库?(.mdb)?文件大小 2 G 字节。不过，由于数据库可以包括其他文件中的链接表，所以它
Access 的最大容量（转）
cuankuangzhong6373的博客
07-07 1988
Access 的最大容量 　　以 Access 2000 中文版为例。打开帮助，找到以下条目: 　　设置和定义microsoft Access -> Microsoft Access 规格　　 　　Microsoft Ac...
Hadoop 大量小文件问题及解决方案
热门推荐
SmartSi
12-25 2万+
1. HDFS上的小文件问题小文件是指文件大小明显小于HDFS上块（block）大小（默认64MB）的文件。如果存储小文件，必定会有大量这样的小文件，否则你也不会使用Hadoop（If you’re storing small files, then you probably have lots of them (otherwise you wouldn’t turn to Hadoop)），这样
tomcat服务器日志文件配置
专注于计算机研发知识和资讯分享
08-21 1152
这个配置项通常在MyBatis的配置文件（比如mybatis-config.xml）或者Spring Boot的application.properties或application.yml文件中进行设置。来记录从接收到请求到发送响应的总时间，单位毫秒，对应的日志文件是 localhost_access_log.xxx.txt。修改server.xml 文件，日志格式包含。
基于nginx网关的浏览器上传大文件失败问题分析
Welcome my blog
07-11 2278
前言 ​ nginx用的时候很开心，出现问题时却很要命。这次出现的问题虽然能有很多方式去解决，但我仍旧希望能够用一个问题将知识进行串联，深挖其根因。 问题现象 浏览器上传文件，文件大小是四百多M，等待一段时间后，上传失败。显示报错如下图： 问题排查 信息收集 遇到这种问题上面出现了两个错误，一个是网络错误，一个返回的是413。413这个错误信息提示很明显，Request Entity Too Large。凭多年老司机经验，查看nginx配置，发现配置的client_max_body_size为300
安卓开发Amazon S3传输11M的文件就报错了
最新发布
07-16
<think>我们正在处理一个在Android开发中使用Amazon S3上传11MB文件时出现错误的问题。用户希望找到问题原因及解决方案。 首先，我们需要考虑可能的原因： 1. 网络问题：文件较大，上传过程中网络不稳定或超时。 2. S3配置问题：如存储桶策略、CORS配置不正确。 3. Android权限问题：未授予适当的存储和网络权限。 4. SDK使用问题：上传方法使用不当，例如未正确处理大文件上传（应使用分片上传）。 5. 设备存储空间不足：上传过程中需要临时空间。 6. 超时设置：如果使用TransferUtility，默认超时设置可能不够。 针对大文件（超过5MB），Amazon S3推荐使用分片上传（Multipart Upload）。因为11MB的文件虽然不算特别大，但在移动网络环境下，上传可能会因为网络波动而失败。使用分片上传可以提高可靠性，并且允许断点续传。 解决方案步骤： 1. 检查权限： - 确保在AndroidManifest.xml中声明了网络权限：`<uses-permission android:name="android.permission.INTERNET" />` - 如果涉及到存储，还需要读写权限（在Android 6.0以上需要动态申请）。 2. 配置S3存储桶： - 检查存储桶策略（Bucket Policy）是否允许该用户（或匿名用户，如果未使用身份验证）进行上传操作。 - 检查CORS配置，确保允许来自移动应用的请求。示例CORS配置： ```json [ { "AllowedHeaders": ["*"], "AllowedMethods": ["PUT", "POST", "DELETE"], "AllowedOrigins": ["*"], "ExposeHeaders": [] } ] ``` 3. 使用TransferUtility进行分片上传： - 初始化TransferUtility（需要先配置好AmazonS3Client）： ```java // 创建AmazonS3Client实例 AmazonS3Client s3Client = new AmazonS3Client(credentialsProvider); // credentialsProvider是您的凭证 // 创建TransferUtility实例 TransferUtility transferUtility = TransferUtility.builder() .context(context) .s3Client(s3Client) .defaultBucket("your-bucket-name") // 可选，设置默认存储桶 .build(); ``` - 上传文件（使用分片上传）： ```java // 指定上传的文件和存储桶中的键（key） File file = new File("path/to/your/file"); String key = "your-object-key"; TransferObserver uploadObserver = transferUtility.upload(key, file); // 如果需要监听上传进度和状态 uploadObserver.setTransferListener(new TransferListener() { @Override public void onStateChanged(int id, TransferState state) { // 处理状态变化 } @Override public void onProgressChanged(int id, long bytesCurrent, long bytesTotal) { // 更新进度 } @Override public void onError(int id, Exception ex) { // 处理错误 ex.printStackTrace(); } }); ``` 4. 调整分片大小和传输设置： - 在初始化TransferUtility时，可以通过`TransferUtilityOptions`设置分片大小和并发线程数。默认分片大小为5MB，对于11MB的文件，会分成3个分片（5MB+5MB+1MB）。如果网络条件较差，可以尝试减小分片大小，但会增加请求次数。 ```java TransferUtilityOptions options = new TransferUtilityOptions(); options.setTransferServiceConfiguration(TransferServiceConfiguration.builder() .transferThreadPoolSize(3) // 并发线程数 .build()); options.setMultipartUploadThreshold(5 * 1024 * 1024); // 分片上传阈值（当文件大于此值时启用分片上传），默认5MB options.setMinimumUploadPartSize(1 * 1024 * 1024); // 最小分片大小，默认5MB，最小可设置为5MB（但根据S3要求最小为5MB，除了最后一个分片）？注意：实际上最小分片大小是5MB，但AWS SDK for Android内部可能会处理，我们设置的值不能小于5MB？需要查阅文档。 实际上，根据S3分片上传规则，每个分片的大小必须在5MB到5GB之间（除了最后一个分片）。但是，在SDK中，我们可以设置一个大于等于5MB的阈值，然后SDK会根据文件大小自动计算分片数量，每个分片至少为5MB（除了最后一个分片可以小于5MB）。但是，在移动端，我们可能希望分片更小以应对不稳定的网络，但注意最小分片大小不能低于5MB（S3要求）。然而，实际上AWS Android SDK的`TransferUtility`默认最小分片大小是5MB，并且不允许设置更小（因为S3限制）。所以对于11MB的文件，它会分成3个分片（5MB+5MB+1MB）？但是1MB小于5MB，这是不允许的？这里需要澄清。 实际上，在分片上传中，除了最后一个分片，其他分片必须至少5MB。所以对于11MB的文件，我们可以分成两个分片：第一个分片5MB，第二个分片6MB（这样都大于5MB）。或者三个分片：5MB, 5MB, 1MB（最后一个分片小于5MB，这是不允许的）。因此，正确的做法是设置分片大小至少5MB，并且最后一个分片可以小于5MB？不对，S3要求每个分片必须至少5MB（除了最后一个分片）。所以最后一个分片可以小于5MB。所以11MB分成5MB,5MB,1MB是允许的。 但是，根据AWS文档：每个分片的大小必须在5MB到5GB之间，除了最后一个分片可以小于5MB。所以1MB是允许的。因此，默认设置下，11MB的文件会被分成3个分片（5MB,5MB,1MB）。 但是，在移动端，分片大小设置过小（比如1MB）会导致分片数量过多，增加失败概率。因此，建议设置一个合适的最小分片大小（例如5MB），这样11MB的文件会被分成3个分片（5MB,5MB,1MB）？或者我们可以设置最小分片大小为5MB，那么11MB的文件会被分成3个分片，其中前两个5MB，最后一个1MB。这是允许的。 在`TransferUtility`中，我们设置的分片大小阈值（`setMinimumUploadPartSize`）实际上是每个分片的最小大小（除了最后一个），但注意这个值不能小于5MB（否则会出错）。所以我们可以这样设置： ```java options.setMinimumUploadPartSize(5 * 1024 * 1024); // 5MB ``` 这样，每个分片（除了最后一个）都会至少5MB。对于11MB的文件，第一个分片5MB，第二个分片5MB，第三个分片1MB（因为不足5MB，所以作为最后一个分片）。 另外，我们还可以设置分片上传的阈值（`setMultipartUploadThreshold`），当文件大小超过这个阈值时，就启用分片上传。这个阈值默认是5MB，所以11MB的文件会触发分片上传。 因此，我们不需要改变默认设置，因为11MB已经大于5MB，会自动使用分片上传。 5. 错误处理： - 在`TransferListener`的`onError`方法中捕获异常，并查看具体错误信息。常见的错误有网络不可用、凭证失效、存储桶不存在等。 6. 使用断点续传： - TransferUtility支持断点续传。如果上传中断，可以重新启动上传，它会从上次中断的地方继续。 7. 检查网络连接： - 在开始上传之前，检查设备网络连接状态，并提示用户。 8. 如果问题仍然存在，可以尝试增加超时时间： - 在初始化AmazonS3Client时，可以通过`ClientConfiguration`设置超时时间： ```java ClientConfiguration clientConfiguration = new ClientConfiguration(); clientConfiguration.setConnectionTimeout(30000); // 连接超时时间（毫秒） clientConfiguration.setSocketTimeout(60000); // 套接字超时时间（毫秒） AmazonS3Client s3Client = new AmazonS3Client(credentialsProvider, clientConfiguration); ``` 9. 日志： - 启用SDK的日志，查看详细的请求和错误信息： ```java s3Client.setLogLevel(LogLevel.DEBUG); ``` 常见错误： - NetworkOnMainThreadException：如果在主线程执行上传，会导致这个错误。确保在后台线程执行，但TransferUtility内部已经使用Service，所以不会在主线程执行。 - AmazonClientException: 可能包含具体的原因，如无法解析主机（DNS问题）、网络不可用等。 根据以上步骤，通常可以解决上传失败的问题。 如果用户遇到了具体的错误信息，可以针对性地解决。 生成相关问题： 1. 如何配置Amazon S3存储桶的CORS策略？ 2. 如何在Android应用中动态申请存储权限？ 3. 如何使用AWS SDK for Android进行文件分片上传？ 4. 如何监控Amazon S3文件上传的进度？ 5. 如何处理Amazon S3上传过程中的网络中断？</think>在 Android 开发中使用 Amazon S3 上传 11MB 文件时出现错误，通常涉及以下关键原因及解决方案： ### 错误原因分析 1. **分片上传阈值配置不当** S3 SDK 默认分片上传阈值为 **5MB**（低于此值使用单次上传）。11MB 文件会触发分片上传，若未正确配置分片参数会导致失败。 2. **网络超时限制** 移动网络不稳定或默认超时时间过短（通常 30-60 秒），大文件上传易超时中断。 3. **CORS 配置错误** 存储桶未配置允许移动端域名的跨域请求，导致预检请求被拒绝[^1]。 4. **权限问题** - IAM 用户缺少 `s3:PutObject` 权限 - 存储桶策略未授权移动端访问 - Android 未授予 `INTERNET` 或存储权限 5. **文件路径错误** 本地文件路径无效或临时文件被系统清理。 --- ### 解决方案 #### 1. 正确配置分片上传（关键） ```java // 初始化 TransferUtility 时设置分片参数 TransferUtilityOptions options = new TransferUtilityOptions(); options.setMultipartUploadThreshold(10 * 1024 * 1024); // 10MB阈值 options.setMinimumUploadPartSize(5 * 1024 * 1024); // 分片最小5MB TransferUtility transferUtility = TransferUtility.builder() .s3Client(s3Client) .context(context) .transferUtilityOptions(options) .build(); // 执行上传（自动处理分片） TransferObserver uploadObserver = transferUtility.upload( "bucket-name", "remote-file-key.jpg", new File(localFilePath) ); ``` #### 2. 延长超时时间 ```java ClientConfiguration config = new ClientConfiguration(); config.setConnectionTimeout(120_000); // 连接超时120秒 config.setSocketTimeout(120_000); // 数据传输超时120秒 AmazonS3Client s3Client = new AmazonS3Client(credentials, config); ``` #### 3. 修复 CORS 配置 在 S3 存储桶控制台添加 CORS 策略： ```json [ { "AllowedHeaders": ["*"], "AllowedMethods": ["PUT", "POST"], "AllowedOrigins": ["*"], // 生产环境替换为具体域名 "ExposeHeaders": ["ETag"] } ] ``` #### 4. 检查权限配置 - **IAM 策略示例**： ```json { "Version": "2012-10-17", "Statement": [{ "Effect": "Allow", "Action": ["s3:PutObject"], "Resource": "arn:aws:s3:::your-bucket/*" }] } ``` - **AndroidManifest.xml** 确保包含： ```xml <uses-permission android:name="android.permission.INTERNET" /> <uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" /> ``` #### 5. 错误处理最佳实践 ```java uploadObserver.setTransferListener(new TransferListener() { @Override public void onError(int id, Exception ex) { if (ex instanceof AmazonClientException) { // 处理网络错误 } else if (ex instanceof AmazonServiceException) { // 处理S3服务错误（如403权限问题） } } }); ``` --- ### 调试建议 1. 启用 SDK 日志： ```java s3Client.setLogLevel(LogLevel.DEBUG); ``` 2. 使用 Charles Proxy 抓包分析网络请求 3. 检查 Android 日志过滤 `TransferService` 标签 > **关键提示**：11MB 文件在 4G 网络平均需 8-15 秒，务必在弱网环境测试（开发者模式可模拟 2G 网络）[^2]。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值