提高 unload/load 性能的技巧

1.去掉数据库(表)日志,提高 load 速度
使用 load 工具进行批量装载时,如果数据库有日志,效率很低;尤其数据量较大时,还可能出现锁溢出、长事务等导致装载失败;对于失败的装载为保证数据一致性, IDS 自动回滚。回滚很耗时,尤其当长事务超出排它高水准线( LTXEHWM )时,其他用户的进程将被挂起,性能进一步恶化。这在联机事务处理环境中,势必影响其他业务的正常运行。为此,对有日志的数据库进行大量数据装载时,尽量去掉数据库日志,提高效率。
对于不能去掉日志的数据库环境,如果 Informix 版本为V9系列,可采用表级日志更改功能,即在装载时停止装载表的日志,装载结束后恢复表日志。
实施步骤:
1) 删除装载表的参照性约束及索引,只能对没有参照性约束及索引的表改变表级日志,所以在装载前先删除表索引及参照性约束,在装载完毕后重新创建。
2) 取掉目的表级日志
ALTER TABLE TABNAME TYPE(RAW)
3) 采用 LOAD 工具装载,创建索引及参照性约束
4) 增加目的表表级日志
ALTER TABLE TABNAME TYPE(STANDARD)
2.采用多进程,加速 unload/load 卸装速度
目前大多数用户数据库服务器配置较高,具有多个 CPU ,物理内存也较大,如果采用单进程卸装海量表,一方面运行速度缓慢,而另一方面大量系统资源闲置。为此,建议采用多进程,加速卸载速度。针对不同的实际情况,可采用不同方法启用多进程:
将需要装卸的多张表分配到不同的进程中并发装卸,可减少整体装卸载时间;
将海量表分配到多个进程中并发卸装,可减少海量表的卸载时间

需要说明的是,多进程适合运行在资源充分、负载较轻、具有多个 CPU 的主机上,而对资源较少,或负载已重的主机,启动多进程反而会降低性能,甚至影响其他应用程序的执行。一般来说,在多 CPU 机器上可启动少于物理 CPU 个进程,同时将分割的多个输入输出文件分布在不同设备上。
采用多进程装载海量表,如果装载的数据库有日志,情况较为复杂,需要特别注意锁溢出与长事务的出现,为此采用以下方法:
采用小事务,即每个进程每次装载的数据量适当小。
多进程并发装载同一表,防止锁溢出,表锁设置为页级锁,而非行锁。
去掉表的索引,加速每个进程事务的提交。
3.去掉索引,加速 load 装载速度
索引的根本目的是提高查询效率,但在插入操作时,索引的存在却严重地影响效率。当插入数据量非常大时,索引页重建量也很大,索引结点的分裂也相当频繁, I/O 操作显著增大。同时索引页的分裂,导致需要更多的内存空间来存放分裂前相同的数据量,从而降低缓存效率。
下列情况索引的存在甚至导致装载失败:采用多进程向有日志数据库装载数据时,如果表有索引,锁模式为页锁,则会由于锁碰撞导致装载失败。这是因为每个进程对其插入的索引页加锁,当其他进程插入的记录需要在加锁的索引页上重建的索引时,势必引起索引页上锁碰撞,导致装载失败。这种情况可将表的锁模式改为行锁得到解决,但对于海量数据而言,采用行锁模式不仅锁管理开销庞大,性能低下,而且很可能由于锁溢出而装载失败。所以去掉索引,保证装载的成功。
DFT实战解析:从Scan Chain规划到缺陷捕获的全链路设计 本文深入解析DFT(Design for Testability)中的Scan Chain技术,从基础原理到实战应用,详细介绍了Scan Chain的硬件改造、缺陷检测三步法及工程实践中的关键挑战。通过实际案例展示Scan Chain如何显著提升芯片测试覆盖率,并分享优化测试时间、功耗管理的实用技巧,助力工程师掌握全链路设计要点。 阅读详情

相关推荐

Verge3D 2.12 for Blender发布

Verge3D 2.12 for Blender版本发布。本次更新包含了几个重新设计的示例应用程序;添加了许多新的拼图;实现了超级采样和多重采样抗锯齿;引入了功能强大的Tween.js库,用于创建精美的程序动画;启用了WebGL 2.0;为虚拟现实添加了新功能;更新了Verge3D WordPress插件,增加了一些新功能。

Verge3D的博客 819

informix数据库unload下载数据和load上传数据

informix数据库下载数据和上传数据 今天在工作中需要导出informix数据库的数据,但是发现前端数据太多不能直接复制粘贴,查了一下资料找到了导出查询结果的方法: 代码如下: unload to "文件路径" delimiter "分隔符" select 字段 from 表名; unload to "D:\工作\20210415月报\systables.txt" delimiter "|" select * from systables; --注意:要先创建好空的文件,否则会报错。 --d

qq_44695432的博客 1987

SAP Sybase SQLAnywhere 12的一次unload/reload来重建数据库

SQLAnwhere数据库的unload/reload主要用于数据库的物理重建,有时候能把数据库文件收缩得非常小,同时性能也得到提升。本文来源于一个实际的生产环境示例。原始的db文件达到6.6G, log文件,达到145G. 经过unload/reload之后,db文件只有79M,而事务log文件只有4.4M.请看下边的操作步骤:1. 执行unload并reload, 新建一个数据库文件e:\de

iihero@优快云 4944

pageshow 和 pagehide

一、load、unload和pagehide、pageshow的主要应用 load 和 unload 事件监听web页面的进入和离开,一般用于页面的首次加载、刷新和关闭等操作的监听; pageshow 和 pagehide 事件多用于监听浏览器的前进和后退等。 二、pageshow和load事件的区别 1、pageshow和load区别: pageshow 事件类似于 load 事件,load 事...

yihanzhi的博客 1万+

CLCD土地覆盖数据在ArcGIS中的实战应用:从导入到空间分析的完整指南

本文详细介绍了CLCD土地覆盖数据在ArcGIS中的实战应用,从数据导入到空间分析的完整流程。涵盖坐标系转换、数据质量检查、土地利用变化检测等核心技术,并分享城市扩张模拟和跨数据集融合等高级应用技巧,帮助研究者高效利用这一权威数据集进行环境监测和城市规划。

weixin_29292535的博客 589

全自动数据分析 - Claude Code Sub-Agents:自动化数据分析工厂

别忘了!claude code也是agent框架,类似langgraph,crewAI,autogen等等agent框架。我改造claude code搞一个数据分析智能体AI。试试看行不行!:让数据分析变得像聊天一样简单!

liangdabiao的博客 1072

前端提升页面加载速度

性能黄金法则:只有10%~20%的最终用户响应时间花在了下载HTML文档上。其余的80%~90%时间花在了下载页面中的所有组件上。提升加载速度的方式:一、减少HTTP请求(1).合并脚本 和样式表将多个样式表或者脚本文件合并到一个文件中,可以减少HTTP请求的数量从而缩短效应时间。 不过:合并所有的样式文件或者脚本文件可能会导致在一个页面加载时加载了多于自己所需要的样式或者脚本,对于只访问该网站一...

qiqi_77_的博客 1万+

修改注册表导致开机时电脑显示“无法登陆到你的账户”的问题解决方案

1.问题描述:开机电脑显示“无法登陆到你的账户:通常可以通过从你的账户注销,然后重新登陆来解决问题,如果不立即注销,你创建的任何文件或进行的任何更改都将会丢失。” 2.问题原因:想要修改cmd中的用户名(红色部分),修改了注册表,重启时出现问题。 3.问题解决: win+R输入cmd,确定进入注册表界面,将下面的地址复制进地址栏(你也可以自己按目录查找),双击ProfileImage...

qq_33835957的博客 7万+

减小Sybase ASA数据库的数据和事务日志文件大小及分离的方法

ASA数据库,经过一段时间使用以后,数据文件和事务日志文件都会膨胀,如果不进行整理,将占用很大的磁盘空间,对系统来说,是一种负担。 我曾经遇到过一种情况,短短一段时间,数据文件和日志文件都涨到55G左右。 碰到这种情况,可以先把ASA的数据库服务关掉,然后使用dbunload命令进行卸载和重载,建立一个新库,然后删除旧库。 dbunload.exe -c "uid=dba;pwd=sql;d...

jlins_you的专栏 371

人工智能入门系列之一: 鸢尾花(Iris)多分类的神经网络详解及代码实现

这是最好的时代,我们一起来打造属于自动驾驶汽车上路、无人机飞天、智能机器人管工厂的AI未来 人工智能领域分化为两个阵营:其一是规则式(rule-based)方法,在人工智能早期占主峰;其二是神经网络(neural network)方法,后起之秀。随着硬件水平的提高,算力的指数式增长;人工智能的重心已经从规则式的专家时代转移到神经网络的数据时代。 “神经网络”不选择把人脑熟稔的逻辑规则传授给计算机...

NLP家的码奴小荷的博客 2万+

LLM制造业最佳实践:基于大语言模型处理最优化问题,制造业如何更优排产,提升资源利用率

随着制造业数字化转型加速,生产排产优化成为提升企业效率和竞争力的关键环节。大语言模型(LLM)凭借其强大的多模态数据处理、动态优化和智能推理能力,在复杂排产场景中展现出独特优势。谷歌、DeepSeek等机构的研究表明,LLM可通过自然语言交互和生成式决策,突破传统优化算法的局限性。本报告结合半导体行业实践案例与技术路径,系统分析LLM在排产优化中的应用潜力与挑战。

shiter编写程序的艺术 939

SinoDB数据库导入导出工具unload/load

unload/load是最常使用的最简单的数据导入、导出工具,支持的数据格式为以固定分隔符(如“|”为默认的分隔符)分隔的文本文件。

Sinoregal的博客 1346

Pdu Router(PduR)模块

1. PduR路由基本功能 2. PduR总线网关功能 3. PduR缓存机制 4. 总结

weixin_43759043的博客 3849

GBase 8s 数据导入和导出(1)

在进行数据库迁移、数据库表备份、表重建以及批量数据加载时,我们经常希望数据 处理过程能更快点。特别是在 DBA 在线进行表重建的过程中,要求重建时间窗口最少。 这里将介绍如何在不同的场景下选择合适的 GBase 8s 数据加载工具,以及如何合理地使用 这些工具。 unload/load unload/load 是最常使用的最简单的数据导入、导出工具,支持的数据格式为以固定分 隔符(如“|”为默认的分隔符)分隔的文本文件。 unload 数据导出 使用方法如下: UNLOAD TO 'fil

weixin_50352997的博客 4003

JavaScript教程-字符集,Unicode转义序列,标识符,数据类型,数字,未定义值,浮点数,字符串,引用数据类型,类型检测,类型转换,运算符,关系运算符,

前端学习

VAN 212

DeepSeek邮件管理全攻略

DeepSeek邮件助手是一款高效的邮件处理工具,提供智能分类、撰写、回复和任务自动化功能。通过API调用或多智能体系统,它能自动分类邮件意图、生成专业回复并优化邮件内容。核心功能包括智能过滤、会议安排和任务提醒,支持与主流邮箱服务集成。提供精准提示词模板,帮助用户快速生成得体邮件,提升工作效率。适合个人和企业使用,通过简单配置即可实现邮件处理自动化。

Genio_Wang的博客 180

Resoures.Load

最近网友通过网站搜索Unity3D在手机及其他平台下占用内存太大. 这里写下关于Unity3D对于内存的管理与优化.Unity3D 里有两种动态加载机制:一个是Resources.Load,另外一个通过AssetBundle,其实两者区别不大。 Resources.Load就是从一个缺省打进程序包里的AssetBundle里加载资源,而一般AssetBundle文件需要你自己创建,运行时 动态加载...

palawind 1026

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

总结一下Page_Load和OnLoad

原始出处 首先Page_Load是一个方法,OnLoad也是一个方法。 OnLoad是Page类继承自System.Web.UI.TemplateControl,而System.Web.UI.TemplateControl又继承自System.Web.UI.Control。所以严格说来OnLoad是属于System.Web.UI.Control的一个方法。 同样Page也有一个Load事件也

Kc 7671

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Informix技巧

<br />Informix技巧 收藏 Informix技巧4则本文内容均来自网络,这里仅是组织整理,方便记忆和查阅,以及供更多的人学习,如果有兴趣可到文中的“出处”查看原文。 -------------------------------------------------------------------------------- 1. UPDATE STATISTICS FOR TABLE tablename( 出处:ChinaUnix ) Informix 数据库服务器中的优化器为SQL语句的查询

jiaolongjun的专栏 426

GBASE 8s 如何提高装载性能

将需要装卸的多张表分配到不同的进程中并发装卸,可减少整体装卸载时间;将海量表分配到多个进程中并发卸装,可减少海量表的卸载时间。在装载前先删除表索引及参照性约束,在装载完毕后重新创建。2.采用多进程,加速 unload/load 卸装速度。采用多进程装载海量表,需要特别注意锁溢出与长事务的出现。3.去掉参照性约束及索引,加速 load 装载速度。采用 LOAD 工具装载。

因为吃过天津一家超好吃的八珍豆腐从而改名为八珍豆腐的博客 291

Unity 3D--外部加载资源AssetBundles

Unity 3D里有两种动态加载机制:      一是Resources.Load;      一是通过AssetBundle;      其实两者本质上没有什么区别。Resources.Load就是从一个缺省打进程序包里的AssetBundle里加载资源,而一般AssetBundle文件需要你自己创建,运行时动态加载,可以指定路径和来源的。其实场景里所有静态的对象也有这么一个加载过程,只是

Tan 4505

页面声明周期

页面声明周期 1. DOMContentLoaded 事件 DOMContentLoaded —— 浏览器已完全加载 HTML,并构建了 DOM 树,但像 <img> 和样式表之类的外部资源可能尚未加载完成 DOMContentLoaded 事件发生在 document 对象上,必须使用 addEventListener 来捕获 具有 async 特性(attribute)的脚本不会阻塞 DOMContentLoaded 使用 document.createElement('script')

langmanboy的博客 358

window.unload ajax不执行_AJAX

[TOC]## 什么是AJAXAJAX(Asynchronous Javascript And XML)翻译成中文就是“异步Javascript和XML”。即使用Javascript 语言与服务器进行异步交互,传输的数据为XML(当然,传输的数据不只是XML)。AJAJ Asynchronous Javascript And JSONAJAndroid Java - > 返回的必须是Js...

weixin_39722563的博客 317

Informix 数据库表迁移工具在实际中的应用

 提高 unload/load 性能的技巧 1.去掉数据库(表)日志,提高 load 速度使用 load 工具进行批量装载时,如果数据库有日志,效率很低;尤其数据量较大时,还可能出现锁溢出、长事务等导致装载失败;对于失败的装载为保证数据一致性, IDS 自动回滚。回滚很耗时,尤其当长事务超出排它高水准线( LTXEHWM )时,其他用户的进程将被挂起,性能进一步恶化。这在联机事务处理环境中

数据库技术成长之路...... 2675

AssetBundle机制和内存管理

AssetBundle机制相关资料收集最近网友通过网站搜索Unity3D在手机及其他平台下占用内存太大. 这里写下关于Unity3D对于内存的管理与优化.Unity3D 里有两种动态加载机制:一个是Resources.Load,另外一个通过AssetBundle,其实两者区别不大。 Resources.Load就是从一个缺省打进程序包里的AssetBundle里加载资源,而一般AssetBundle

u012529088的专栏 4796

jquery 3.3.1 $.ajax,jQuery 3.0 的变化及使用方法

jQuery ,是迄今为止世界上最流行的 JavaScript 库,一直是我们这些 Web 开发者的神器。自从它在 2006 年发布最初版本直到如今,已经有非常多的 Web 开发者在项目中引入了这个优秀的库来使开发工作变得更轻松。时隔 3 个月,jQuery 团队终于发布了 3.0 Alpha 版本。有两个版本 jQuery compat 3.0 和 jQuery 3.0。•jQuery comp...

weixin_42501130的博客 799
上一篇: Oracle和Informix中load、unload
下一篇: EDiary.exe 诡西游 空之境界 花田少年史
SunRuing
博客等级 码龄15年 7粉丝 33原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值