QlikView 笔记(五) 通过Partial Reload实现增量抽取

本文介绍QlikView中PartialReload功能的使用方法,并通过具体示例展示了如何利用add及only关键字实现增量加载,有效提升数据加载效率。

偶然在群里看到QV能不能做增量抽取的功能,遂翻了一下官方文档,找到了围绕Partial Reload的几个相关性比较大的可能实现增量抽取的函数。如有错误欢迎指正,谢谢。

Qlikview里有一个功能很少用到,Partial Reload(部分重新加载),因为在脚本编辑页,QMC(QlikView Management Console)页面默认的都是Reload(常规重新加载),所以很少有开发者会注意到部分加载。



我们要用到的方法分别有add、exist()、IsPartialReload()。

做个简单的例子:

我有一个employee.csv文件,本来里面有1个员工ID为9999,为了让性能差一点,这边用For循环加载5000条记录,第一次刷新会load5001条记录,如果我更新了employee.csv文件,则实现增量的话就得实现只加载employee里新加入的记录。

下面是脚本: 先创建变量记录开始和结束的时间并打印在log中,for循环加载5000条记录,add后可加only关键字,意为只在partial reload模式下执行,若不加则两种模式都执行。



下面是第一次常规加载执行的结果:耗时11秒,加载5001条记录。



下面给employee.csv文件加一条记录,然后执行部分加载操作,看这次的duration是不是11sec以下:

idname
9999name9999
add1add1
部分加载执行结果:用时2秒,足以说明实现了增量加载的操作。



当然也可以用IsPartialReload()和if.. then ..elseif..then..enif来判断当前是否使用的部分加载操作,来实现更多的需求。


评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王义凯_Rick

遇见即是缘,路过就给个评论吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值