【数据测试】之迁移(三)

数据库迁移测试——功能测试 文章目录 前言 一、测试“数据”的经历?(就是些废话) 二、学习的(我也有基本都用到了,这个学习的文章总结的很好,就搬来了,文末附原文链接) start.数据迁移 part.数据刷新 总结 前言 今天记录一下我参与的数据测试的项目经历,首先提醒,一切数据处理要和产品、项目经理同时在场确认,这是我吃了三次“亏”的坑。 一、测试“数据”的经历?(就是些废话) 小白我莽莽撞撞接下的第一次数据测试,是在19年底转承20年初了,那会儿全国都还静悄悄的,大家都在正常上班、... 阅读详情

数据迁移是数据测试中的关键部分

步骤

  • 从测试的功能点出发,例如:
    表中没有org_code;infa,tdh以及mysql中需要添加,以及来源
  • 找到开发给发的《迁移需求后端版本》,这只是一个例子,找到存过–>优化部分–>找到对应负责的存过名称(或者在内表的前面加上P_,执行存过也是一样的)
  • 从存过的名称中找到对应的数据加工字段(insert,marge、select为关键字)
  • 存过中找到关联的表,表之间的关联关系要梳理清晰(根据存过中筛选的字段信息在数据库中查询,是否存在对应日期的数据,若没有则需要插入数据----python实现插入数据下期上代码)
  • TDH也就是内表(M层)加工数据
  • TDH数据流向外表(执行存过),代码如下:
DECLARE
	V_RETURN  DECLMAL;
	V_MSG  STRING;
BEGIN
	存过的名称('YYYYMMDD',V_RETURN,V_MSG); -- 替换存过名称和日期
	DBMS_OUTPUT.PUT_LINE(V_PETURN);
	DBMS_OUTPUT.PUT_LINE(V_MSG);
END;
  • 开始使用工具Informatica,导入开发提供的INFA工作流中的TDH_MYSQL回吐下的XML文件
  • 打开工具中的D工作台,进行映射比较(字段的个数、类型、长度)
  • W工作台中,创建自己独立的工作流名称,画出TDH----->外表----->Mysql的工作流走向,在空白处点击右键,点击(编辑工作流/工作集),选择变量,将新编变量添加到此表,将名称改为:$$workdate,默认值改为存过时的日期例:20220824,点击确认按钮
  • 启动工作流:M工作台会弹出来,显示成功,完成
  • 比较数据的字段,个数以及长度 ,主要是数量的对比,前后都要看下,进行比较。
  • PS 数据库比较完后,没有问题,这这张表的存过没有问题,数据加工可以通过。
HBase数据迁移至Hive HBase数据迁移至Hive背景:需要将HBase中表xyz(列簇cf1,列val)迁移至Hive1. 建立Hive和HBase的映射关系1.1 运行hive shell进入hive命令行模式,运行如下脚本CREATE EXTERNAL TABLE hbase_table_1(key int, value string) STORED BY 'org.apache.hadoop.hive.hbas 阅读详情

相关推荐

群晖NAS下docker安装MySql

本文将一步一步讲解如何在群晖NAS的docker中启用一个MySQL容器 , 算是初学者对问题解决的一个记录.

qq_46375248的博客 5976

数据迁移测试 - 数据库

数据迁移测试是确保在数据迁移期间,从一个系统到另一个系统的数据迁移是正确和完整的。

Orange_hhh的博客 1701

ZYNQ实战:PS端驱动DMA实现高效数据流转与验证

本文详细介绍了在ZYNQ平台上通过PS端驱动DMA实现高效数据流转的实战方法。从ZYNQ的PS与PL数据交互基础出发,深入解析DMA核心价值,包括硬件平台搭建、Vivado配置、PS端软件架构设计及性能优化技巧,帮助开发者提升数据传输效率与系统性能。

weixin_29192141的博客 432

数据迁移测试经验分享

除了考虑新系统的规则变化,还要考虑旧数据迁移后需要进行规则适配,例如旧系统没有,新系统有的字段,验证是否给到正确的默认值。保证旧系统数据迁移后业务的可用性与连续性,避免迁移后需重新回滚测试。接下来,我们将详细介绍数据迁移的测试策略及测试实施,话不多说,上干货~

主要分享测试的学习资源,帮助快速了解测试行业,帮助想转行、进阶、小白成长为高级测试工程师。 1015

VirtualBox创建虚拟机(为安装Ubuntu桌面系统)

Ubuntu的安装非常灵活。但是万变不离其宗,归纳起来,无非就是以下3种:(1)用户可以下载完整的ISO镜像文件,将其转移到各种介质上面,例如DVD或者U盘,然后以该介质引导系统进行安装。(2)用户可以下载一个非常小的网络安装器,利用该安装器引导系统进行在线安装。(3)用户可以将Ubuntu安装到一个U盘中,随身携带。为了便于读者学习,本节将介绍通过完整的ISO镜像文件安装Ubuntu。其他的安装方式将在后面介绍。

夏天又到了的专栏 2687

git连接华为软件开发云

我用的是github客户端的git shell 连接。用git bash也可以github客户端下载地址:https://desktop.github.com/1.在华为软件开发云上创建代码仓库2.在本地创建密钥SSH密钥帮助文档公钥是代码托管服务(CodeHub)识别您的用户身份的一种认证方式,通过公钥,您可以将本地git项目与代码托管服务(CodeHub)建立联系, 然后您就可以很方便的将本地...

sigmeta的博客 2110

数据迁移的一般测试步骤及测试点

数据迁移测试,一般遵循三点--正确性,一致性,可用性。 以下是测试的一般执行步骤: 1.确定迁移范围:确定迁移哪些模块的基础数据 2.整理旧系统与新系统的表结构:找旧系统与新系统数据库表结构的设计文档,来了解表及字段的详细信息 3.整理旧系统与新系统的字段匹配,值匹配关系: 4.大体核心流程使用旧数据测试:核心旧数据套用系统核心流程测试,查看是否有验证bug出现 5.基础数据测试:(1)基于数...

七号空间 1万+

最新Mamba环境配置教程:从CUDA到causal-conv1d的完整安装流程

本文提供最新Mamba环境配置教程,涵盖从CUDA到causal-conv1d的完整安装流程。针对深度学习领域的长序列处理需求,详细指导如何正确配置CUDA工具链、安装PyTorch及关键依赖causal-conv1d,解决常见报错问题,并验证mamba-ssm集成效果。

bush的博客 414

数据迁移如何测试?照着这个完整流程做就对了

相信很多同学在测试过程中会遇到新老系统数据迁移的情况,这时候就需要进行数据迁移的测试了,数据迁移测试是在数据从一个系统或环境迁移到另一个系统或环境时执行的测试过程。这种类型的测试旨在确保数据在迁移过程中的完整性、一致性、准确性和安全性。

伤心的辣条 2568

【5G】5G 核心网(5GC)基本架构

本文旨在科普5G核心网相关知识...

Learning makes me happy (0^◇^0) 4万+

PCL SVD分解求变换矩阵【2026最新版】

该算例使用奇异矩阵分解来求变换矩阵,输入的是同名点坐标输出的是变换矩阵。博客长期更新,本文最近一次更新时间为:2026年5月10日。

点云侠的博客 36万+

数据迁移怎么测,都有哪些步骤?

迁移测试是一种将旧系统迁移到新系统的验证过程,以最小的中断/停机时间,实现数据完整性和无数据丢失,同时确保在应用程序运行后满足应用程序的所有指定功能和非功能方面的要求。

m0_64706429的博客 1774

OsgEarth —— 笔记1 - 创建地球的earth文件

效果         正文      1、准备一张全球的渲染图(tif格式)、一张全球的高程图(tif格式)        2、创建并编写.earth文件           在步骤1目录下创建china-simple.earth,并将如下内容写入。 <map name="Globe" type="geocentric" version="2"> <!-- 全球影像图 --> <image name="GlobeImage" driver="gdal"> &l

7681

探索数据测试的七层地狱:Airflow中的数据测试实践

探索数据测试的七层地狱:Airflow中的数据测试实践 在当今大数据处理的浪潮中,确保数据的准确性和完整性变得至关重要。为此,我们有缘邂逅一个独特的开源宝藏——《利用Airflow进行数据测试》。该项目不仅深挖了2017年首次提出的“数据测试七大层面”,还结合2023年的PyData演讲进行了更新,为数据工程师和分析师提供了宝贵的实战指南。 项目介绍 该仓库展示了一系列实例,展示了如何运用现代的数...

gitblog_00064的博客 1129

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

聊聊对于测试从业者来说数据测试的重要性

数据测试确实容易被忽视,很多测试从业者只关注功能逻辑,但真实业务中数据问题引发的故障往往更隐蔽也更难修复。特别是一些电商类的项目,因为折扣规则数据错误导致损失挺大,这种教训太深刻了。在进行数据测试时应该从这几个维度展开,首先是数据完整性,这是基础中的基础。比如用户下单时商品库存数据没同步,直接造成超卖。其次是准确性,像金融系统的利息计算,小数点后四位错一位都可能引发客诉。还有安全性这个敏感话题,最近数据泄露事件频发,测试时必须覆盖加密和权限。还要强调数据测试的独特性——它不像功能测试那样非对即错。

奇峰卧虎 1537

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

dbeaver导出表结构_100亿数据平滑数据迁移,不影响服务,表结构及迁移数据测试实战...

信息时代,随着用户数量不断增加,业务量不断增长,企业原有数据库不足以有效支撑业务的发展,在此情况下,企业更多的是寻求一款更加稳定的数据库进行替代。本文以Sybase数据库和Oracle数据库为例。Oracle数据库是目前世界上流行的关系数据库,采用多进程多线索体系结构,而Sybase数据库采用单进程多线索体系结构。两者均采用多线索的模式,该模式能用较少的线索管理大量的用户进程,降低了对系统资源的占...

weixin_39690105的博客 1013

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

数据迁移或数据测试

数据迁移测试测什么? 数据迁移测试,一般遵循三点–正确性,一致性,可用性。 以下是测试的一般执行步骤∶ 1.确定迁移范围确定迁移哪些模块的基础数据 2.整理旧系统与新系统的表结构∶找旧系统与新系统数据库表结构的设计文档,来了解表及字段的详细信息 3.整理旧系统与新系统的字段匹配,值匹配关系∶ 4.大体核心流程使用旧数据测试∶核心旧数据套用系统核心流程测试,查看是否有验证bug出现 5基础数据测试; 1) 基于数据库直接看字段储存的值进行测试 2) 基于用户登录前台系统进行查看表所在相应菜单字段展

weixin_46190208的博客 292

sybase迁库oracle 测试,数据库迁移——表结构及迁移数据测试

信息时代,随着用户数量不断增加,业务量不断增长,企业原有数据库不足以有效支撑业务的发展,在此情况下,企业更多的是寻求一款更加稳定的数据库进行替代。本文以Sybase数据库和Oracle数据库为例。Oracle数据库是目前世界上流行的关系数据库,采用多进程多线索体系结构,而Sybase数据库采用单进程多线索体系结构。两者均采用多线索的模式,该模式能用较少的线索管理大量的用户进程,降低了对系统资源的占...

weixin_33955394的博客 607

《Oracle9i通过RMAN的copy方式迁移数据测试报告》

最近碰到个很棘手的项目,客户自行添加数据文件的时候路径写得有问题,导致数据文件创建在了本机上,系统空间严重不足,客户要求迁移到磁盘阵列上。 对于这种操作,不是儿戏,技术谁都能学,找谁都能做...

ck1694的博客 186

保险行业数据测试初步总结

保险数据测试需深度理解业务规则(如条款责任、监管报备要求)建立数据血缘图谱(Data Lineage)可快速定位问题根源保险行业数据测试是风险管控的核心环节,需持续结合业务变化与技术演进优化测试体系,为数据资产质量提供坚实保障。

charon_0928的博客 989

dolphinscheduler 1.2.1 数据迁移到 dolphinscheduler 2.0.5方法及迁移后数据测试记录

数据库备份 数据迁移-执行create-dolphinscheduler.sh脚本 数据验证 DataX任务验证 查看页面数据是否完整 执行DataX任务报错-手工处理 存储过程验证-存储过程写法

2483

聊一聊对于测试从业者数据测试策略有哪些

在数据测试方面,假设错误很少,只是希望最好,这是很不明智的。重要的是要考虑各种可能的故障,甚至是不太可能的故障,并在测试环境中人为地创建此类情况,查看发生了什么。与功能测试不同,90%的数据测试涉及对可能故障的思考,功能测试的思考过程围绕应用程序中可能的用户操作。首先是数据完整性,这是基础,要确保数据在传输和存储过程中不丢失;然后是准确性,涉及值校验和业务规则;一致性和时效性也很关键,特别是对于实时数据系统。用户可能还关心测试数据的构造方法,毕竟生产数据往往不能直接用于测试。

奇峰卧虎 606

数据库迁移方案

一、场景需求 系统重构导致部分业务改变及数据库设计变化(表名、表数量、表结构、字段、字段属性等)。需要以新数据库为基准将旧数据库中的数据迁移到新数据库中。 二、迁移步骤 术语 名称 解释 源表 旧系统中的数据表 目标表 新系统中的数据表 1、对比梳理源表与目标表服务的业务对象以及各种关联业务依赖的表与表之间的关联关系,明确表中每一个字段代表的含义 2、基于1中的结果找出目标表对应的源表(可能有多张源表对应、也可能没有对应的源表) 3、基于2中的结果对比分析源表与目标表的的表结果,主要

老照片 1097

数据迁移测试记录

1. 确认迁移范围: 确认影响范围,整理迁移前的表结构和迁移后的表结构 旧表和新表字段匹配、值匹配关系确认 存储过程、触发器、索引校验 确认迁移方案,一次迁移或多次增量迁移,迁移时的逻辑覆盖 数据精度、字符串长度、时间格式、null值转化、空字符串转化、特定格式校验 旧系统有,新系统没有的字段进行验证,此字段不迁移的影响评估 旧系统没有,新系统有的字段,验证是否给正确的默认值 ...

weixin_30532987的博客 387
上一篇: 【数据测试】之前端(二)
下一篇: 【数据测试】之存过以及数据加工(四)
大、大摩王
博客等级 码龄9年 1410粉丝 142原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大、大摩王

你的鼓励是我创装的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值