[ DB ][ SQL Server ] [ Cassandra ] How to compare when data transfer ?

转载于 2019-08-10 00:29:50 发布 · 74 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/vincentmylee/archive/2013/02/07/2908610.html

本文详述从SQLServer数据库向Cassandra数据库转移资料的项目。重点介绍压力测试、资料验证、Solr资料导入验证及资料更新比较等关键测试项目。

我們現在正在進行一個項目, 由SQL server資料庫轉移資料到Cassandra資料庫。

測試需要分段進行, 主要可以區分以下的項目:

1. 壓力測試: 由於 production 主要Table 目前有1600萬數據, 所以需要慎重考慮效能問題。

2. 驗證若轉移資料(BulidService & UpdateService)後, 再於SQL Server端 Insert 新的record, 負責比較兩邊資料的CompareService 的 Window service 是否可以正確的比較出來, 並且Insert到SQL server 的Compare Table中 ?

3. Cassandra DSE 版本可將Cassarda 的資料自動導入到Solr, Solr是否會完整轉移Cassandra的資料, 這項功能還需要驗證

4. 驗證若轉移資料(BulidService & UpdateService)後, 再於SQL Server端updated LastEditDate (SQL Server ItemDescription, ItemDimensionLog table ), 是否會被比較出來?

5. 驗證若轉移資料(BulidService & UpdateService)後, 再於SQL Server端 IM_ItemImage 中 Insert 新的row, 由於image的數量不一致, 這種情況是否會被比較出來?

反向驗證

1. 驗證若轉移資料(BulidService & UpdateService)後, 再於Cassandra 端 Insert 新的row 到 Cassandra column family 中負責比較兩邊資料的CompareService 的 Window service 是否可以正確的比較出來, , 並且Insert到SQL Server的Compare Table中 ?

2. 驗證若轉移資料(BulidService & UpdateService)後, 再於Cassandra 端 updated LastEditDate, 是否會被比較出來?

转载于:https://www.cnblogs.com/vincentmylee/archive/2013/02/07/2908610.html