c# 大数据量比较时-方案

本文介绍了一种在千万级别数据量下进行高效数据比较的方法。技术上推荐使用C#的泛型键值对,利用其散列算法提高查找速度;业务上则建议先筛选数据再进行比较,从而减少数据量,提升效率。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、当面临千万条数据量的比较时,从技术的角度来说应该用泛型键值(c#键值由于用了散列算法速度很快)。例如前几天我需要查的是 航空公司、出发、到达、返点可以将 航空公司-出发-到达做一个键,返点作为值。

            if (dtsourceBT.Rows.Count > 0)
            {
                dBaitour = new Dictionary<string, string>();
                foreach (DataRow dr in dtsourceBT.Rows)
                {
                    string outstring = "";
                    string tmpKey = ""; string tmpValue = "";
                    if (!dBaitour.TryGetValue(tmpKey, out outstring))
                    {
                        dBaitour.Add(tmpKey, tmpValue);
                    }
                    else
                    {

                        dBaitour[tmpKey] = "";
                    }
                }
            }

2、从业务角度来优化,这点很重要。因为所以的程序都不是孤立的。根据业务要求如果这样做

第一、查出所以的数据(将近5万条数据)

 string sqlBT = "select ZRateId, DeparturePort,ArrivalPort,airwaycompanycode,CabinCode,RateValue,FlightNumber,NoFlightNumber from b2b_zrate_new where state=1  AND IssuedToDate>=convert(varchar(10),getdate(),120) and outPattern!=3 ORDER BY RateValue desc";
 DataTable dtsourceBT = DbHelper.ExeAll116(sqlBT);

第二、通过航空公司筛调一部分数据(剩下3千条数据)

 DataRow[] drBTS = dtsourceBT.Select(" airwaycompanycode='" + dr["AirCompany"] + "'");

第三、再去比较,这样数据量变小了。速度就快多了

foreach (DataRow drBT in drBTS)
                    {
                        if (drBT["DeparturePort"].ToString().Contains(drNew["DeparturePort"].ToString()))
                        {
                            if (drBT["ArrivalPort"].ToString().Contains(drNew["ArrivalPort"].ToString()))
                            {
                                if (drBT["CabinCode"].ToString().Contains(drNew["CabinCode"].ToString()))
                                {
                                    drNew["BTPolicyId"] = drBT["ZRateId"];
                                    drNew["BTValue"] = (Convert.ToDecimal(drBT["RateValue"])*100).ToString();
                                    break;
                                }
                            }
                        }
                    }

 

转载于:https://www.cnblogs.com/honghong75042/p/3298669.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值