Net4.0 Parallel编程(一)Data Parallelism 上

本文介绍在.NET 4.0中使用System.Threading.Tasks命名空间下的Parallel.For及Parallel.ForEach方法实现并行处理,通过对比普通循环与并行循环的执行效率,探讨了并行编程的优势与局限。

现在已经进入了多核的时代,我们的程序如何更多的利用好cpu,答案是并行处理。在.net4.0之前我们要开发并行的程序是非常的困难,在.net4.0中,在命名空间System.Threading.Tasks提供了方便的并行开发的类库。本文中主要看看Data Parallel,

看看并行的For、Foreach。

Parallel.For

首先先写一个普通的循环:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
private void NormalFor()
{
     for (var i = 0; i < 10000; i++)
     {
         for (var j = 0; j < 1000; j++)
         {
             for (var k = 0; k < 100; k++)
             {
                 DoSomething();
             }
         }
     }
}

再看一个并行的For语句:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
private void ParallelFor()
{
     Parallel.For(0, 10000, i =>
     {
         for ( int j = 0; j < 1000; j++)
         {
             for (var k = 0; k < 100; k++)
             {
                 DoSomething();
             }
         }
 
     });
}

看下测试方法:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
[TestMethod()]
public void TestForLoop() 
{
 
     _StopWatch.Start();
     this .NormalFor();
     _StopWatch.Stop();
     Console.WriteLine( "NormalForLoop Runned Time:{0}" , _StopWatch.ElapsedMilliseconds);
 
     _StopWatch.Reset();
     _StopWatch.Start();
     this .ParallelFor();
     _StopWatch.Stop();
     Console.WriteLine( "Parallel Loop:{0}" , _StopWatch.ElapsedMilliseconds);
}

测试结果:

image

上面的例子中,只是将最外层的For语句替换成了Parallel.For,我们可以看到Parallel执行速度提高了近一倍。下面我把里面的循环也改成并行的:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
private void ParallelNestedFor()
{
     Parallel.For(0, 10000, i =>
     {
         Parallel.For(0, 1000, j =>
         {
             for (var k = 0; k < 100; k++)
             {
                 DoSomething();
             }
         });
 
     });
}

结果:

image

也许会令我们感到惊讶的是:嵌套Paralled For之后速度并没有更快,反而稍微慢了。其实是这样的,因为我们的示例中大部分操作是在最外层循环,而在并行操作中会需要缓存数据等会浪费一定的性能。当我们把最外层的循环调整成100,中间层为10000时,我们来看下结果:

image

所以,是否需要嵌套的时候,需要我们根据一些实际情况来决定,不过对于大部分操作,最外层的并行处理已经足够了。

 

Parallel.ForEach

我们来看两段很简单的代码:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
private void NormalForeach() 
{
     foreach (var file in GetFiles())
     {
         DoSomething();
     }
      
}
 
private void ParallelForeach()
{
     Parallel.ForEach(GetFiles(), file => {
         DoSomething();
     });
}

测试的结果:

image

Foreach的使用跟For使用几乎是差不多了,只是在对非泛型的Collection进行操作的时候,需要通过Cast方法进行转换。

总结

在本文中,我们简单的介绍了Parallel.For跟Parallel.Foreach方法的使用,感受了下并行编程给我们带来的速度上的优势,在下篇文章中会介绍如何跳出循环以及一些异常的处理。

作者:Henllyee Cui
出处: http://henllyee.cnblogs.com/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明。

转载于:https://www.cnblogs.com/dajiang02/archive/2012/02/10/2344885.html

多源数据接入 支持校园各业务系统数据接入:包括教务系统(学生成绩、课程信息)、学工系统(奖惩记录、资助信息)、后勤系统(宿舍分配、能耗数据)、图书馆系统(借阅记录、馆藏信息)、卡通系统(消费数据、门禁记录)等。 接入方式:提供数据库直连(MySQL、SQL Server)、文件导入(CSV、Excel、JSON)、API 接口调用等多种方式,支持实时同步与定时批量同步。 数据标准化与治理 建立校园数据标准体系:统数据格式(如日期格式、学号编码规则)、定义核心数据元(如 “学生” 包含学号、姓名、专业等必选字段)、规范代码集(如性别代码 “1 - 男,2 - 女”)。 数据清洗:自动检测并处理缺失值、重复值、异常值(如成绩 > 100 分),通过规则引擎实现数据校验(如 “学生年龄需在 16-30 岁之间”)。 元数据管理:记录数据来源、格式、更新频率、负责人等信息,生成数据血缘图谱,追踪数据从产生到应用的全生命周期。 二、数据共享与交换核心功能 分布式数据存储 基于 Hadoop HDFS 实现海量数据存储:结构化数据(成绩、消费记录)存入 HBase,非结构化数据(文档、图片、视频)直接存储于 HDFS,日志类数据通过 Flume 采集至 HDFS。 支持数据分片与副本机制,确保数据高可用(默认 3 副本存储),满足校园 PB 级数据存储需求。 数据交换引擎 构建点对点数据交换通道:各部门系统可通过交换引擎向平台上传数据或申请获取授权数据,支持同步 / 异步交换模式。 交换流程管理:定义数据交换规则(如 “学工系统每日向平台同步新增学生信息”),记录交换日志(成功 / 失败状态、数据量),失败时自动重试。 数据脱敏:对敏感数据(如身份证号、银行卡号)在交换过程中进行脱敏处理(如显示 “110********5678”),兼顾共享与隐私保护。
用户信息管理 支持用户注册(手机号 / 社交账号登录)、个人信息完善(如年龄、性别、饮食禁忌、偏好菜系等)。 记录用户行为数据:浏览历史、收藏 / 点赞美食、评分记录(1-5 星)、消费记录(如外卖订单、到店消费)、搜索关键词等。 美食数据管理 存储美食基础信息:名称、分类(中餐 / 西餐 / 日料等)、子类别(川菜 / 粤菜 / 汉堡等)、食材、口味标签(辣 / 甜 / 清淡等)、价格区间、商家信息(名称、地址、评分)、图片等。 支持商家入驻与信息更新,管理员审核美食数据合规性(如食材描述真实性)。 二、协同过滤推荐核心功能 基于用户的协同过滤(User-based CF) 计算用户相似度:通过用户对美食的评分、浏览记录等行为,使用余弦相似度 / 皮尔逊相关系数识别 “相似用户群体”(如用户 A 和用户 B 对 80% 的川菜评分致)。 生成推荐:向目标用户推送 “相似用户喜欢但目标用户未体验过” 的美食(如相似用户高分推荐的新川菜馆)。 基于物品的协同过滤(Item-based CF) 计算美食相似度:分析用户对不同美食的共同评分 / 点击行为,挖掘美食间的关联(如 “点过麻婆豆腐的用户中有 70% 也点过回锅肉”)。 生成推荐:为用户推送 “与已喜欢美食相似” 的菜品(如用户刚收藏了水煮鱼,推荐酸菜鱼、毛血旺)。 混合推荐策略 结合两种协同过滤算法结果,根据场景动态调整权重(如冷启动用户优先基于物品的推荐,活跃用户侧重基于用户的推荐)。 融合用户显式偏好(如标注 “不吃辣”)过滤推荐结果,避免无效推荐。 三、用户交互与推荐展示 个性化推荐页 首页展示 “为你推荐” 列表,按推荐优先级排序,显示美食图片、名称、匹配度(如 “98% 的相似用户喜欢”)、用户评分、距离(适用于到店推荐)等。 支持按场景筛选推荐(如 “午餐推荐”“周末聚餐推荐”“性价比推荐”)。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值