海量索引数据的机群分布

FROM:blog.youkuaiyun.com/soso_blog/archive/2010/07/13/5731028.aspx

 

索引数据的存储是搜索中很重要的一个环节,在数据量较小的情况下,如普通的中小网站,一般存在的文档数在千万级以下,这个时候,可以简单的实现搜索系统,将所有的索引数据存放在一台机器上。而网页搜索引擎需要索引的数据重量到了上百亿上千亿的级别。因此,需要成千上万台的机器来存放如此巨量的网页数据。那么如何将如此巨量的数据分布存放到这些机器上呢?

    较为简便直观的方法是每台机器上存放一定不相同的文档集合,每个机器对不重复的一部分网页文档建立索引。即按照文档分割的方式分布。按照文档分割的方式,分布规则有几种:


    1) 简单按照docid取模,比如有N台索引机器,则第i台机器处理的文档的集合为 dataset(i)={docid | docid%N=i},这样处理的好处有几个:

    i. 数据分布均匀,海量的数据,取模基本可以保证每个机器上分布着数量相当,大小相当的网页文档索引。

    ii. docid定位方便,要查找一个docid的数据在那个机器上,简单取模即可定位。

    iii.定位方便带来的一个直接好处是文档数据更新方便,一个doc的数据始终在一个机器上,更新时标记删除上面旧的数据,索引保存新的数据即可。

    最大的缺点则是扩容麻烦,当总数据量超过N台机器的最大装载量,需要扩容到N+1台机器时,原来的数据分布被全部打散,数据在N+1台机器上需要全部重新分布。


    2) 针对取模分布方式扩容不方便的问题,引入了按照路由表分布。

    缩小数据集合的切分粒度,比如N台机器,存放的数据集是mN.定义一张路由表,给出每个数据集存放在哪个机器上。当数据量增大时,数据集个数保持不变,而每个集合内的数据量增加。机器数从N增加到N+i, 则每个机器上存放的数据集个数减少,变为mN/(N+i)。这时,让之前的N台机器上各取出mi/(N+i)个数据集重新分布到新增的i台机器上。然后只需要重新定义一张新的路由表,建立一个新的路由关系。

    这样的好处是,扩容的时候,不需要对所有的数据做重新分布,只需要对需要变动的数据进行搬迁。一个要求是m需要取到一个合理的数值,使得N+i=系统设计的最大机器时,每个机器上仍然能够保存接近均匀数目的数据集。


    3) 按照时间划分,根据预期每天需要索引的数据量,计算出,每台机器能够承载的索引天数。第[iN,(i+1)N)天内的数据放到第i台机器上。这样处理的好处是扩容方便,直接增加新的机器用来存放新的索引,老的机器和数据不用动。缺点是docid定位不方面,没有明显的规则快速计算出一个doc存在在哪个机器上。


    4) 按照doc的类型来划分。

    数据的类型可以有多种定义:比如按照来源类型(新闻,博客,论坛...),按照数据的好坏(pr高低,是否重点网站)按照类型划分的好处是,可以根据检索请求,针对不同类型的数据做不同的检索处理。这种划分方式通常和其它的划分方式复用。


    5)按照索引项来划分。倒排索引的组织结构是一系列索引项到每个索引项存在的文档序列的映射。当数据量大到无法用单机来装载时,则可以按照索引项进行分割,不同的机器存放不同索引项的倒排列表。 索引项分割的方式也可以有多种

    i.简单按照索引项ID取模

    ii.按照索引项的访问频度;访问频度高的可以在多个机器上存放多套索引。

按照索引项来划分的缺点是,在检索时,如果一个检索串涉及到多个索引项的求交。而这多个索引项可能分布到多个不同的机器,则需要将这几个索引项的倒排数据传输到一个集中的机器上进行求交处理。这将增加系统的复杂性和检索耗时。


    6)混合划分部署

    现实应用中,往往不是简单的使用上面的一种划分,而是将多种划分混合使用。比如先按照时间来做一层划分,分离出时新性数据和非时新性数据。对非时新性数据再按照页面质量划分,按照数据类型划分,按照文档取模/路由划分,特定的数据会再按照索引项来划分。


    以上是各种常见对索引数据在多机上分布的方式。前些年google开发了gfs, bigtable等分布式系统,来通过进行数据的分布式存储管理,并提供自适应的多副本容灾容错,平台扩容等功能。国内外各大公司和开源组织也跟上开发类似的系统。其基本的原理也可以认为是采用了一种类似路由表的方式来对数据进行分布查找定位。当然,使用这样系统的好处是上层应用在某种程度上,不需要关心数据与底层具体硬件位置的关联了。

    欢迎大家一起探讨。

### 光流法C++源代码解析与应用 #### 光流法原理 光流法是一种在计算机视觉领域中用于追踪视频序列中运动物体的方法。它基于亮度不变性假设,即场景中的点在时间上保持相同的灰度值,从而通过分析连续帧之间的像素变化来估计运动方向和速度。在数学上,光流场可以表示为像素位置和时间的一阶导数,即Ex、Ey(空间梯度)和Et(时间梯度),它们共同构成光流方程的基础。 #### C++实现细节 在给定的C++源代码片段中,`calculate`函数负责计算光流场。该函数接收一个图像缓冲区`buf`作为输入,并初始化了几个关键变量:`Ex`、`Ey`和`Et`分别代表沿x轴、y轴和时间轴的像素强度变化;`gray1`和`gray2`用于存储当前帧和前一帧的平均灰度值;`u`则表示计算出的光流矢量大小。 #### 图像处理流程 1. **初始化和预处理**:`memset`函数被用来清零`opticalflow`数组,它将保存计算出的光流数据。同时,`output`数组被填充为白色,这通常用于可视化结果。 2. **灰度计算**:对每一像素点进行处理,计算其灰度值。这里采用的是RGB通道平均值的计算方法,将每个像素的R、G、B值相加后除以3,得到一个近似灰度值。此步骤确保了计算过程的鲁棒性和效率。 3. **光流向量计算**:通过比较当前帧和前一帧的灰度值,计算出每个像素点的Ex、Ey和Et值。这里值得注意的是,光流向量的大小`u`是通过`Et`除以`sqrt(Ex^2 + Ey^2)`得到的,再乘以10进行量化处理,以减少计算复杂度。 4. **结果存储与阈值处理**:计算出的光流值被存储在`opticalflow`数组中。如果`u`的绝对值超过10,则认为该点存在显著运动,因此在`output`数组中将对应位置标记为黑色,形成运动区域的可视化效果。 5. **状态更新**:通过`memcpy`函数将当前帧复制到`prevframe`中,为下一次迭代做准备。 #### 扩展应用:Lukas-Kanade算法 除了上述基础的光流计算外,代码还提到了Lukas-Kanade算法的应用。这是一种更高级的光流计算方法,能够提供更精确的运动估计。在`ImgOpticalFlow`函数中,通过调用`cvCalcOpticalFlowLK`函数实现了这一算法,该函数接受前一帧和当前帧的灰度图,以及窗口大小等参数,返回像素级别的光流场信息。 在实际应用中,光流法常用于目标跟踪、运动检测、视频压缩等领域。通过深入理解和优化光流算法,可以进一步提升视频分析的准确性和实时性能。 光流法及其C++实现是计算机视觉领域的一个重要组成部分,通过对连续帧间像素变化的精细分析,能够有效捕捉和理解动态场景中的运动信息
微信小程序作为腾讯推出的一种轻型应用形,因其便捷性与高效性,已广泛应用于日常生活中。以下为该平台的主要特性及配套资源说明: 特性方面: 操作便捷,即开即用:用户通过微信内搜索或扫描二维码即可直接使用,无需额外下载安装,减少了对手机存储空间的占用,也简化了使用流程。 多端兼容,统一开发:该平台支持在多种操作系统与设备上运行,开发者无需针对不同平台进行重复适配,可在一个统一的环境中完成开发工作。 功能丰富,接口完善:平台提供了多样化的API接口,便于开发者实现如支付功能、用户身份验证及消息通知等多样化需求。 社交整合,传播高效:小程序深度嵌入微信生态,能有效利用社交关系链,促进用户之间的互动与传播。 开发成本低,周期短:相比传统应用程序,小程序的开发投入更少,开发周期更短,有助于企业快速实现产品上线。 资源内容: “微信小程序-项目源码-原生开发框架-含效果截图示例”这一资料包,提供了完整的项目源码,并基于原生开发方构建,确保了代码的稳定性与可维护性。内容涵盖项目结构、页面设计、功能模块等关键部分,配有详细说明与注释,便于使用者迅速理解并掌握开发方法。此外,还附有多个实际运行效果的截图,帮助用户直观了解功能实现情况,评估其在实际应用中的表现与价值。该资源适用于前端开发人员、技术爱好者及希望拓展业务的机构,具有较高的参考与使用价值。欢迎查阅,助力小程序开发实践。资源来源于网络分享,仅用于学习交流使用,请勿用于商业,如有侵权请联系我删除!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值