2.海量数据部署与高实时查询需求分析说明书

本文探讨了如何将大规模数据转化为小块数据并构建高效索引,通过使用BerkeleyDB实现快速查询,旨在解决2.2亿条博文数据的索引与检索问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

思路分析图(海量数据索引构建、分发布署、查询过程)
总体思路:大数据转化成小块数据,根据小块建立索引,在搜索时候直接定位到小块数据后进行快速查询。
具体思路:
在这里插入图片描述

2.基于2.2亿条博文数据,构建满足条件的索引结构与查询引擎
2.1索引结构与查询引擎其实是一回事,索引定了,查询引擎主要是用已定的索引结构去查询。
2.2输入博文id,拿到博文的详情信息,显然是数据库查询问题
2.3数据库选型分析
承载数据量大、扩展性要好
分布式、轻量级、易布署、易运维
内存与硬盘结合做资源使用
关系型/非关系型

在这里插入图片描述

2.4数据库选择确定
BerkeleyDB(BDB)
优点:
嵌入式数据库
KV型数据库
文件型数据库
历史悠久、成熟、稳定、易布署、易运维、高性能
跨语言支持全面
缺点:
不支持直接网络访问
数据共享不方便
不支持SQL(现在已支持,但应用的不多)

3.需求分析产出

在这里插入图片描述

网上书店系统需求规格说明书 引言 1.1、编写目的 在编写“网上书店系统”软件前,对网上购物系统做了大致的调查,各个层次的用户进行了探讨分析等,之后由软件项目小组向系统分析人员软件设计人员提出规格说明书。该说明书对网上图书系统软件进行了全面细致的用户需求分析,以供概要设计人员阅读。 1.2、项目背景 本项目作为《软件工程》课程的实习项目提出,希望通过《网上书店》电子商务网站 的设计开发,了解软件文档的相关标准和编写原则,训练并掌握软件各类文档写作的技巧。 1.3、定义 WLMS:网上书店管理系统 1.4、参考资料 [1] 周丽娟,王华。新编软件工程实用教程。北京:电子工业出版社,2008。 [2] 周丽娟,王华,谭小慧。软件工程实验课程设计指导。北京:电子工业出版社,2008。 1、任务概述 2.1、目标 “网上书店系统”针对用户可足不出户达到了解所出售书籍的具体情况等,藏书量比较多,可挑选性强,购书者的数量以及来源都没有限制。通过电脑终端的自动化销售,可大大节约人力,可虽短效率时间。相应的需求有如下方面。 1、卖家能够提供图书的形象,并熟练的对进行相应的书籍数据操作和管理,主要包括: (1)图书信息的录入,删除,修改。 (2)图书信息的电子查询,图书的信息概况,以及大致信息。 (3)图书的卖出,卖价资料统计。 2、能够对顾客进行相应的信息存储管理,主要包括: (1)顾客信息的注册,登记,审核,删除,及修改 (2)顾客资料的的统计查询。 (3)顾客的消费情况查询。 3、对需要的数据及结果进行打印输出,保存。 4、提供数据信息的授权访问,登陆限制,以及安全保护,以及信息备份等服务。 2.1、运行环境 Window 98以上。 占用内存<2MB。 所需硬盘大小<10M。 2、3、条件限制 “网上书店系统”基于计算机,因此需要对计算机方面的知识熟悉才能管理,网上信息复杂,木马病毒繁多,本系统对信息,以及读者的消费虽有一系列安全措施,比如防毒防木马方面的工作,以及文件的备份等,安全性能有待进一步加强。 3、数据描述 3.1、静态数据 网上书店系统的静态数据包括如下: 书籍:书号,书名,作者,出版社,价格,摘要,状态(表示是否售出)。 管理员:ID,密码,指纹。 顾客:ID,账号,姓名,联系方式,电子邮件。 图书访问记录:书号,顾客账号,售出序列号,售出日期。 3.2、动态数据 输入查询查询方式,查询关键字。 新书入库,新买家注册。 书籍,顾客情况的修改。 购书的系列号,账户的注销。 操作权限密码。 输出数据:查询的信息。 统计资料输出结果。 书籍的出售情况以及退货信息。 3.3、数据库描述 数据库采用Microsoft Access数据库
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值