53、在线拍卖的并行爬取、内容捕获及信用卡支付方案

在线拍卖的并行爬取、内容捕获及信用卡支付方案

1. 在线拍卖数据的并行爬取架构

每日会产生大量的拍卖投标数据，而拍卖网站会删除超有效期的历史数据以减小数据规模，这使得研究人员难以在拍卖网站上获取这些数据。像Net - Spider系统这类自动工具，爬取和捕获网页数据的速度远超手动收集，因此能有效提高效率。不同的代理系统采用不同的爬取和捕获方法，下面将先探讨网页爬取，内容捕获会在后续阐述。

在研究中，采用多代理系统进行并行爬取，并设计了两种代理用于爬取和捕获，具体如下：
- 探索 - 用户爬取代理 ：在拍卖网站上爬取以查找用户，并维护一个用户ID列表，避免重复爬取。
- 捕获 - 个人资料 - 内容代理 ：检查用户ID列表，选择未访问的用户进行爬取，并捕获拍卖页面的内容以创建用户资料，进而从用户资料中提取投标特征。

爬取方法主要分为以下四种：

1.1 按监控项目爬取

由于已结束的拍卖在拍卖网站的任何销售类别中都无法直接找到，只能通过记录的项目编号来定位。研究人员可监控拍卖类别、查看投标动态并记录项目编号，拍卖结束后，就能依据记录的编号找到相应拍卖，如图1所示。但如果研究人员未记录相关项目编号，就会导致数据丢失。

1.2 按随机项目编号爬取

通常，拍卖网站使用项目编号来定位拍卖，研究人员可更改参数随机搜索拍卖编号，如图2所示。不过，这种搜索方式虽能覆盖广泛的数据区域，但效率不高，因为搜索结果中会包含无效、已删除和未结束的拍卖等不适用信息。此外，并非所有拍卖网站都支持这种搜索方式，不同拍卖网站的项目编号编