AutoScraper项目教程

AutoScraper项目教程

AutoScraper Official implement of paper "AutoScraper: A Progressive Understanding Web Agent for Web Scraper Generation" [EMNLP 24'] 项目地址: https://gitcode.com/gh_mirrors/aut/AutoScraper

1. 项目目录结构及介绍

AutoScraper项目是一个用于生成网络爬虫的开源项目，其目录结构如下：

• assets: 存放项目所需的静态资源文件。
• data: 包含项目使用的数据集。
• module: 存储项目的主要模块和脚本。
• run_ds1: 运行数据集1的相关脚本。
• run_klarna: 运行Klarna数据集的相关脚本。
• run_swde: 运行SWDE数据集的相关脚本。
• run_swde_et: 运行SWDE增强数据集的相关脚本。
• utils: 存放项目通用的工具类和函数。
• .gitignore: 指定Git忽略的文件和目录。
• LICENSE: 项目的开源许可证文件。
• README.md: 项目的说明文档。
• crawler_count.py: 爬虫计数脚本。
• crawler_extraction.py: 爬虫数据提取脚本。
• crawler_generation.py: 爬虫生成脚本。
• requirements.txt: 项目依赖的Python库列表。
• run.sh: 项目启动脚本。

2. 项目的启动文件介绍

项目的启动文件是run.sh脚本，该脚本用于启动项目。以下是run.sh的内容：

# 更新 README.md
git pull

# 启动爬虫生成
python crawler_generation.py \
--pattern reflexion \
--dataset swde \
--model ChatGPT \
--seed_website 3 \
--save_name ChatGPT \
--overwrite False

# 启动数据提取
python crawler_extraction.py \
--pattern autocrawler \
--dataset swde \
--model GPT4

# 评估提取结果
python run_swde/evaluate.py \
--model GPT4 \
--pattern autocrawler

这个脚本会执行以下步骤：

1. 从Git仓库拉取最新的更改。
2. 运行crawler_generation.py脚本生成爬虫。
3. 运行crawler_extraction.py脚本提取数据。
4. 运行evaluate.py脚本评估提取结果。

3. 项目的配置文件介绍

项目的配置文件主要是requirements.txt，该文件列出了项目依赖的Python库。以下是requirements.txt的内容示例：

# 项目依赖的Python库
numpy==1.21.2
pandas==1.3.0
scikit-learn==0.24.2
torch==1.10.0
transformers==4.16.0

在开始项目之前，需要确保这些依赖库已经被安装。可以使用以下命令安装：

pip install -r requirements.txt

确保所有依赖都安装完成后，就可以按照run.sh脚本中的步骤启动项目了。

AutoScraper Official implement of paper "AutoScraper: A Progressive Understanding Web Agent for Web Scraper Generation" [EMNLP 24'] 项目地址: https://gitcode.com/gh_mirrors/aut/AutoScraper