SWELancer-Benchmark 开源项目使用教程

SWELancer-Benchmark 开源项目使用教程

SWELancer-Benchmark This repo contains the dataset and code for the paper "SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?" 项目地址: https://gitcode.com/gh_mirrors/sw/SWELancer-Benchmark

1. 项目介绍

SWELancer-Benchmark 是一个开源项目，包含了用于研究论文 "SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?" 的数据和代码。该项目旨在探索前沿的大型语言模型（LLM）在真实世界中的软件开发自由职业市场中是否能实现高额收入。

2. 项目快速启动

以下步骤将帮助您快速启动 SWELancer-Benchmark 项目：

环境准备

• 确保您的系统中安装了 Python 3.11，这是项目推荐的最稳定版本。
• 安装 Docker，因为项目运行需要使用 Docker 容器。

克隆项目

首先，您需要克隆项目到本地：

git clone https://github.com/openai/SWELancer-Benchmark.git
cd SWELancer-Benchmark

配置虚拟环境

项目提供了一个预配置的虚拟环境，您可以使用以下命令来激活它：

uv sync
source .venv/bin/activate

如果您希望使用自己的虚拟环境，可以按照以下步骤操作：

python -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

构建 Docker 镜像

根据您的计算机架构，使用以下命令之一来构建 Docker 镜像：

对于 Apple Silicon 或其他 ARM64 系统：

docker buildx build -f Dockerfile -t swelancer .

对于 Intel-based Mac 或其他 x86_64 系统：

docker buildx build -f Dockerfile_x86 --platform linux/amd64 -t swelancer .

运行 Docker 容器

构建完成后，您可以使用以下命令启动 Docker 容器：

docker run --name swelancer -it swelancer

配置环境变量

创建一个 .env 文件，并从中复制 sample.env 文件的内容。确保您已经设置了 OpenAI API 密钥和用户名。

运行 SWE-Lancer

使用以下命令运行 SWE-Lancer：

uv run python run_swelancer.py

3. 应用案例和最佳实践

资源管理

• 在您的 ComputerInterface 实现中，确保适当地清理资源。
• 在任务完成后，适当地管理容器或虚拟机的生命周期。
• 清理临时文件以避免不必要的存储占用。

安全性

• 在任务之间实现适当的隔离。
• 适当地处理敏感数据。
• 控制网络访问，确保安全性。

可扩展性

• 考虑实现计算资源池，以处理并发任务。
• 设置适当的资源限制，以确保系统稳定运行。

错误处理

• 在您的代码中实现健壮的错误处理。
• 提供有意义的错误消息，以便快速定位问题。
• 温和地处理网络问题。

4. 典型生态项目

目前，SWELancer-Benchmark 项目主要集中在研究大型语言模型在软件开发中的应用。在开源生态中，类似的项目还包括：

• 用于自然语言处理的开源工具库，如 transformers。
• 用于自动化机器学习实验的开源平台，如 MLflow。

通过这些项目的结合使用，开发者和研究者可以更好地探索和利用大型语言模型的潜力。

SWELancer-Benchmark This repo contains the dataset and code for the paper "SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?" 项目地址: https://gitcode.com/gh_mirrors/sw/SWELancer-Benchmark