PC Part Dataset 项目使用教程

PC Part Dataset 项目使用教程

pc-part-dataset A dataset of PC parts scraped from PCPartPicker 项目地址: https://gitcode.com/gh_mirrors/pc/pc-part-dataset

1. 项目目录结构及介绍

pc-part-dataset/
├── data/
│   ├── ... (数据文件，包括JSON、JSON Lines和CSV格式)
├── src/
│   ├── ... (源代码文件)
├── .editorconfig
├── .gitignore
├── .prettierrc.json
├── API.md
├── LICENSE
├── README.md
├── package-lock.json
├── package.json
└── tsconfig.json

目录结构说明

• data/: 包含从PCPartPicker抓取的PC部件数据，格式包括JSON、JSON Lines和CSV。
• src/: 项目的源代码文件，包含抓取和处理数据的脚本。
• .editorconfig: 编辑器配置文件，用于统一代码风格。
• .gitignore: Git忽略文件，指定哪些文件或目录不需要被Git管理。
• .prettierrc.json: Prettier配置文件，用于代码格式化。
• API.md: API文档，描述JSON属性描述和产品类别。
• LICENSE: 项目许可证文件，本项目使用MIT许可证。
• README.md: 项目说明文件，包含项目的基本信息和使用说明。
• package-lock.json: 锁定依赖包的版本。
• package.json: 项目的配置文件，包含依赖包和脚本命令。
• tsconfig.json: TypeScript配置文件，用于配置TypeScript编译选项。

2. 项目启动文件介绍

项目的启动文件是package.json中的start脚本。通过运行以下命令启动抓取器：

npm run start

启动文件说明

• start: 启动抓取器，开始从PCPartPicker抓取PC部件数据。
• dev: 启动抓取器，但不进行类型检查。
• count: 运行counter.ts，获取/data-staging/json或指定目录中的部件数量。
• output: 运行output.ts，将JSONL和CSV格式输出到/data-staging或指定目录。
• zip: 将/data目录中的JSON、JSONL和CSV文件夹压缩。

3. 项目的配置文件介绍

package.json

package.json是Node.js项目的配置文件，包含项目的元数据和依赖包信息。以下是关键配置项：

{
  "name": "pc-part-dataset",
  "version": "1.0.0",
  "scripts": {
    "start": "node src/index.js",
    "dev": "node src/index.js --no-typecheck",
    "count": "node src/counter.ts",
    "output": "node src/output.ts",
    "zip": "node src/zip.js"
  },
  "dependencies": {
    "axios": "^0.21.1",
    "csv-parser": "^3.0.0",
    "json-lines": "^1.0.0"
  }
}

tsconfig.json

tsconfig.json是TypeScript项目的配置文件，用于配置TypeScript编译选项。以下是关键配置项：

{
  "compilerOptions": {
    "target": "ES6",
    "module": "CommonJS",
    "strict": true,
    "esModuleInterop": true,
    "skipLibCheck": true,
    "forceConsistentCasingInFileNames": true
  },
  "include": ["src/**/*"],
  "exclude": ["node_modules"]
}

.prettierrc.json

.prettierrc.json是Prettier的配置文件，用于代码格式化。以下是关键配置项：

{
  "singleQuote": true,
  "trailingComma": "all",
  "printWidth": 80
}

通过以上配置文件，可以确保项目的代码风格统一，并且能够正确编译和运行。

pc-part-dataset A dataset of PC parts scraped from PCPartPicker 项目地址: https://gitcode.com/gh_mirrors/pc/pc-part-dataset