python之scrapy框架

p_utao

于 2021-01-28 17:11:14 发布

阅读量117

点赞数

分类专栏： python编程文章标签： python linux

本文链接：https://blog.youkuaiyun.com/p_utao/article/details/113333578

版权

python编程专栏收录该内容

13 篇文章

订阅专栏

本文详细介绍了如何在Linux系统中安装Python及其管理工具pip，接着讲解了安装Scrapy爬虫框架的步骤，并提供了验证安装成功的方法。通过创建Scrapy项目和设置爬取配置，读者能够快速上手Scrapy进行网络数据抓取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

介绍

在这里插入图片描述

linux下安装

找到python目录，可以使用命令列出当前所有python版本的路径
whereis python

进入到python的目录中
cd 目录

更新一下
sudo apt update

安装pip
sudo apt install python3-pip

然后安装scrapy
pip install scrapy

验证一下：
在这里插入图片描述

创建工程

scrapy startproject test1

设置爬取字段、设置保存爬取内容、设置文件如：user-Agent
在这里插入图片描述

案例

https://blog.youkuaiyun.com/zjiang1994/article/details/52779537