Ubuntu下Scrapy安装

本文详细介绍了在Ubuntu 14.10环境下安装Scrapy爬虫框架的过程,包括安装必要的依赖包如python-dev等,并提供了验证安装成功的步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 

在这篇文章中将记录我在Ubuntu下安装Scrapy。
废话不多说,下面进入正题。


我的系统版本:
Ubuntu 14.10
这里写图片描述

由于此次安装主要通过命令下载安装,因此需要保证网络通畅。


安装的流程和在Windows下几乎一样,首先安装Python,其次再是各种插件的安装。由于Ubuntu已经自带了Python,因此就不在需要重新安装Python了。我的Ubuntu自带的Python版本是Python2.7.8.
并且Ubuntu中已经自带了lxml和OpenSSL,因此就不再需要安装这两个插件了。
这里写图片描述


接下来安装。
1 安装python-dev。命令:

sudo apt-get install python-dev
  • 1

这里写图片描述

2 依次安装以下东东

sudo apt-get install build-essential
sudo apt-get install libxml2-dev
sudo apt-get install libxslt1-dev
sudo apt-get install python-setuptools
  • 1
  • 2
  • 3
  • 4

这里写图片描述

3 接下来安装Scrapy

sudo easy_install Scrapy
  • 1

这里写图片描述
这里写图片描述

4 验证scrapy安装成功,在Commad中输入命令scrapy,出现如下所示,则表示安装成功
这里写图片描述

也可以直接用scrapy shell 爬一个网页看是否可以,如果没有问题,则表示Scrapy框架安装成功,如下:
这里写图片描述


我也是刚刚学习安装的。前些天在Windows下安装好了Scrapy(今天下午才将安装流程写成博客),也用Python+Scrapy框架写了几个简单的爬虫程序。确实很爽,不过由于写的太简单没有什么亮点就没有写博客了。如果大家由好的idea的题目可以写在评论里,大家一起学习啊。

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值