ubuntu 安装scrapy error :wisted/test/raiser.c:4:20: fatal error: Python.h: No such file or directory

最新推荐文章于 2022-08-03 11:24:11 发布

原创最新推荐文章于 2022-08-03 11:24:11 发布 · 1.4k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#scrapy

本文介绍了如何解决在编译过程中遇到的Python.h文件缺失错误。通过安装python-dev和python3-dev包，可以有效解决这一问题。

wisted/test/raiser.c:4:20: fatal error: Python.h:  No such file or directocompilation terminated.error: command 'x86_64-linux-gnu-gcc' failed with exit status 1

运行如下命令即可

sudo apt-get install python-dev
sudo apt-get install python3-dev

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

zzzcl112

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

安装scrapy报错 Python.h: 没有那个文件或目录

jasonLee的博客

05-23

1105

安装scrapy的时候报错，其实这个错误是一个间接，由其依赖引起。 build/temp.linux-x86_64-2.7/twisted/test/raiser.o twisted/test/raiser.c:4:20: fatal error: Python.h: 没有那个文件或目录 #include “Python.h” ^ compilation terminated. er...

scrapy安装报错KeyError: ‘scrapy‘，File “/usr/local/lib/python3.5/dist-packages/pip/_vendor/resolvelib/res

Lion

05-18

1217

Traceback (most recent call last): File "/usr/local/lib/python3.5/dist-packages/pip/_vendor/resolvelib/resolvers.py", line 171, in _merge_into_criterion crit = self.state.criteria[name] KeyError: 'scrapy'

参与评论您还未登录，请先登录后发表或查看评论

CentOS7安装twisted报错： src/twisted/test/raiser.c:4:20: fatal error: Python.h : No such file or direc

任我行的博客

07-18

3313

问题： CentOS7安装twisted报错： src/twisted/test/raiser.c:4:20: fatal error: Python.h : No such file or directory #include "Python.h" ^ compilation terminated. ...

centos7安装twisted出现“致命错误：Python.h：没有那个文件或目录”的终极解决办法

lckj2009的专栏

07-24

4022

新安装的centos7，yum也update了，许多插件都安装了。可是在安装twisted时出现了： ERROR: Command errored out with exit status 1: command: /usr/bin/python3 -u -c 'import sys, …………………… 当然，最后结尾还不忘记给你来个： src/twisted/test/raiser.c...

【scrapy】Ubuntu安装scrapy报错：fatal error: Python.h: No such file or directory

瘦熊的博客

07-13

362

src/twisted/test/raiser.c:4:10: fatal error: Python.h: No such file or directory #include "Python.h" ^~~~~~~~~~ compilation terminated. error: command 'x86_64-linux-gnu-gcc' failed with exi...

fatal error: Python.h: 没有那个文件或目录解决方法

热门推荐

z120379372的博客

12-26

3万+

这几天安装scrapy 先说下环境虚拟机Ubuntu16.04 系统默认Python 2.7.12 ，系统还自带3.5版本的，后来自己又装了3.6版本。在系统安装过程中，总是到twisted时报错，因为是源码安装的，所以系统要进行编译，但是找不到python.h文件！！！报错如下 creating build/temp.linux-x86_64-2.7/sr

初学者scrapy框架爬取数据不成功，出现ERROR: Spider error processing错误问题的解决方法

05-11

### Scrapy框架爬虫错误处理及解决方案 #### 一、问题背景对于初学者而言，在使用Scrapy框架进行网络爬虫开发的过程中，经常会遇到各种各样的错误，其中一种较为常见的错误便是“Spider error processing”（蜘蛛...

重装系统后python环境问题后续——scrapy生成spider报错：Fatal error in launcher: Unable to create process using

12-20

重装系统后python环境问题后续：scrapy报错：Fatal error in launcher: Unable to create process using'”c:\users\administrator\appdata\local\programs\python\python37\python.exe” “D:\Users\Administrator\...

Scrapy爬取网站：Quotes to Scrape

10-17

这是一个scrapy官方提供的网站：http://quotes.toscrape.com/ ，网页很简单，麻雀虽小五脏俱全。就用这个网站详细演示下Scrapy基础使用方法。参见博客：https://blog.csdn.net/qq_42776455/article/details/83116164

基于Python的网易新闻Scrapy爬虫：数据分析与可视化大屏展示-毕业源码案例设计.rar

04-18

基于Python的网易新闻Scrapy爬虫：数据分析与可视化大屏展示-毕业源码案例设计.rar基于Python的网易新闻Scrapy爬虫：数据分析与可视化大屏展示-毕业源码案例设计.rar基于Python的网易新闻Scrapy爬虫：数据分析与可视...

【linux下 scrapy 安装】Python.h: No such file or directory

赖德发的博客

09-16

1248

pip install scrapy出现错误： Python.h: No such file or directory解决办法：# CentOS 使用下面命令 # yum install python-devel

centos 安装pysqlite-2.8.3.tar.gz src/connection.h:26:20: fatal error: Python.h: No such file or direct

巫山云的专栏

03-02

2112

将安装包pysqlite-2.8.3.tar.gz下载发哦服务器后，运行pip install pysqlite-2.8.3.tar.gz 出现报错： src/connection.h:26:20: fatal error: Python.h: No such file or directory 解决办法： yum install python-dev 或者 python-de

linux安装scrapy报错 Python.h: 没有那个文件或目录

alw_123的博客

11-11

831

安装scrapy的时候报错，其实这个错误是一个间接，由其依赖引起。 build/temp.linux-x86_64-3.4/twisted/test/raiser.o twisted/test/raiser.c:4:20: fatal error: Python.h: 没有那个文件或目录 include “Python.h” ^ compilation terminated.

Ubuntu系统上脚本文件执行时报No such file or directory的问题

我的博客

03-17

2652

Ubuntu等linux系统上脚本文件功能十分强大，但是有时稍不注意会出现一些莫名其妙的问题。比如，当执行一个脚本文件时，命名文件存在，命令中的路径也没问题，但是执行脚本文件时会报No such file or directory的错误。如果报上述错误时，提示信息中同时打印了脚本文件中的某一行或某几行的内容，这往往是由于脚本文件中存在语法问题，一种情况就是脚本中赋值语句中变量名称使

Ubuntu与WIN7建立共享文件夹

Keenite的专栏

08-11

2215

Ubuntu 10.10与局域网中的Windows文件共享详细操作步骤 2010-12-14 14:27 文章来自互联网，正文经过测试，很顺利！我在ubuntu里共享文件夹的时候出现了一个问题：建立共享文件出现如下提示（就是正文里的ubuntu安装完共享服务

Python.h: No such file or directory

嵌入式攻城狮

08-03

6961

多版本 python 时安装包遇到 Python.h: No such file or directory 错误，原因是对应当前 python 版本的 include 目录中没有对应的文件。

使用pycharm和scrapy框架https://movie.douban.com/top250进行爬虫并保存至excel

最新发布

11-04

使用PyCharm和Scrapy框架进行豆瓣电影Top250的爬虫，并将其结果保存到Excel文件，可以按照以下步骤操作： 1. **安装依赖**: - 首先确保已经安装了Python、Scrapy、requests和pandas库。如果还没有安装，可以在终端中运行以下命令： ``` pip install scrapy requests pandas openpyxl ``` 2. **创建Scrapy项目**: - 打开PyCharm，点击"Create New Project"，选择"Scrapy"模板，给项目命名，然后完成创建。 3. **编写Spider**: - 在`spiders`目录下新建一个Python文件，比如` douban_spider.py`。在这个文件里，定义Scrapy Spider: ```python import scrapy from scrapy.http import Request class DoubanTop250Spider(scrapy.Spider): name = 'douban_top250' start_urls = ['https://movie.douban.com/top250'] def parse(self, response): for movie in response.css('div.item'): title = movie.css('span.title a::text').get() rating = movie.css('.rating_num strong::text').get() yield { 'title': title, 'rating': rating, } def __init__(self): super().__init__() # 如果你想每页都抓取，保留此行；否则，可以删除，仅抓取第一页 self.start_urls.append(response.urljoin('https://movie.douban.com/top250?start=25')) ``` 4. **设置下载中间件处理反爬策略**: - 在`settings.py`中添加对`RobotsTxtMiddleware`的支持，以及配置下载延迟以避免过于频繁地请求服务器： ```python ROBOTSTXT_OBEY = True DOWNLOAD_DELAY = 2 # 设置每次请求之间的延迟时间 ``` 5. **运行爬虫并保存数据**: - 在PyCharm的Scrapy插件中，选择刚刚创建的项目，然后运行`scrapy crawl douban_top250`。爬虫会开始抓取数据，完成后，数据会被存储在`items`目录下的`.json`文件中。 6. **读取数据并转存为Excel**: - 使用pandas读取爬取的数据，然后写入Excel： ```python import json import pandas as pd # 加载json数据 with open('douban_top250.json', 'r', encoding='utf-8') as f: data = json.load(f) df = pd.DataFrame(data) df.to_excel('douban_movie_data.xlsx', index=False) ```