一个简单的爬虫douban_list_spider.py

最新推荐文章于 2021-09-18 12:53:03 发布
原创 最新推荐文章于 2021-09-18 12:53:03 发布 · 939 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Python

本文介绍了一个简单的Python爬虫douban_list_spider.py，用于从豆瓣抓取电影、书籍或音乐的条目信息。通过配置变量object、tag_list和page_num，可以执行抓取并输出到指定文件。
部署运行你感兴趣的模型镜像

源码在此：
https://github.com/CuiBinghua/douban_list_spider/blob/master/douban_list_spider.py



1. 简介

douban_list_spider.py是一个简单的爬虫，可以根据关键字抓取豆瓣电影、豆瓣读书或者豆瓣音乐的条目信息.

2. Python环境

本人的Python版本为：2.6.6
另外还需要安装必要的Python插件：
$ easy_install requests
$ easy_install BeautifulSoup4

3. 执行抓取

首先对douban_list_spider.py中的变量object、tag_list和page_num进行配置。
然后执行命令即可：
$ python douban_list_spider.py
最后，就可以在相同目录下查看到输出文件movie_list.txt、book_list.txt或者music_list.txt了。

4. 参考资料

http://plough-man.com/?p=379

https://github.com/plough/myCrawler/blob/master/doubanBook/book_list_spider.py

您可能感兴趣的与本文相关的镜像

Python3.8

Python3.8

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

douban_spider.py
12-07
豆瓣电影Top10 爬虫 user-agent 代理自己指定下 直接下载 pycharm直接跑就可以，数据保存为xls Python语言的
douban.py爬虫代码
07-29
进行豆瓣网的爬取，主要是豆瓣网的图片，爬取图片之后可以保存到本地
spider.py, spider.py.zip
10-10
spider.py, spider.py 关于该爬虫( 爬虫有坑。初学时编写，仅供参考)程序运行示例：Spider.py -u url -d深度日志文件默认当前目录，名字：spider。log##主要参考：http://bbs.chinaunix.net
编写Spider.py
zhangyu4863的博客
06-22 3万+
# -*- coding:utf-8 -*- # urllib库 from urllib.request import urlopen # 从urllib库的requests模块导入urlopen函数 html = urlopen("http://pythonscraping.com/pages/page1.html") # 抓取信息 print(html.read()) # 读取信息并打...
douban_list_spider:douban_list_spider.py是一个简单的爬虫，可以根据关键字抓取豆瓣电影、豆瓣读书或者豆瓣音乐的条目信息
04-29
douban_list_spider.py是一个简单的爬虫，可以根据关键字抓取豆瓣电影、豆瓣读书或者豆瓣音乐的条目信息. 2. Python环境 本人的Python版本为：2.6.6 另外还需要安装必要的Python插件： $ easy_install requests $ ...
豆瓣爬虫工具douban_list_spider.py使用指南
标题中的知识点主要涉及一个名为“douban_list_spider.py”的Python爬虫程序，该程序旨在实现对豆瓣网站（一个著名的中文社区网站，提供图书、电影、音乐等文化产品的信息和讨论平台）上电影、读书和音乐类条目信息...
怎么在python中实现DoubanMovie/ ├── scrapy.cfg ├── DoubanMovie/ │ ├── __init__.py │ ├── items.py │ ├── middlewares.py │ ├── pipelines.py │ ├── settings.py │ └── spiders/ │ └── douban_spider.py
05-26
可以在项目根目录下创建一个 `start.py` 文件，调用 Scrapy API 启动爬虫[^3]。 代码示例： ```python import scrapy.cmdline def main(): scrapy.cmdline.execute(['scrapy', 'crawl', 'douban']) if __name__ =...
PS C:\Users\童琪琪\Desktop\bishe.6\biyesheji.6\movie_analysis_project> scrapy list Traceback (most recent call last): File "<frozen runpy>", line 198, in _run_module_as_main File "<frozen runpy>", line 88, in _run_code File "D:\Anaconda\Scripts\scrapy.exe\__main__.py", line 7, in <module> File "D:\Anaconda\Lib\site-packages\scrapy\cmdline.py", line 160, in execute cmd.crawler_process = CrawlerProcess(settings) ^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\Anaconda\Lib\site-packages\scrapy\crawler.py", line 357, in __init__ super().__init__(settings) File "D:\Anaconda\Lib\site-packages\scrapy\crawler.py", line 227, in __init__ self.spider_loader = self._get_spider_loader(settings) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\Anaconda\Lib\site-packages\scrapy\crawler.py", line 221, in _get_spider_loader return loader_cls.from_settings(settings.frozencopy()) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\Anaconda\Lib\site-packages\scrapy\spiderloader.py", line 79, in from_settings return cls(settings) ^^^^^^^^^^^^^ File "D:\Anaconda\Lib\site-packages\scrapy\spiderloader.py", line 34, in __init__ self._load_all_spiders() File "D:\Anaconda\Lib\site-packages\scrapy\spiderloader.py", line 63, in _load_all_spiders for module in walk_modules(name): ^^^^^^^^^^^^^^^^^^ File "D:\Anaconda\Lib\site-packages\scrapy\utils\misc.py", line 106, in walk_modules submod = import_module(fullpath) ^^^^^^^^^^^^^^^^^^^^^^^ File "D:\Anaconda\Lib\importlib\__init__.py", line 90, in import_module return _bootstrap._gcd_import(name[level:], package, level) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "<frozen importlib._bootstrap>", line 1387, in _gcd_import File "<frozen importlib._bootstrap>", line 1360, in _find_and_load File "<frozen importlib._bootstrap>", line 1331, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 935, in _load_unlocked File "<frozen importlib._bootstrap_external>", line 995, in exec_module File "<frozen importlib._bootstrap>", line 488, in _call_with_frames_removed File "C:\Users\童琪琪\Desktop\bishe.6\biyesheji.6\movie_analysis_project\movie_analysis_project\spiders\douban_spider.py", line 5, in <module> from ..items import MovieItem, UserItem, ReviewItem ImportError: cannot import name 'MovieItem' from 'movie_analysis_project.items' (C:\Users\童琪琪\Desktop\bishe.6\biyesheji.6\movie_analysis_project\movie_analysis_project\items.py) PS C:\Users\童琪琪\Desktop\bishe.6\biyesheji.6\movie_analysis_project>
最新发布
11-15
你遇到的错误是： ``` ImportError: cannot import name 'MovieItem' from 'movie_analysis_project.items' ...然后把你写的 `maoyan_spider.py` 和 `douban_spider.py` 放进 `spiders/` 目录，并改用绝对导入。 ---
(.venv) PS D:\python\pythonProject1-scrapy\myproject> scrapy crawl douban_movies -o news.csv Traceback (most recent call last): File "D:\python\python38\lib\runpy.py", line 192, in _run_module_as_main return _run_code(code, main_globals, None, File "D:\python\python38\lib\runpy.py", line 85, in _run_code exec(code, run_globals) File "D:\python\pythonProject1-scrapy\.venv\Scripts\scrapy.exe\__main__.py", line 7, in <module> File "D:\python\pythonProject1-scrapy\.venv\lib\site-packages\scrapy\cmdline.py", line 160, in execute cmd.crawler_process = CrawlerProcess(settings) File "D:\python\pythonProject1-scrapy\.venv\lib\site-packages\scrapy\crawler.py", line 357, in __init__ super().__init__(settings) File "D:\python\pythonProject1-scrapy\.venv\lib\site-packages\scrapy\crawler.py", line 227, in __init__ self.spider_loader = self._get_spider_loader(settings) File "D:\python\pythonProject1-scrapy\.venv\lib\site-packages\scrapy\crawler.py", line 221, in _get_spider_loader return loader_cls.from_settings(settings.frozencopy()) File "D:\python\pythonProject1-scrapy\.venv\lib\site-packages\scrapy\spiderloader.py", line 79, in from_settings return cls(settings) File "D:\python\pythonProject1-scrapy\.venv\lib\site-packages\scrapy\spiderloader.py", line 34, in __init__ self._load_all_spiders() File "D:\python\pythonProject1-scrapy\.venv\lib\site-packages\scrapy\spiderloader.py", line 63, in _load_all_spiders for module in walk_modules(name): File "D:\python\pythonProject1-scrapy\.venv\lib\site-packages\scrapy\utils\misc.py", line 106, in walk_modules submod = import_module(fullpath) File "D:\python\python38\lib\importlib\__init__.py", line 127, in import_module return _bootstrap._gcd_import(name[level:], package, level) File "<frozen importlib._bootstrap>", line 1014, in _gcd_import File "<frozen importlib._bootstrap>", line 991, in _find_and_load File "<frozen importlib._bootstrap>", line 975, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 671, in _load_unlocked File "<frozen importlib._bootstrap_external>", line 783, in exec_module File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed File "D:\python\pythonProject1-scrapy\myproject\myproject\spiders\douban_movies.py", line 2, in <module> from movie1905.items import NewsItem ModuleNotFoundError: No module named 'movie1905' (.venv) PS D:\python\pythonProject1-scrapy\myproject>
05-27
首先，我要回忆一下Scrapy项目的结构，通常一个Scrapy项目会有项目名、spiders目录、items.py等文件。用户可能是在导入movie1905模块时路径设置不正确。引用[1]、[2]、[3]、[4]都提到了类似的问题，比如项目结构不...
base_spider.py
05-22
用requests封装的爬虫类,可以兼容get和post两种请求, 配置了代理, headers, cookie等功能. 可以根据实际情况进行继承使用. 在使用过程中, 英灵活使用重写和传参两种方法提高代码的可用性和可读性(如固定的cookie可以直接写到类的headers属性里, 变化的cookie可以从外部传参进来等.)
Douban_Spider_spider_爬虫可视化_爬虫_python_badunh_
10-02
豆瓣热门电影爬虫，用于爬取分析影库中电影质量和可视化
python爬取网页数据+json数据处理+post请求处理-spider.py
08-18
python3代码，包含了处理post请求爬取网页数据代码，注释部分包括对json数据的处理。如果有疑问，随时扣me *-*
spider.py爬虫教程实例代码供新手使用
06-21
软件开发
Python之网络爬虫完全教程
roler_的专栏
07-19 2万+
[Python]网络爬虫（一）：抓取网页的含义和URL基本构成 一、网络爬虫的定义 网络爬虫，即Web Spider，是一个很形象的名字。 把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。 网络蜘蛛是通过网页的链接地址来寻找网页的。 从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址， 然后通过这些链接地址寻找下一
网页爬虫python代码_Python spider.py蜘蛛爬虫文件代码
weixin_39535527的博客
11-24 537
时间：2019-03-02概述：爬虫一个应用于知乎网站后台的spider.py蜘蛛爬虫文件代码，来自Python的代码，分享如下：__author__ = 'waiting'import os,re,codecs,urllib,io,gzip,zlibfrom urllib import requestfrom bs4 import BeautifulSoupimport chardet#Down...
spider/pyspider基础
幸福在路上
01-27 4116
一、爬虫的基本思路（以下内容选自《知乎》） 链接：http://www.zhihu.com/question/20899988/answer/24923424 想象你是一只蜘蛛，现在你被放到了互联“网”上。那么，你需要把所有的网页都看一遍。怎么办呢？没问题呀，你就随便从某个地方开始，比如说人民日报的首页，这个叫initial pages，用$表示吧。 在人民日报的首页，你看到
基于C++的Proxy list spider编写历程
huyangc的专栏
07-16 1605
1、首先熟悉怎样将网页的html文件下载到本地，因为C++部分是作为一个exe进行调用，所以不考虑使用MFC中的相关类，于是上网搜了一下，发现使用libcurl可以比较好地进行下载HTML文件，虽然这样做将libcurl的功能发挥的较为局限，可谓是大材小用了，不过既然网上有现有的代码所以就直接使用网上拥有的使用libcurl进行网页HTML下载的代码了。#include #include #inc
Python 爬虫（Spider）基础
热门推荐
木之的博客
09-18 3万+
Python 爬虫（Spider）基础 - 大约16万字爬虫（Spider）1、Python 基础1.Python 环境安装1.1 下载 Python1.2 安装 Python1.3 测试是否安装成功1.4 配置 Python 环境变量2.pip 的使用2.1 安装2.2 配置2.3 使用 pip 管理 Python 包2.4 修改 pip 下载源2.4.1 临时修改2.4.2 永久修改3.运行 Python 程序3.1 终端运行3.2 运行 Python 文件3.3 Pycharm（IDE 集成开发环境）
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值