Python 抓取豆瓣电影放入表格中__一蓑烟雨任平生

对豆瓣电影Top250榜单的一些探索性分析 业余打发时间看电影是个不错的选择,但是如果看了一部无聊糟心的电影就得不偿失了,所以一些电影方面的榜单就出现了,可以为这些选择困难患者提供一个不错的指南,那些是经典是值得看的,而那些电影不值得你浪费一两个小时的时间。在电影榜单方面,国外最出名的自然是IMDB Top250,这个榜单收集了全球观众评选出的最好看的250部电影,国内最知名的榜单应该是豆瓣电影Top250, 主要反映了国内观众的观影品味(... 阅读详情
# -*- coding: utf-8 -*-
"""
@Time : 2021/1/19 14:14
@Auth : 张张呀
@File :laoshi.py
@IDE :PyCharm
@Motto:ABC(Always Be Coding)
"""
import xlwt
import requests


# 储存到excel表格中
def saveDate(sheet, all_list, book, savepath, page):
    col = ("ID", "标题", "封面图片地址", "电影类型", "电影国别", "电影地址", "电影评分", "上映时间")
    for i2 in range(0, 8):
        sheet.write(0, i2, col[i2])  # 列名
    for i3 in range(0, page):
        b = (all_list[0])[i3]
        c = (all_list[1])[i3]
        d = (all_list[2])[i3]
        e = (all_list[3])[i3]
        f = (all_list[4])[i3]
        g = (all_list[5])[i3]
        h = (all_list[6])[i3]
        j = (all_list[7])[i3]

        print("第%d条输入完成" % (i3 + 1))
        sheet.write((i3 + 1), 0, b)
        sheet.write((i3 + 1), 1, c)
        sheet.write((i3 + 1), 2, d)
        sheet.write((i3 + 1), 3, e)
        sheet.write((i3 + 1), 4, f)
        sheet.write((i3 + 1), 5, g)
        sheet.write((i3 + 1), 6, h)
        sheet.write((i3 + 1), 7, j)

    book.save(savepath)


if __name__ == '__main__':
    savepath = "豆瓣电影.xls"  # 定义保存路径
    book = xlwt.Workbook(encoding="utf-8", style_compression=0)  # 创建workbook对象
    sheet = book.add_sheet('豆瓣电影', cell_overwrite_ok=True)  # 创建工作表
    # url = 'https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action='

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36'}

    movie_id = []
    movie_name = []
    movie_pic_url = []
    movie_types = []
    movie_regions = []
    movie_url = []
    movie_score = []
    movie_release_date = []
    n = 0
    for pp in range(10):
        url = f'https://movie.douban.com/j/chart/top_list?type=17&interval_id=100%3A90&action=&start={pp}&limit=300'
        response = requests.get(url, headers=headers).json()

        for movie in response:
            movie_id.append(movie['id'])
            movie_name.append(movie['title'])
            movie_pic_url.append(movie['cover_url'])
            movie_types.append(movie['types'])
            movie_regions.append(movie['regions'])
            movie_url.append(movie['url'])
            movie_score.append(movie['score'])
            movie_release_date.append(movie['release_date'])
            n += 1
    all_list = [movie_id, movie_name, movie_pic_url, movie_types, movie_regions,
                movie_url, movie_score, movie_release_date]
    print(n)
    saveDate(sheet, all_list, book, savepath, n)

在这里插入图片描述

爬虫实战:爬取豆瓣电影 Top-250 到 Excel 表格中 最近在家无聊自学了python的一些基础知识。后来看到许多朋友都在写爬虫,自己感觉很有意思,也想试一下 >____< 其实本来我是想将数据爬取到excel之后再增加一些数据库操作,然后用flash建立一个网站将数据导入这个网站中…还想着下个模板优化一下网站界面实现数据可视化来着… 但!!!当我万分激动地上号我的pycharm,使用pip安装sqlite3之后,发现我的pycharm无法进行SQLite数据库操作,如图: 但是导入模块时,模块名并没有红色下划线,说明导入成功了啊!而且,当我用尝试 阅读详情

相关推荐

惠农网_破译反爬虫_使用代理IP爬取数据(源码)_一蓑烟雨任平生

费话不多说直接上代码 今天要倒霉的网站是www.cnhnb.com import requests from bs4 import BeautifulSoup # 用来解析网页 import uuid import pymysql import time # 导入时间隔 import random from fake_useragent import UserAgent cookk = { 'Cookie': 'sessionId=S_0KHA8RH66NM124OL; Hm_lvt_91cf

Jaeger_Java的博客 2254

宅男福利 用Python爬取美女图片

嘿嘿 召唤老色批 今天带大家爬去一下美女的图片 用的是requests和xpath去解析 获取网页和解析网页的函数 def get_tag(response,tag): html=etree.HTML(response) ret=html.xpath(tag) return ret def parse_url(url): response=requests.get(url,headers=headers) return response.text 获取网页url

Miku_wx的博客 2万+

豆瓣电影EXCEL列表

豆瓣电影EXCEL列表

Python爬虫_宅男福利?妹纸勿点__一蓑烟雨任平生

咳咳直接上代码 #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2020/12/15 19:10 # @Author : huni # @File : 图库大全1000.py # @Software: PyCharm import requests from lxml import etree import os if __name__ == '__main__': headers = { 'User-A

Jaeger_Java的博客 1万+

VIVADO网表文件DCP和EDF

为了便于模块化设计,同时保护自己的知识产权,Xilinx VIVADO 提供两种代码封装方法:DCP文件和edf文件。

u014035968的博客 1万+

使用freesurfer和3Dslicer进行脑区分割和电极定点(详细版)

1、安装好matlab和freesurfer2、在目标位置创建文件夹3、开放权限4、将需要计算的nii文件放入文件夹。

zQIANYUN的博客 5621

宅福利-宅家抗疫,你我同在2020-01-30

保护自己,也是保护他人。众志成城,共渡难关!宅福利http://welfare.yunjunet.cn

科大云炬 1万+

《基于Yolo算法的火灾检测系统设计与实现》开题报告

在消防安全领域,火灾对生命财产安全构成严重威胁。传统的火灾检测手段存在诸多不足,如误报率高、检测范围有限、响应速度慢等。基于 Yolo 算法的火灾检测系统能够利用深度学习技术,实现对火灾的高效、精准检测,具有重要的现实意义。         从社会安全角度看,该系统可以广泛应用于各类公共场所、工业厂房和居民住宅,实时监测火灾隐患,及时发出警报,为人员疏散和消防救援争取宝贵时间,有效降低火灾造成的人员伤亡和财产损失,保障社会公共安全。

m0_69704149的博客 1384

Python网络爬虫实战:豆瓣电影Top250并保存到表格中-2021.6.8

前言 我看了其他前辈的一些爬取豆瓣的教程最早也在几个月以前的了,正好最近在B站学了爬取豆瓣,出于记录的目的吧,就写上一篇blog分享一下。

pl7265264的博客 3999

Aurora 8B/10B IP核介绍 —— Xilinx 技术文档Pg046

一、概述该IP核与用户接口之间支持AXI4-Stream协议,且基于ZYNQ SOC、A7、K7、V7以及UltraScale、UltraScale+系列FPGA的高速收发器(the high-speed serial transceivers)进行实现。多达 16 个连续绑定4 个连续绑定的 GTP 收发器framingstreaming以及全双工或单工加扰消扰CRC校验热插拔Aurora 8B/10B核心(图1-1)是一种可扩展的、轻量级的、用于高速串行通信的链路层协议;

qq_32147275的博客 1637

SAP MIGO屏幕增强的具体实施步骤介绍(SE19:MB_MIGO_BADI) <转载>

1.MIGO抬头屏幕增强具体增强实施步骤1.1.创建存储抬头客制化数据的增强表1.2.创建增强结构1.3.创建函数组ZMM_MIGO1.3.1.定义全局变量1.3.2.创建数据处理函数1.4.创建字屏幕9001屏幕PBOendif.endloop.1.5.实施新BADI增强SE19创建BADI实施双击实施类ZCL_MIGO_EN_01exportingendif.endmethod.endif.endif.exportingendmethod.

qq_55488207的博客 4507

解决Max retries exceeded with url的问题

解决Max retries exceeded with url的问题 requests.exceptions.ConnectionError: HTTPSConnectionPool(host='www.baidu.com', port=443): Max retries exceeded with url: (Caused by <class 'socket.gaierror'>: python脚本请求url,大量请求报错Max retries exceeded with url 解..

ctotalk 5万+

自动化控制软件:Beckhoff TwinCAT二次开发_(7).HMI开发基础

TwinCAT HMI是Beckhoff公司为TwinCAT自动化平台开发的专用HMI软件。Web技术基础:基于Web技术,支持HTML5、CSS3和JavaScript,可以轻松集成第三方库和框架。多平台支持:可以在多种设备上运行,包括PC、平板电脑和智能手机。高效开发:提供丰富的组件库和开发工具,简化开发过程。安全性:支持多种安全机制,确保数据和系统的安全性。可扩展性:支持自定义组件和脚本,满足不同应用场景的需求。Button:按钮组件,用于触发操作。Label:标签组件,用于显示文本信息。

2401_87715305的博客 977

python办公自动化——批量向excel填充数据

在工作中,我们经常同word、excel、ppt打交道,而excel用的应该是最多的。不知道大家有没有一填就是几百上千份表格的经历,那种感觉就像个机器人一样做着重复的事情,让人崩溃。 在上一期python办公自动化中,我们讲解了python如何按指定名称快速创建工作表:为了拒绝做重复的事情,我用python写了个自动化脚本,让它按名称自动创建工作表 而今天我们来讲解一个比较简单的案例,使用openpyxl操作excel批量填充数据,并生成新的excel文件以及新的工作表,拒绝做重复的事情。 数据源:今天需要

weixin_49669074的博客 6119

CKS-CN考试之路----04

根据上面信息我们知道,这个pod运行在default命名空间下,pod名字为cpu-77cd5ddcbf-bvb8w。可以从/etc/falco/falco_rules.yaml中获得相关内容,大概在文件的460行左右.编辑/etc/falco/falco_rules.local.yaml。7c688a8bfd69即是我们想要获得的docker id。将行为不当 Pod 的 Deployment 缩放为零副本。根据我们刚才定义的rule生成报告。访问/dev/mem 的 Pod。那么如果考试记不住怎么办?

Q先生 599

SPV1050低功耗微功率太阳能充电管理模块原理图设计,已量产

在物联网应用快速普及的今天,户外低功耗传感器(如土壤温湿度、环境光照、无线节点等)的供电始终是行业痛点 —— 传统锂电池不仅需要定期更换,维护成本高,还难以满足 “终身免维护” 的场景需求。为此,我们设计了一款专为 1V~3V 低电压小型太阳能板优化的微功率太阳能电源管理模块,结合 USB 备用充电路径,实现了低功耗传感器的长期自主供电。

不脱发的程序猿 443

使用代理IP实现爬虫

1.使用代理ip爬虫 我们在进行爬虫任务的时候经常会遇到网站设置的反爬关卡,比如限制单个ip一秒或者几秒内访问服务器几次,超过这个次数就把这个ip拉进"黑名单",我们一般自己的网络只有一个ip,ip封了就没办法继续访问这个网站了,那我们怎么办呢,我们可以使用别人的ip去访问啊,这样就算封了,我们再换一个就好了。 2。获取代理IP池 这里我是从一个资源网站找的https://www.kuaidaili.com/free/inha/{}/ 首先我们请求该网站,并解析页面。 proxy = [] #

qq_43184626的博客 2112

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

【Python练习】如何使用Pandas获取“豆瓣电影”相关数据,并生成Excel表格

小白如何使用Python获取“豆瓣电影”相关数据,并生成Excel表格 本文使用了`requests`和`pandas`第三方库,对豆瓣电影各相关数据进行爬取,并记录至Excel表格内。但发现存在以下三个问题: 1. 生成的Excel表格,第一个sheet页为空 2. 数据爬取数据过长 3. 无法获取每个标签的具体电影数量,所以我取了一个吉祥的数字`520`,但请各位大佬指教,若为空,则直接停止,进入下一个标签的爬取

VirusScanLog的博客 1292

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

Python爬取彼岸图网10万张高清图片(入门级爬虫)_一蓑烟雨任平生

来张爬取的美女镇楼 先上代码,再给你讲解 import re import requests import os import easygui (min, max) = easygui.multenterbox(fields=['起始数', '终止数'], values=['1', '100']) min = int(min) max = int(max) if os.path.exists('zhiwei'): os.chdir('zhiwei') else: os.mkdir('z

Jaeger_Java的博客 2188

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Python两种获取cookie方法以及拼接cookie_一蓑烟雨任平生

文章目录前言cookie有什么用呢?下面两种法介绍获取网页Cookieselenium获取cookie后进行组装requests获取cookie总结 前言 cookie有什么用呢? 我的理解就是保持登录状态,有时候爬取网页不需要输入账号密码,就是因为携带了cookie 下面两种法介绍获取网页Cookie selenium获取cookie后进行组装 cookie = driver.get_cookies() pp = '' for i, key in enumerate(cookie[0]):

Jaeger_Java的博客 2058

惠农网_爬取二级网页内容(源码)_一蓑烟雨任平生

废话不多说,直接上代码 今天倒霉的网站是惠农网供应大厅 import requests import pymysql from bs4 import BeautifulSoup # 用来解析网页 from fake_useragent import UserAgent import uuid import time cookk = { 'Cookie': 'sessionId=S_0KHA8RH66NM124OL; Hm_lvt_91cf34f62b9bedb16460ca36cf192f4c=

Jaeger_Java的博客 2022

Python图片下载器(单线程PK多线程)_一蓑烟雨任平生

文章目录前言一、有编程基础的看这个二、没编程基础的看这个总结 前言 最近电脑总是弹出少儿不宜网站,关了,过两天又出来,我真的受不了了,那就盘它好了,本博客分两部分,针对小白一份源码,针对不会编程的人群一份exe,双击就可以了 一、有编程基础的看这个 # 爬取妹子图全网妹子图片,可以选择爬取年份,自动分类保存 import requests, os, time import urllib3 # 这个纯粹防止warning提示,没啥作用 import easygui urllib3.disable_war

Jaeger_Java的博客 1921

中国农业信息网_爬取新闻详情(源码)_一蓑烟雨任平生

废话不多说直接上代码 今天要倒霉的网站是全国农业信息网 import requests import pymysql from bs4 import BeautifulSoup # 用来解析网页 import uuid import time url = "http://www.agri.cn/V20/ZX/qgxxlb_1" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KH

Jaeger_Java的博客 1498

Python将网页转成pdf神器pdfkit库的使用__一蓑烟雨任平生

文章目录前言先看下成果图哈一、安装必要软件二、开怼代码1.引入库2.导包3.糟糕网站4.创建对象HtP5.获取链接思路:6.获取正文内容7.循环每个内容拼接成大的页面8.开始打印内容!打印为什么不直接打印内容?那三个参数分别代表什么?9.最后一步来个main跑起来最后,附上源码?总结 前言 有的网页查看起来不是很方便,于是就想到了,转成pdf转下来慢慢看? 先看下成果图哈 最终效果就是这样子,感觉是不是很炫酷,哈哈哈 一、安装必要软件 wkhtmltopdf,这个工具的下载网站是:点这里 感觉下载慢

Jaeger_Java的博客 1495

Python爬虫脚本,初级入门爬取英雄联盟所有皮肤(源码)

import requests import os # 创建lol文件夹 os.mkdir("lol") # 2.读取js文件,获取英雄id(hero_id) url = 'https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js' headers = {'User-Agent':'Mozilla/5.0 (Window...

Jaeger_Java的博客 1321

Python使用cx_Oracle报错Ora-01036解决方案_南国

最近项目又让写爬虫程序,这次用的MySql数据库,上次用的Oracle数据库,这次在爬取数据之后存库的时候并没有用之前的拼接sql进行存库,因为前一段学习Python视频的时候,视频里的老师说拼接的话存在sql注入问题,所以这次用了占位符%s,来防止sql注入 在填充的时候就会加引号了,写完之后意识到之前写的那个爬虫脚本也存在相同问题,然后改成占位符%s之后一直报错,百度了之后才知道,Oracle...

Jaeger_Java的博客 1016
上一篇: Python图片下载器(单线程PK多线程)_一蓑烟雨任平生
下一篇: Python 笔记_不积跬步无以至千里_一蓑烟雨任平生
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值