
Python爬虫
文章平均质量分 61
Wispertise
软件工程菜鸟一枚,博客用于记录学习笔记,若有错误之处,欢迎交流
展开
-
Python利用bs4批量抓取网页图片并下载保存至本地
Python利用bs4批量抓取网页图片并下载保存使用bs4抓取网页图片,bs4解析比较简单,需要预先了解一些html知识,bs4的逻辑简单,编写难度较低。本例以抓取某壁纸网站中的壁纸为例。(bs4为第三方库,使用前需要要自行安装)步骤拿到页面源代码,提取子页面的链接地址——>href通过href拿到子页面的内容,再从子页面中找到图片的下载地址 img——>src下载图片首先导入必要的包import requestsfrom bs4 import Beautiful原创 2021-11-01 21:41:17 · 4674 阅读 · 0 评论 -
Python利用re正则表达式抓取豆瓣电影Top250排行榜
Python利用re正则表达式抓取豆瓣电影Top250排行榜利用request和re来抓取电影排行榜的电影名称,电影年份,电影评分以及评价人数并写为.csv格式文件先来介绍一下re模块中的几个简单常用的方法re模块几个简单功能1. findall# findall :匹配字符串中所有符合正则的内容import reresult = re.findall(r"\d+", "你好我的电话是123456,他的电话是654321")print(result)>>>['123原创 2021-11-01 21:02:22 · 6551 阅读 · 5 评论 -
Python爬虫 利用百度翻译抓包实现查单词小工具(英翻中)
Python爬虫 利用百度翻译抓包实现查单词小工具(英翻中)以百度翻译为例如图弹出的下拉框中的数据就是我们所需要的数据打开浏览器抓包工具查看代码import requests #导入requestsurl = "https://fanyi.baidu.com/sug" #准备urls = input("请输入你要翻译的单词") #用户输入要查询的单词dat = { #准备参数 "kw": s }#发送post请求 发送的数据放在字典中,通过data原创 2021-11-01 20:29:38 · 895 阅读 · 2 评论 -
Python利用requests抓取页面源代码(基础)
Python利用requests抓取页面源代码(基础)Requests模块是一个用于网络访问的模块.由于使用到的requests库为第三方库,需要事先对其进行安装1.1安装requests(1)利用cmd安装,首先确保Python已经下载入电脑内,然后启动cmd控制台,输入pip install requests,等待下载完成即可(2)利用pycharm安装,在pycharm的Terminal中输入 pip install requests 命令进行request的安装回车等待安装完毕即原创 2021-11-01 20:03:02 · 16118 阅读 · 2 评论