爬虫
Aaron_Yang.
大三软件工程在读,欢迎学习交流,一起进步
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
python爬取今日说法 每期数据
实验目的主要是获取2021年今日说法每期节目主要内容及时间今日说法的网址为:http://tv.cctv.com/lm/jrsf/index.shtml当时怎么写的思路有点不太记得了,先把代码贴上,后续有时间再补上。代码import xlwtimport reimport requests# url = "https://tv.cctv.com/lm/jrsf/index.shtml"def get_data(page): url = 'https://api.cntv.c原创 2022-02-09 00:12:45 · 901 阅读 · 0 评论 -
BeautifulSoup案例2——抓取优美图库
总体思路: 网站地址:https://www.umei.net/bizhitupian/weimeibizhi/ 注意我选中的这个区域, 我们想要的图片就在这里. 但是, 绝对不是现在你看到的样子。为什么呢? 不够高清大图~ 真正的高清大图在子页面中, 比如, 我点击第⼀个图片 我需要在网站原创 2021-07-14 21:11:49 · 1459 阅读 · 0 评论 -
BeautifulSoup案例—使用爬虫获取北京新发地菜价
第一版:# 安装# pip-install bs4# 1.拿到页面源代码# 2.使用bs4进行解析. 拿到数据import reimport requestsimport csvfrom bs4 import BeautifulSoupurl = "http://www.xinfadi.com.cn/marketanalysis/0/list/1.shtml"resp = requests.get(url)# print(resp.text)f = open("菜价.csv"原创 2021-07-13 23:03:27 · 1158 阅读 · 12 评论 -
爬虫获取豆瓣top250信息(详解版)
# 拿到页面源代码 requests# 通过re来提取想要的有效信息 re# csv 数据存储import requestsimport reimport csv# 现在要提取名字,年份url = "https://movie.douban.com/top250"headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) C原创 2021-07-12 19:37:14 · 2321 阅读 · 4 评论
分享