爬虫
关注
分享
扫一扫
心脏靠左
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Selenium解决动态渲染页面----爬取网易云音乐全部评论
import requests from bs4 import BeautifulSoup #URL url = 'https://music.163.com/#/song?id=1405283464' #请求头 headers = { "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (...原创 2019-12-18 20:36:26 · 713 阅读 · 0 评论 -
爬取豆瓣 TOP250 电影排行榜
很多朋友在看一部电影前都喜欢先找一下网友们对该片的评价。国内的电影评分网站，要数豆瓣最出名。接下来我们将爬取豆瓣至今TOP250的电影的详细信息。 豆瓣有专门一个 TOP250 的电影链接 -> https://movie.douban.com/top250 首先我们模拟浏览器发送请求，将数据保存为html网页格式，查看返回数据是否正常。 import requests from bs4 ...原创 2019-11-30 16:27:44 · 3650 阅读 · 3 评论 -
爬取百度新闻标题和链接
import re import requests from lxml import etree url = 'http://news.baidu.com/' #请求头 headers = { "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/...原创 2019-11-21 18:57:48 · 4806 阅读 · 0 评论