qq_47230711的博客

原创 python爬虫-BeautifulSoup解析

一、爬取酷狗top500第一页的数据为例 import requests from bs4 import BeautifulSoup # 1、分析目标网页，确定爬取的url路径，headers参数 url = 'https://www.kugou.com/yy/rank/home/1-8888.html' headers = { 'User-Agent': '更换成自己的User-Agent' } # 2、发送请求 -- requests 模拟浏览器发送请求，获取响应数据 response = requ