用python爬取网站的数据

最新推荐文章于 2024-12-29 10:13:54 发布

原创最新推荐文章于 2024-12-29 10:13:54 发布

· 343 阅读

0 ·

版权

文章标签：

#python

python 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了使用Python进行网页数据爬取的过程，包括导入requests、bs4和fake_useragent库，设置UserAgent以避免被识别为机器人，以及如何处理遇到的418响应错误。通过for循环有选择地输出爬取到的数据，并展示了最终的运行结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

用python爬取网站的数据

导入库
输入要爬取的网站
访问设置
爬取——整理——缩小爬取范围
定义列表——for循环有选择性输出列表（遍历？）
结果展示
显示Response 418的解决方法

导入库

需要的库： requests、 bs4 、 fake_useragent
pip方法安装
requests.get 爬取源代码
BeautifulSoup 整理代码
UserAgent 访问设置

import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent

输入要爬取的网站

url = 'https://movie.douban.com/chart'

访问设置

ua = UserAgent()
print(ua.chrome)
headers = {'User-Agent': ua.chrome}

爬取——整理——缩小爬取范围

request = requests.get(url, headers = headers)
soup = BeautifulSoup(request.text)
soup = soup.find(id = 'wrapper').find(id = 'content').find(class_ ="indent").find_all(style = 'font-size:13px;')

定义列表——for循环有选择性输出列表（遍历？）

a = [0,0,0,0,0,0,0,0,0,0]
for i in range(9):
    print( soup[i].contents)
    a[i] = soup[i].contents
print(a)

结果展示

import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent

url = 'https://movie.douban.com/chart'
ua = UserAgent()
print(ua.chrome)
headers = {'User-Agent': ua.chrome}
request = requests.get(url, headers = headers)
soup = BeautifulSoup(request.text)
soup = soup.find(id = 'wrapper').find(id = 'content').find(class_ ="indent").find_all(style = 'font-size:13px;')
#print(soup[0].contents)

a = [0,0,0,0,0,0,0,0,0,0]
for i in range(9):
    print( soup[i].contents)
    a[i] = soup[i].contents
print(a)

运行结果如下：

显示Response 418的解决方法

r = requests.get（url,headers=header）