【Python爬虫】静态页面抓取

最新推荐文章于 2024-11-30 21:55:55 发布

镰刀韭菜

最新推荐文章于 2024-11-30 21:55:55 发布

阅读量917

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习与机器学习文章标签： Python Requests 爬取电影数据静态页面响应状态

本文链接：https://blog.youkuaiyun.com/ARPOSPF/article/details/94675226

深度学习与机器学习专栏收录该内容

103 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何使用Python的Requests库进行静态页面抓取，具体实践是抓取电影TOP250的数据。首先讲解了Requests库的安装，然后通过实例展示了爬虫的实现过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

静态页面抓取

安装Requests

#!/usr/bin/env python
# -*- coding: utf-8 -*-
'''
@File  : Static01.py
@Author: Xinzhe.Pang
@Date  : 2019/7/4 22:43
@Desc  : 
'''
import requests

# 获取响应内容
r = requests.get('http://www.santostang.com')

print("文本编码：", r.encoding)
print("响应状态码：", r.status_code)
print("字符串方式的响应体：", r.text)

# 传递URL参数
key_dict = {'key1': 'value1', 'key2': 'value2'}
r = requests.get('http://httpbin.org/get', params=key_dict)
print("URL已经正确编码：", r.url)
print("字符串方式的响应体：\n", r.text)

# 定制请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36',
    'Host': 'www.santostang.com'}
r = re

了解本专栏