简单爬取静态网页的代码并存为Txt文件

原创

于 2018-06-20 11:00:12 发布 · 3.1k 阅读

11 ·

CC 4.0 BY-SA版权

本文介绍了如何使用Python的requests库伪装成浏览器进行网页抓取，并将获取的网页内容保存为TXT文件。通过设置headers以模拟浏览器请求，从而获取网页的HTML代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第一步:获取页面(引入requests模块)

import requests
link='http://tieba.baidu.com/p/5753427007'
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'}
r=requests.get(link,headers=headers)
print(r.text)

代码解析:上述代码获取的是贴吧的HTML代码.使用requests.get(link,headers=headers)获取网页.

用requests的headers伪装成浏览器访问.
r是requess的Response回复对象,我们从中可以获取网页的内容代码
headers的获取，网上自查

第二步:提取需要的数据(引入BeautifulSoup模块)

import requests
from bs4 import BeautifulSoup
link='http://tieba.baidu.com/p/5753427007'
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'}
r=requests.get(link,headers=headers)
soup=BeautifulSoup(r.text,'lxml')
title=soup.find('h1',class_='core_title_tx