python入门--抓取网页文字

最新推荐文章于 2024-07-21 21:39:32 发布

原创最新推荐文章于 2024-07-21 21:39:32 发布 · 2.4k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #开发语言

Python 专栏收录该内容

12 篇文章

订阅专栏

本文介绍如何使用Python的requests库和BeautifulSoup模块抓取网页内容，提供了一个示例代码，展示如何发送GET请求、解析HTML并提取文本。

要抓取网页文字，我们需要使用Python的一个库，叫做requests。这个库可以帮助我们向网站发送请求，获取网站的内容。

下面是一个简单的示例代码，用于抓取一个网页的文字：

import requests
import re
import os
import io
import sys
import bs4
from bs4 import BeautifulSoup

url = 'https://baijiahao.baidu.com/s?id=1774337207764266892';
response = requests.get(url);
soup=BeautifulSoup(response.text);
textNew=soup.get_text();
text_nospace=textNew.replace('\n','');
d="[\u4e00-\u9fa5]+";
L=[];
for i in text_nospace:
	I=re.findall(d,i)
	L+=I
textPrint="";
for k in L:
 textPrint+=str(k)
print(textPrint);

这个代码将会发送一个GET请求给网站，然后获取网站的内容并存储在变量text中。最后，我们将打印出这个内容。