get_text()的用法

最新推荐文章于 2025-06-01 07:00:00 发布

casanava18

最新推荐文章于 2025-06-01 07:00:00 发布

阅读量7.7k

点赞数 1

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/casanava18/article/details/90399349

该博客展示了使用Python获取网页文字内容的代码。运用了requests库发送请求，BeautifulSoup库解析HTML，定义了获取URL列表及内容的函数，通过设置请求头模拟浏览器访问，最后调用函数获取指定网页文字内容，操作简便。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from bs4 import BeautifulSoup
import requests
import codecs
import os
import re
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}

def get_url_list(url):
html = requests.get(url,headers)
soup = BeautifulSoup(html.content, 'lxml')
con_list = []
x1 = soup.find('div',attrs={'id':'content'})
print(x1.get_text())

if '__main__' == __name__:
url = 'http://www.xinshubao.net/22/22070/3179772_2.html'
url_list = get_url_list(url)

获取文字内容非常简便