get_text()的用法

原创于 2019-05-21 07:25:56 发布 · 7.7k 阅读

CC 4.0 BY-SA版权

该博客展示了使用Python获取网页文字内容的代码。运用了requests库发送请求，BeautifulSoup库解析HTML，定义了获取URL列表及内容的函数，通过设置请求头模拟浏览器访问，最后调用函数获取指定网页文字内容，操作简便。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from bs4 import BeautifulSoup
import requests
import codecs
import os
import re
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}

def get_url_list(url):
html = requests.get(url,headers)
soup = BeautifulSoup(html.content, 'lxml')
con_list = []
x1 = soup.find('div',attrs={'id':'content'})
print(x1.get_text())

if '__main__' == __name__:
url = 'http://www.xinshubao.net/22/22070/3179772_2.html'
url_list = get_url_list(url)

获取文字内容非常简便