用bs4完成html中标签中文本的爬取

EmmettPeng

于 2021-03-11 16:49:40 发布

阅读量712

点赞数 1

分类专栏：杂七杂八的Python小代码文章标签： python

本文链接：https://blog.youkuaiyun.com/Emmett_Bioinfo/article/details/114672864

版权

其实还是为了昨天的工作（https://blog.youkuaiyun.com/Emmett_Bioinfo/article/details/114590394）。经过我查阅了一些资料，我发现用Selenium来做昨天这件事确实是大材小用了，因为获得文本内容其实只需要网页源代码，根本不需要把网页全部显示出来，昨天的做法对于这件事来说是又慢又吃力不讨好。

今天学习了一下beautiful soup4干了这件事，代码如下：

#!/bin/python3
#coding=utf-8

#from selenium import webdriver
import time
import requests
from bs4 import BeautifulSoup as bs
#from selenium.webdriver.chrome.options import Options
#from selenium.common.exceptions import NoSuchElementException

def get_result(formula):
	requests.adapters.DEFAULT_RETRIES =