使用Selenium浏览器自动抓取cabrbetc网站的样品信息

from selenium import webdriver
from bs4 import BeautifulSoup
import time

‘’’
#根据委托编号创建查询网址
text = “BETC-HJ-2024-P-00362”
url = “http://weixin.cabr-betc.com/gjwx/wxfind/findreport?prtnum=”+text
print(url)
‘’’

将委托单位名称转化成utf-8格式，并用%连接转化后16进制，导入cabr-betc报告的查询网址url中

text = “中寓装配（江苏）新材料有限公司”
utf8_encoded_text = text.encode(‘utf-8’)
hex_representation = ‘%’.join(hex(b)[2:] for b in utf8_encoded_text)
#print(hex_representation)
url = “http://weixin.cabr-betc.com/gjwx/wxfind/findreport?prtnum=&xmname=&wtunit=%”+hex_representation+“&page=1&rows=1000”
print(url)

创建 Chrome 浏览器驱动实例

driver = webdriver.Chrome()

打开指定网址

driver.get(url)

等待页面加载完成，可根据实际情况调整等待时间

time.sleep(5)

获取页面源代码

page_source = driver.page_source

使用 BeautifulSoup 解析页面源代码

soup = BeautifulSoup(page_source, ‘html.parser’)

查找所有报告编号元素并打印

report_numbers = soup.find_all(‘div’, class_=‘weui-cell__bd’)
for number in report_numbers:
print(number.text)

关闭浏览器驱动

driver.close()