import requests from bs4 import BeautifulSoup import pandas as pd url = 'https://datachart.500.com/dlt/history/history.shtml' # 设置请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36' } # 发送HTTP请求并获取网页内容 response = requests.get(url, headers=headers) html = response.text # 使用BeautifulSoup解析网页内容 soup = BeautifulSoup(html, 'html.parser') # 获取开奖日期所在的HTML元素 date_elements = soup.select('tr td.t_c span.c_tit_blue')[:30] # 获取开奖号码所在的HTML元素 number_elements = soup.select('tr td.t_cfont')[:30] # 创建一个空的DataFrame df = pd.DataFrame(columns=['日期', '前区号码', '后区号码']) # 遍历日期元素和号码元素,提取前区号码和后区号码,并将它们添加到DataFrame中 for i in range(len(date_elements)): date_str = date_elements[i].text.strip() # 获取日期数字文本 date_text = f"{date_str[:4]}年{date_str[4:6]}月{date_str[6:]}日" # 将数字转换为文本 numbers = number_elements[i].text.strip().split() # 获取号码文本并分割成列表 front_numbers = ' '.join(numbers[:5]) # 前区号码为前5个数字,使用空格分隔 back_numbers = ' '.join(numbers[5:]) # 后区号码为后2个数字,使用空格分隔 df.loc[i] = [date_text, front_numbers, back_numbers] # 使用jupyter notebook进行表格显示 df
有没有大佬指点下为什么我抓取这个网站什么结果都没有
于 2023-06-20 17:37:53 首次发布