爬取CECS网站标准公告的最新信息（简略代码）

原创已于 2025-12-10 11:23:45 修改 · 290 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#python

于 2025-12-09 09:24:22 首次发布

导入Python标准库

from datetime import datetime
import re
import os
import requests
from bs4 import BeautifulSoup
import openpyxl
from openpyxl.styles import Font, Alignment

设置请求头

headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36’,
‘Accept’: ‘text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,/;q=0.8’,
‘Accept-Language’: ‘zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2’
}

def get_cecs_news_page():
“”“使用requests库访问CECS网站，获取HTML内容”“”
url = ‘http://www.cecs.org.cn/xhbz/fbgg/list_111_1.html’
#111_1是第一页公告，111-2是第二页公告，以此类推
#url = ‘http://www.cecs.org.cn/xhbz/fbgg/index.html’
response = requests.get(url, headers=headers, timeout=30)
response.encoding = response.apparent_encoding # 设置正确的编码
return response.text

def extract_news_content(html_content):
“”“使用BeautifulSoup解析HTML，提取新闻关键内容”“”
print(“开始解析HTML内容…”)
soup = BeautifulSoup(html_content, ‘html.parser’)

# 查找包含新闻的容器元素
news_items = []

# 根据网页结构，查找所有可能包含公告的元素
all_text = soup.get_text(separator='\n', strip=True)

# 使用正则表达式提取标准发布公告
# 匹配格式：第XXX号 根据...批准发布，编号为T/CECS XXX-XXXX，自XXXX年X月X日起施行。
announcement_pattern = re.compile(
    r'(第\d+号)[\s\S]*?编号为([Tt]\/[Cc][Ee][Cc][Ss][\s\S]*?\d{4})[\s\S]*?自(\d{4}年\d+月\d+日)起施行',
    re.MULTILINE
)

matches = announcement_pattern.findall(all_text)

print(f"找到 {len(matches)} 条标准发布公告")

# 提取每条公告的详细信息
for i, match in enumerate(matches):
    announcement_num = match[0].strip()
    standard_code = match[1].strip()
    effective_date = match[2].strip()

    # 尝试提取标准名称
    # 查找公告号和编号之间的文本作为标准名称
    text_between = all_text[all_text.find(match[0]):all_text.find(match[1])]

    # 提取标准名称（通常包含"标准"、"规范"、"规程"等关键词）
    name_pattern = re.compile(r'由[^，。；]*?等单位编制的《([^》]*)》')
    name_match = name_pattern.search(text_between)

    standard_name = name_match.group(1) if name_match else "未知标准名称"

    # 提取发布日期
    publish_date_pattern = re.compile(r'(\d{4}-\d{2}-\d{2})')
    publish_date_match = publish_date_pattern.search(all_text, all_text.find(effective_date))

    publish_date = publish_date_match.group(1) if publish_date_match else "未知"

    # 构建新闻条目字典
    news_item = {
        '序号': i + 1,
        '公告号': announcement_num,
        '标准名称': standard_name,
        '标准编号': standard_code,
        '发布日期': publish_date,
        '实施日期': effective_date
    }

    news_items.append(news_item)

    # 打印提取的信息
    print(f"\n第{i + 1}条公告:")
    print(f"  公告号: {announcement_num}")
    print(f"  标准名称: {standard_name}")
    print(f"  标准编号: {standard_code}")
    print(f"  发布日期: {publish_date}")
    print(f"  实施日期: {effective_date}")

return news_items

主函数

def save_to_excel(news_items):
“”“使用openpyxl库将提取的新闻内容保存为xlsx格式文件”“”

try:
    print("\n开始创建Excel文件...")

    # 创建工作簿
    wb = openpyxl.Workbook()
    ws = wb.active
    ws.title = "CECS标准公告"

    # 设置标题样式
    header_font = Font(name='微软雅黑', size=12, bold=True)
    content_font = Font(name='微软雅黑', size=11)
    title_font = Font(name='微软雅黑', size=14, bold=True)

    # 设置列宽
    ws.column_dimensions['A'].width = 8  # 序号
    ws.column_dimensions['B'].width = 12  # 公告号
    ws.column_dimensions['C'].width = 35  # 标准名称
    ws.column_dimensions['D'].width = 20  # 标准编号
    ws.column_dimensions['E'].width = 15  # 发布日期
    ws.column_dimensions['F'].width = 15  # 实施日期

    # 添加标题
    ws.merge_cells('A1:F1')
    ws['A1'].value = "CECS协会标准发布公告"
    ws['A1'].font = title_font
    ws['A1'].alignment = Alignment(horizontal='center', vertical='center')

    # 添加表头
    headers = ['序号', '公告号', '标准名称', '标准编号', '发布日期', '实施日期']
    for col_idx, header in enumerate(headers, 1):
        cell = ws.cell(row=2, column=col_idx, value=header)
        cell.font = header_font
        cell.alignment = Alignment(horizontal='center', vertical='center')

    # 添加数据内容
    for row_idx, news_item in enumerate(news_items, 3):
        ws.cell(row=row_idx, column=1, value=news_item['序号']).font = content_font
        ws.cell(row=row_idx, column=2, value=news_item['公告号']).font = content_font
        ws.cell(row=row_idx, column=3, value=news_item['标准名称']).font = content_font
        ws.cell(row=row_idx, column=4, value=news_item['标准编号']).font = content_font
        ws.cell(row=row_idx, column=5, value=news_item['发布日期']).font = content_font
        ws.cell(row=row_idx, column=6, value=news_item['实施日期']).font = content_font

        # 设置文本对齐方式
        for col_idx in range(1, 7):
            ws.cell(row=row_idx, column=col_idx).alignment = Alignment(vertical='top', wrap_text=True)

        # 序号和日期列居中对齐
        ws.cell(row=row_idx, column=1).alignment = Alignment(horizontal='center', vertical='center')
        ws.cell(row=row_idx, column=5).alignment = Alignment(horizontal='center', vertical='center')
        ws.cell(row=row_idx, column=6).alignment = Alignment(horizontal='center', vertical='center')

    # 生成文件名（带时间戳）
    timestamp = datetime.now().strftime('%Y%m%d_%H%M%S')
    filename = f'cecs_standards_announcements_{timestamp}.xlsx'

    # 保存文件
    wb.save(filename)
    print(f"✅ Excel文件保存成功！文件名: {filename}")
    print(f"共保存了 {len(news_items)} 条标准公告")
    print(f"文件路径: {os.path.abspath(filename)}")

    return True

except Exception as e:
    print(f"保存Excel文件时出错: {e}")
    import traceback
    traceback.print_exc()
    return False

def main():

# 获取网页内容
html_content = get_cecs_news_page()

if html_content:
    print("成功获取网页内容！")
    # 提取新闻内容
    news_items = extract_news_content(html_content)

    if news_items:
        print(f"\n成功提取 {len(news_items)} 条新闻内容！")
        # 保存到Excel文件
        #save_to_excel(news_items)
    else:
        print("未能提取到新闻内容！")
else:
    print("无法获取网页内容，程序终止。")

if name == “main”:
main()