cve_details按照时间爬取(pyspider)

最新推荐文章于 2024-08-16 08:42:00 发布

原创

最新推荐文章于 2024-08-16 08:42:00 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

这是一个使用pyspider框架按照时间从cvedetails.com爬取CVE漏洞详情的Python脚本。脚本从1999年到2017年逐年遍历，抓取每个页面上的CVE链接，并进一步提取详细页面中的产品、版本、产品类型和供应商等信息。

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2017-08-11 10:19:23
#Created by zhangguodong
# Project: CVE_Details

from pyspider.libs.base_handler import *
import re
from collections import defaultdict

#url = "www.cvedetails.com/cve/CVE-2007-6593/"
#pattern = "<table class=\"listtable\" .*?>.*?<tr.*?>.*?</tr>.*?(<tr.*?>.*?</tr>)+</table>"

class Handler(BaseHandler):
    crawl_config = {
    }

    def __init__(self):
        self.base_url = 'http://www.cvedetails.com/vulnerability-list/year-'
        self.start_year = 1999
        self.last_year = 2017

    @every(minutes=24 *