shell脚本爬取漏洞信息

最新推荐文章于 2022-09-12 19:47:41 发布

原创最新推荐文章于 2022-09-12 19:47:41 发布 · 448 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#shell #脚本 #insert #mysql #date

安全相关专栏收录该内容

19 篇文章

订阅专栏

本脚本用于从CNNVD网站爬取特定漏洞信息，并将数据整理后插入到数据库中。它通过循环读取漏洞ID列表，针对每个ID下载对应的网页内容，解析关键信息如漏洞名称、发布时间等，并使用MySQL命令将这些信息存入指定数据库。

#!/bin/bash
# Name: SamplesGrep 你好
# purpose:get infor from http://www.cnnvd.org.cn
domainname="http://www.cnnvd.org.cn/"
queryurl="vulnerability/index/cnnvdid/"
rm result.txt
while read x y;do
wget -O main.html $domainname$queryurl$x
resulturl=`cat main.html|grep -i '<td width="45%"><a href="/vulnerability/show/cv_id'|cut -d'"' -f4`
echo $resulturl
wget -O result.html "${domainname}""${resulturl}"
cat result.html|tr -d '\n'|sed 's/<\/tr>/<\/tr>@/g'|tr '@' '\n'|sed 's/<tr>/<tr>@/g'|tr '@' '\n'|sed 's/</"</g'|sed 's/>/>"/g'>last.html

resultrow="insert into test.t_vulner_cn(id_value,NAME,publish_date,grade,TYPE,description) VALUES('${x}','"`cat last.html|grep -i '"漏洞名称："'|cut -d'"' -f15`"'"
# resultrow="${resultrow} ,'"` cat last.html|grep -i '"CNNVD编号："'|cut -d'"' -f9`"'"
resultrow="${resultrow} ,'"` cat last.html|grep -i '"发布时间："'|cut -d'"' -f13`"'"
resultrow="${resultrow} ,'"` cat last.html|grep -i '"危害等级："'|cut -d'"' -f13`"'"
resultrow="${resultrow} ,'"` cat last.html|grep -i '"漏洞类型："'|cut -d'"' -f13`"'"
resultrow="${resultrow} ,'"` cat last.html|grep -i '/Public/images/cnnvd3_12_24.jpg'|cut -d'"' -f29`"');"
mysql -h 192.168.3.93 -phuawei -e"${resultrow}"
echo $resultrow>>result.txt
done<cvelist.txt
echo done