实战1-python爬取安全客新闻_python requests 爬取新闻json数据-优快云博客

本文链接：https://blog.youkuaiyun.com/xnxqwzy/article/details/138521995

一般步骤：确定网站–搭建关系–发送请求–接受响应–筛选数据–保存本地

1.拿到网站首先要查看我们要爬取的目录是否被允许

一般网站都会议/robots.txt目录，告诉你哪些地址可爬，哪些不可爬，以安全客为例子

![c3841320922d41f9b8a9dcef29d3a253.png](https://img-
blog.csdnimg.cn/direct/c3841320922d41f9b8a9dcef29d3a253.png)

2. 首先测试在不登录的情况下是否请求成功

![679ebabcd1a84e858d91a7760bf9e085.png](https://img-
blog.csdnimg.cn/direct/679ebabcd1a84e858d91a7760bf9e085.png)

可见，该请求成功；有很多网站在没有登录的情况下是请求失败的，这时需要添加请求头信息，

注意：有的cookie 会根据时间戳生成，有的会失效

haders={},

2.1、首先 F12 到 Network 下，F5刷新，复制 Requests Headers然后把它转换成 json 格式

![9970738770d240aebafece4e0a059dc9.png](https://img-
blog.csdnimg.cn/direct/9970738770d240aebafece4e0a059dc9.png)

2.1.1 Requests Headers 转 json 格式有很多种方法

1. 在线转 json 格式的网站:在线HTTP请求/响应头转JSON工具 -
UU在线工具

2.如果电脑没网在终端下载：pip install feapder

feapder create -j

![a92820dee0c245da9d8d565b8839f64e.png](https://img-
blog.csdnimg.cn/direct/a92820dee0c245da9d8d565b8839f64e.png)

req=requests.get(url=url).text 是把所有的文本都提取出来，会很乱，所有我们需要筛选，整理一下

可以发现，我们需要的数据在 a 标签中

苹果委托进行数据泄露研究，以强调端到端加密的必要性

数据多了id位数也可能会增加；也可以把id写死，根据291754是个六位数，所以 \d{6}只匹配 id是六位数的。

Title=re.findall(r'<a target="_blank" href="/post/id/\d+">(.*?)</a>',req)

\d+

![12b8409adbb64e49a9360ecfd84d080e.png](https://img-
blog.csdnimg.cn/direct/12b8409adbb64e49a9360ecfd84d080e.png)

注意代码格式

range() 取值 [ ）

![504568ce397e4820b8cc60d8de855abf.png](https://img-
blog.csdnimg.cn/direct/504568ce397e4820b8cc60d8de855abf.png)

最终代码：

import re
import requests
#headers={}
url='https://www.anquanke.com/'
req=requests.get(url=url).text
# print(req)
dict={}
for i in range(1,20):
    dict['Title']=re.findall(r'<a target="_blank" href="/post/id/\d+">(.*?)</a>',req)[i]
    dict['url']=re.findall(r'<a target="_blank" href="(/post/id/\d+)">',req)[i]
    print(dict)

![4c1617281dd14f3bae23cd4679a7d9df.png](https://img-
blog.csdnimg.cn/direct/4c1617281dd14f3bae23cd4679a7d9df.png)

优化后的代码：

import re
import requests
url='https://www.anquanke.com/'
req=requests.get(url=url)
print(req.status_code)
req=req.text
dict={}
Title=re.findall(r'<a target="_blank" href="(/post/id/\d+)">(.*?)</a>',req)
# print(Title)
for title in Title:
    dict['Title']=title[1]
    dict['url']=url+title[0]
    print(dict)

![fdf283bf629f4f86a4d97067edf29cdd.png](https://img-
blog.csdnimg.cn/direct/fdf283bf629f4f86a4d97067edf29cdd.png)

题外话

初入计算机行业的人或者大学计算机相关专业毕业生，很多因缺少实战经验，就业处处碰壁。下面我们来看两组数据：

2023届全国高校毕业生预计达到1158万人，就业形势严峻；

国家网络安全宣传周公布的数据显示，到2027年我国网络安全人员缺口将达327万。

一方面是每年应届毕业生就业形势严峻，一方面是网络安全人才百万缺口。

6月9日，麦可思研究2023年版就业蓝皮书（包括《2023年中国本科生就业报告》《2023年中国高职生就业报告》）正式发布。

2022届大学毕业生月收入较高的前10个专业

本科计算机类、高职自动化类专业月收入较高。2022届本科计算机类、高职自动化类专业月收入分别为6863元、5339元。其中，本科计算机类专业起薪与2021届基本持平，高职自动化类月收入增长明显，2022届反超铁道运输类专业（5295元）排在第一位。

具体看专业，2022届本科月收入较高的专业是信息安全（7579元）。对比2018届，电子科学与技术、自动化等与人工智能相关的本科专业表现不俗，较五年前起薪涨幅均达到了19%。数据科学与大数据技术虽是近年新增专业但表现亮眼，已跻身2022届本科毕业生毕业半年后月收入较高专业前三。五年前唯一进入本科高薪榜前10的人文社科类专业——法语已退出前10之列。

“没有网络安全就没有国家安全”。当前，网络安全已被提升到国家战略的高度，成为影响国家安全、社会稳定至关重要的因素之一。

网络安全行业特点

1、就业薪资非常高，涨薪快 2022年猎聘网发布网络安全行业就业薪资行业最高人均33.77万！

2、人才缺口大，就业机会多

2019年9月18日《中华人民共和国中央人民政府》官方网站发表：我国网络空间安全人才需求140万人，而全国各大学校每年培养的人员不到1.5W人。猎聘网《2021年上半年网络安全报告》预测2027年网安人才需求300W，现在从事网络安全行业的从业人员只有10W人。

行业发展空间大，岗位非常多

网络安全行业产业以来，随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…

职业增值潜力大

网络安全专业具有很强的技术特性，尤其是掌握工作中的核心网络架构、安全技术，在职业发展上具有不可替代的竞争优势。

随着个人能力的不断提升，所从事工作的职业价值也会随着自身经验的丰富以及项目运作的成熟，升值空间一路看涨，这也是为什么受大家欢迎的主要原因。

从某种程度来讲，在网络安全领域，跟医生职业一样，越老越吃香，因为技术愈加成熟，自然工作会受到重视，升职加薪则是水到渠成之事。

黑客&网络安全如何学习

今天只要你给我的文章点赞，我私藏的网安学习资料一样免费共享给你们，来看看有哪些东西。