qq_540710991的博客

指纹技术 可以说应用到了 OSI 网络模型中所有可能的层，基于 HTTP header 顺序的指纹工作在第七层应用层， SSL/TLS 指纹工作在传输层和应用层之间，TCP 指纹在第四层传输层。不同的客户端之间的差异 很大，而且一般这些信息还都是稳定的，所以服务端就可以根据 TLS 的握手信息来作为特征，识别 一个请求是普通的用户浏览器访问，还是来自 Python 脚本等的自动化访问。不同网站的生成的指纹可能有差异，但是多次访问同一个网站生成的指纹是稳定的，而且能区分开 不同客户端。

此时可以通过xpath进行指定节点去除。通过观察发现，第一个。，在实际情况中只想保留有正文的第二个。标签，则可以把此作为去除的判断条件。

【代码】爬虫逆向学习笔记（一）

智能文本提取是指在网络爬虫获取网页内容后，通过一系列先进的算法和技术，精准地从复杂的 HTML 结构中分离出有价值的文本信息，如文章正文、标题、作者等。与传统的基于规则的提取方法相比，智能文本提取能够更好地适应不同网站的多样布局和结构变化。以下内容参考：王卫红,梁朝凯,闵勇.基于可视块的多记录型复杂网页信息提取算法[J].计算机科学,2019,46(10):63-70.今天所介绍的 Readability 和 Newspaper 的库的实现原理就是基于DOM 结构信息的提取方法。